Nutrisi dalam makanan memiliki dampak yang signifikan terhadap kesehatan manusia dan kualitas hidup. Meskipun penting, banyak individu tidak menyadari kandungan nutrisi dalam makanan mereka. Ketidaktahuan ini dapat berkontribusi pada berbagai masalah kesehatan, termasuk malnutrisi, obesitas, diabetes, penyakit jantung, dan kanker. Oleh karena itu, diperlukan sebuah aplikasi yang memungkinkan pengguna untuk menentukan nutrisi makanan dengan cepat, mudah, dan murah hanya dengan mengambil foto. Penelitian ini bertujuan untuk mengembangkan aplikasi deteksi jenis makanan berbasis gambar menggunakan metode Convolutional Neural Network (CNN) dengan arsitektur ResNet-50, yang akan dibandingkan dengan Inception v3. Penelitian ini menggunakan tiga dataset, menggabungkan 15 jenis makanan yang paling umum ditemukan di Indonesia menjadi satu dataset. Informasi nutrisi untuk makanan diperoleh dari sumber yang terpercaya yaitu FatSecret API, yang menyediakan data nutrisi yang terverifikasi. Hasil eksperimen menunjukkan bahwa ResNet-50 secara konsisten mencapai akurasi lebih tinggi dibandingkan dengan Inception v3, dengan ResNet-50 mencapai akurasi 85,364% pada data validasi dan 86,328% pada data pengujian, membuktikan keefektifannya untuk mendeteksi jenis makanan menggunakan gambar.