UNICEF dan WHO menyatakan bahwa banyak obesitas yang terjadi di Indonesia, baik usia dini maupun lanjut. Orang Indonesia lebih memilih makanan cepat saji sebagai makanan sehari-hari yang mengandung lebih banyak kalori. Dengan kebiasaan seperti itu, akan memicu Penyakit Tidak Menular (PTM) seperti diabetes dan penyakit kardiovaskular lainnya. Dengan menghitung perkiraan asupan kalori setiap harinya, dapat mengurangi resiko PTM tersebut. Deep Learning merupakan pembelajaran mesin level Computer Vision yang dapat mempelajari dataset dengan mandiri. Dengan memanfaatkan image recognition, dalam hal makanan, yaitu food recognition yang di analisa menggunakan algoritma CNN. Otomasi dari Deep Learning dalam memanfaatkan algoritma CNN, merupakan salah satu metode yang efisien dan terakurat di bidangnya, untuk dapat mencapai Calorie Detection, maka akan dimodifikasi output dari Food Recognition tersebut yang sebelumnya berupa kelompok class dari makanan tersebut menjadi output berupa angka kalori dari input gambar makanan, dan juga untuk mencapai Calorie Detection, akan dilakukan augmentasi data untuk menjadi acuan model yang akurat dalam proses Deep Learning-nya. Dengan Algoritma CNN, model akan di training yang didalamnya akan dimanfaatkan sebagai fitur pembelajaran model. Dataset yang digunakan merupakan makanan sehari-hari orang Indonesia yang diambil dari web FatSecret, akun Instagram masakan.ggl dan juga makanan sehari-hari pribadi diambil dengan perangkat yang memiliki kamera. Hasil yang nantinya keluar adalah berupa range kandungan kalori yang telah ditentukan dari gambar makanan yang diinput sebagai data test.