Proyek ini mengembangkan sistem pendeteksi ekspresi wajah menggunakan deep learning dengan Convolutional Neural Network (CNN) untuk mengenali lima ekspresi wajah: senang, sedih, marah, netral, dan terkejut. Proyek akhir ini dilatar belakangi oleh kemajuan teknologi yang pesat, terutama pada pengolahan citra, dan menghasilkan model yang dapat digunakan sebagai alat pendeteksi kebohongan dan alat bantu dalam perawatan kesehatan mental. Proses pelatihan pada proyek akhir ini menggunakan tiga tingkat kedalaman lapisan konvolusi dan mencapai akurasi tertinggi pada model kedua dengan 90.58% pada dataset training dan 92.84% pada dataset validation. Selain model kedua, model-model lain mengalami overfitting sehingga dilakukan pengujian dengan menambahkan lapisan normalisasi tambahan berupa ‘BatchNormalization’. Proses pendeteksi ekspresi wajah menggunakan bantuan algoritma tambahan berupa algoritma Viola Jones dengan menggunakan webcam untuk menguji secara realtime. Proyek akhir ini tidak menggunakan confidential index untuk mengukur tingkat kepercayaan model pada saat pengujian sehingga bagi pengembangan lanjutan dapat menambahkan confidential index tersebut.
Kata Kunci : Deep Learning, Convolutional Neural Network, Pendeteksi Ekspresi Wajah, Overfitting