Ekspresi wajah manusia dapat menggambarkan emosi seseorang, dengan mengetahui ekspresi wajah manusia, proses pengenalan emosi manusia akan terbantu. Pengenalan ekspresi wajah manusia memiliki banyak manfaat dalam berbagai bidang. Contoh bidang pemanfaatannya dari sistem ini adalah mengenali kepuasan individu terhadap suatu layanan. Salah satu metode yang cukup terkenal saat ini untuk sistem pengenalan ekspresi wajah (Facial Expression Recognition) adalah Convolutional Neural Network (CNN). Pada penelitian ini akan dibangun arsitektur CNN yang memiliki 8 layer convolution, dengan depth sebanyak 32 layer. Hampir seluruh penelitian pengenalan ekspresi wajah sampai saat ini menggunakan dataset ras non-Indonesia. Oleh karena itu, penulis melakukan analisis terhadap dataset ras non-Indonesia dengan dataset ras Indonesia menggunakan teknik cross dataset. Pada sistem ini dilakukan perbandingan antara self built CNN dengan arsitektur CNN populer lainnya. Hasil yang didapatkan dari penelitian ini adalah akurasi data uji sebesar 91,29%, sensitivity atau recall atau True Positive Rate (TPR) sebesar 91,29%, precision atau Positive Predictive Value (PPV) sebesar 91,29%, dan overall accuracy sebesar 97,51%. Oleh karena itu, dengan nilai recall dan precision yang tinggi, artinya kelas pada data uji ditangani dengan sempurna oleh model yang dibangun.