Teknologi sistem pengenalan ekspresi wajah dapat terus berkembang seiring waktu dengan penelitian-penelitian baru untuk menciptakan sistem yang lebih canggih dan akurat, salah satu perkembangannya dalam hal ini yaitu menggunakan metode Deep Learning. Deep Learning menghasilkan kinerja yang sangat baik pada sistem pengenalan ekspresi wajah yang menggunakan jumlah data yang banyak. Salah satu algoritma Deep Learning yaitu Convolutional Neural Network (CNN) merupakan algoritma yang cocok diimplementasikan pada sistem pengenalan ekspresi wajah dengan jumlah data yang banyak. Pada penelitian ini merancang sistem pengenalan ekspresi wajah menggunakan algoritma CNN, model yang digunakan merupakan arsitektur berbasis CNN yaitu Visual Geometry Group 16 (VGG16). Dataset yang digunakan pada sistem ini adalah FER2013, dimana dataset ini memiliki jumlah citra wajah yang banyak yaitu berjumlah 35.887 citra dengan 7 kategori emosi. Didapatkan hasil performansi terbaik pada model yang diajukan dengan yaitu model Modified VGG16 dengan parameternya yaitu menggunakan data augmentasi, epoch 100, dan learning rate 0.001 yang mencapai akurasi uji sebesar 70,63%, akurasi ini jauh lebih baik dibanding penelitian sebelumnya yang menggunakan basis model VGG16 dan dataset FER2013.