Pandemi COVID-19 bermula di negara China lebih tepatnya kota Wuhan pada tahun 2019. Pemerintah Indonesia menerapkan kebijakan demi memutus penularan virus ini, di antaranya penggunaan masker di ruang publik. Selama ini penggunaan masker diperiksa secara manual oleh petugas. Cara ini memiliki banyak keterbatasan salah satunya sulit untuk dilakukan pada berbagai waktu dan tempat, sehingga perlu dibuat sistem pendeteksi masker berbasis visi komputer dengan tujuan untuk menutupi kekurangan pendeteksian masker tradisional. Penelitian ini mengusulkan pembuatan sistem deteksi masker menggunakan algoritma You Only Look Once versi 5 (YOLOv5) sebagai metode pendeteksi wajah dan Convolutional Neural Network (CNN) sebagai metode klasifikasi penggunaan masker. Hasil dari klasifikasi penggunaan masker pada skenario terbaik mendapatkan nilai f1-score 98%, pada data testing mendapatkan akurasi 97,88%.