Saat ini dunia sedang dilanda pandemi yang disebabkan oleh virus SARS-CoV-2, atau lebih dikenal dengan COVID-19. Virus telah menyebar ke lebih dari 200 negara di seluruh dunia. COVID-19 sangat rawan menular pada kawasan yang ramai. WHO menganjurkan untuk selalu menggunakan masker, dan menjaga jarak untuk dapat menekan penularan. Oleh karena itu, intensitas penggunaan masker menjadi meningkat. Karena pentingnya penggunaan masker pada saat ini, pengawasan terhadap benar tidaknya penggunaan masker menjadi penting. Tidak semua orang mau tertib mematuhi aturan menggunakan masker. Banyak ditemukan orang menggunakan masker dengan tidak benar, seperti memakai masker namun tidak menutupi hidung. Tentunya pengawasan tersebut pada skala yang besar tidaklah mudah. Dibutuhkan teknologi untuk bisa membantu manusia dalam mengawasi penggunaan masker. Untuk menciptakan teknologi tersebut, dibutuhkan metode dengan ketelitian dan keakurasian yang tinggi. Untuk menjawab permasalah tersebut, tugas akhir ini akan melakukan segmentasi semantik dan klasifikasi dengan menggunakan metode berbasis CNN. Model berbasis CNN dikustomisasi agar dapat melakukan segmentasi dan klasifikasi sekaligus, sehingga model memiliki 2 keluaran dengan masukan 1 citra. Dengan digunakannya segmentasi semantik dan klasifikasi pada tugas akhir ini, diharapkan dapat membuat komputer mengenali dan mendeteksi secara presisi penggunaan masker pada wajah.