Semakin berkembangnya zaman dan kemajuan ilmu teknologi khususnya pada bidang computer vision, mulai diterapkan konsep automatisasi yang dilakukan oleh mesin tanpa memerlukan tenaga manusia. Kebutuhan akan suatu sistem keamanan yang bisa di pantau dan mampu memberi tanda peringatan dari jarak jauh semakin meningkat. Sistem keamanan ini umumnya diperlukan hampir dalam segala hal, salah satu diantaranya adalah keamanan ruangan, baik ruangan propeti, kantor, atau yang lainya. Dikarenakan sistem keamanan rumah konvensional yang menggunakan kunci fisik masih rentan untuk dibobol, diserah tangankan, atau bahkan di duplikasi.
Tugas akhir ini merancang smart door system yang megaplikasikan 2-Step verification atau verifikasi berlapis dengan step pertamanya adalah pengenalan wajah dan step keduannya adalah pendeteksian sequence pose jari. Alat ini juga dilengkapi sistem pemberitahuan apabila terdeteksi orang asing dan apabila pintu telah terbuka, sehingga dapat membantu menjaga keamanan properti. Alat ini menggunakan Convolution Neural Network (CNN) dengan metode MobileNetV2 yang akan berguna untuk mendeteksi pose jari dan wajah pemilik properti.
Berdasarkan pengujian yang telah dilakukan, pengujian akurasi pengenalan wajah dengan jarak 50 cm - 150 cm dari kamera mendapatkan total rata-rata akurasi mencapai 90,5%, rata-rata precision 87,3%, dan rata-rata recall sebesar 86,2%. Sedangkan pengujian akurasi per-pose jari mendapat hasil rata-rata akurasi mencapai 82,2%, pengujian dilakukan dengan jarak 50 cm dari kamera. Untuk pengujian sistem secara keseluruhan mendapatkan rata-rata waktu 30,85 detik dan mendapat akurasi sebesar 100%. Dalam pengujian notifikasi dan sequence pose jari mendapat rata-rata akurasi sebesar 100% untuk kedua pengujian.
Kata Kunci : Smart Door System, 2-Step verification ,Computer Vision, MobileNetV2., Convolution Neural Network (CNN).