Kebutuhan akan inovasi pada sektor keamanan semakin meningkat seiring meningkatnya kriminalitas di lingkungan masyarakat. Salah satu tindakan kriminal yang tak jarang terjadi yaitu kasus perampokan dengan cara kekerasan di dalam ruangan. Ruang gerak yang sempit menyebabkan korban sulit untuk meminta pertolongan. Oleh karena itu diperlukan sistem pertolongan darurat yang dapat berinteraksi secara non verbal dengan mengenali instruksi tertentu melalui gesture fisik. Sistem terhubung ke perangkat mobile sehingga notifikasi tanda adanya instruksi tertentu dapat diterima dimanapun dan kapanpun selama dalam jangkauan internet. Pada tugas akhir ini dirancang sistem pertolongan darurat berbasis pengolahan citra berupa pengenal pola tangan mengepal sebagai instruksi untuk meminta pertolongan melalui media kamera. Sistem terhubung dengan perangkat mobile sehingga ketika sistem mendeteksi adanya pola tangan maka sistem akan mengirim notifikasi ke perangkat mobile melalui aplikasi berupa pesan teks dan foto subyek dan kondisi area monitoring. Sistem dapat mendeteksi subyek pola tangan di dalam ruangan pada siang hari dengan nilai sensitivitas = 0.92, presisi = 0.8928, akurasi = 0.8333 dan eror = 0.1667. Sedangkan di dalam ruangan dengan cahaya lampu pada malam hari nilai sensitivitas = 0.96, presisi = 0.8965, akurasi = 0.8667 dan eror = 0.1333. Sistem dapat bekerja dengan baik pada rentang intensitas cahaya antara 31-90 lux dengan jarak minimal 1 meter dan maksimal 4 meter pada jenis latar subyek berupa dinding polos dengan sedikit hiasan.