Seiring majunya teknologi di bidang kamera digital, semakin banyak lapisan masyarakat yang terbantu oleh perkembangan teknologi tersebut, namun sayang ada beberapa kelompok masyarakat yang tidak dapat menikmati kemajuan tersebut seperti kaum disabilitas terkhusus Tuli dan Bisu. Tujuan sistem ini adalah untuk membantu kaum-kaum disabilitas tersebut agar dapat lebih mudah berkomunikasi dengan masyarakat umum melalui bahasa isyarat.
Sistem yang dikembangkan dengan metode YOLOv5 dan menggunakan model pre-trained YOLOv5s untuk mengurangi waktu pelatihan. Model kemudian akan digunakan untuk melatih kelas-kelas baru dengan konfigurasi baru. Model yang sudah dilatih dengan konfigurasi tersebut kemudian akan digunakan untuk mengklasifikasikan 26 alfabet dari Sistem Bahasa Isyarat Indonesia atau biasa disingkat BISINDO. Pengujian sistem ini dilakukan berdasarkan beberapa skenario seperti jarak kamera, latar belakang pengambilan video dan tingkat pencahayaan area.
Luaran yang didapatkan dari penelitian Tugas Akhir ini adalah sistem dapat mendeteksi 26 alfabet bahasa isyarat BISINDO secara real-time tanpa dipengaruhi oleh latar belakang dan tingkat pencahayaan tetapi dipengaruhi oleh jarak kamera dan objek. Hasil konfigurasi performa terbaik pada penelitian ini adalah dataset dengan distribusi 70% data training:20% data validation;10% data testing, 300 epochs, 16 batch size, dan 0.01 learning rate yang menghasilkan nilai mAP@0.5IoU sebesar 99.27%.