PENGEMBANGAN SISTEM BERBASIS DEEP LEARNING UNTUK DETEKSI  BAHASA ISYARAT INDONESIA (BISINDO) SEBAGAI PENDUKUNG   KOMUNIKASI TEMAN DENGAR DAN TEMAN TULI - Dalam bentuk buku karya ilmiah

ALI RIDHO RIZKY LUMINTU

Informasi Umum

Kode

25.06.256

Klasifikasi

000 - General Works

Jenis

Karya Ilmiah - TA (D3) - Reference

Subjek

Tugas Akhir

Dilihat

37 kali

Informasi Lainnya

Abstraksi

Kesenjangan komunikasi antara komunitas Teman Tuli dan Teman Dengar di Indonesia masih menjadi permasalahan serius, terutama karena keterbatasan ketersediaan juru bahasa isyarat. Untuk membantu mengatasi hal tersebut, dikembangkan sebuah sistem yang mampu mendeteksi dan menerjemahkan BISINDO (Bahsa Isyarat Indonesia) secara real-time. Tugas Akhir ini berfokus pada perancangan serta implementasi sistem yang dapat mengubah gerakan isyarat menjadi bentuk teks tertulis. Metode yang digunakan berbasis computer vision dengan memanfaatkan MediaPipe Holistic (kerangka kerja pemrosesan citra tubuh, wajah, dan tangan secara menyeluruh) sebagai alat untuk mengekstraksi 1.662 fitur landmark dari gerakan tubuh, wajah, dan tangan. Fitur-fitur tersebut kemudian dikemas dalam bentuk data sekuensial dan dianalisis menggunakan model deep learning dengan arsitektur LSTM (Long Short-Term Memory) bertingkat untuk proses klasifikasi. Dalam pengembangannya, dibuat dua sistem terpisah: satu untuk mengenali isyarat kata-kata dinamis, dan satu lagi berupa model ringan khusus untuk mengenali huruf abjad. Berdasarkan hasil pengujian, sistem utama berbasis MediaPipe Holistic berhasil mencapai akurasi sebesar 99,76%, sementara model pengenal abjad mencapai 98,59% pada data uji. Keberhasilan ini menunjukkan bahwa sistem yang dibangun memiliki potensi besar untuk dikembangkan lebih lanjut sebagai media bantu komunikasi yang efisien dan mudah diakses oleh semua kalangan.