Sign Language Translator Using Deep Learning

FIKRI PUTRA HIDAYAT

Informasi Umum

Kode

23.04.4014

Klasifikasi

004 - Data Processing, Computer Science/Pemrosesan Data, Ilmu Komputer, Teknik Informatika, Hardware Komputer

Jenis

Karya Ilmiah - Skripsi (S1) - Reference

Subjek

Deep Learning

Dilihat

165 kali

Informasi Lainnya

Abstraksi

Proyek akhir ini menyoroti masalah yang mencolok di dalam teman tuli yaitu hambatan komunikasi yang dihadapi oleh teman tuli dengan teman dengar, karena ketidakmampuan dengar, mereka menggunakan bahasa isyarat untuk berkomunikasi. Bentuk komunikasi ini sering kali menyebabkan tantangan besar dalam interaksi mereka dengan populasi pendengar. Untuk mengatasi masalah ini, kami mengusulkan solusi yang tangguh berupa aplikasi yang tidak hanya berfungsi sebagai alat bantu dalam pembelajaran bahasa isyarat SIBI bagi pendengar, tetapi juga sebagai penerjemah bahasa isyarat.

Solusi yang diusulkan ini memanfaatkan beberapa bidang dalam Teknik Komputer untuk menciptakan aplikasi yang integratif. Dengan menerapkan teknik deep learning LSTM dan YOLOv5, sistem akan mengenali dan mengartikan bahasa isyarat SIBI. Selain itu, melalui pengembangan aplikasi Android. Pengembangan Backend memastikan operasi aplikasi yang andal dan efisien, menjadi tulang punggung kritis dari sistem.

Produk akhir dari Capstone Design ini adalah berupa aplikasi dengan fitur deep learning LSTM untuk fitur deteksi motion dengan akurasi 95.56%, YOLOv5 untuk deteksi realtime memiliki [email protected] 99.5%, LSTM untuk Text-Correction 92,5%. Kemudian animasi gerakan SIBI untuk fitur pembelajaran, dan implementasi ke Android melalui backend. Pada tes reliabilitas aplikasi ditemukan bahwa nilai r_11 adalah 0,914428422. Oleh karena itu, dapat disimpulkan bahwa pengujian ini memiliki tingkat reliabilitas yang sangat tinggi. Respon waktu dalam hasil tes server juga menunjukan dikisaran 1-5 detik dan memory usage rata-rata 130mb.