SISTEM PENDETEKSI GERAKAN BAHASA ISYARAT DENGAN MENGGUNAKAN COMPUTER VISION

RAISYA ATHAYA KAMILAH

Informasi Umum

Kode

23.06.827

Klasifikasi

006.37 - Computer Vision

Jenis

Karya Ilmiah - TA (D3) - Reference

Subjek

Computer Vision

Dilihat

421 kali

Informasi Lainnya

Abstraksi

Komunikasi yaitu aktivitas yang terpenting pada kehidupan manusia yang tidak dapat di lepaskan. Namun tidak setiap orang itu lancar pada berkomunikasi, khususnya penyandang disabilitas. Apabila berkomunikasi dengan penyandang disabilitas menggunakan bahasa isyarat sebagai bahasa komunikasi. Untuk dapat membantu penyandang disabilitas berkomunikasi, diperlukan program deteksi bahasa isyarat dengan Computer Vision. Sistem ini menggunakan library OpenCV untuk pemrosesan gambar atau video real time dan bahasa pemrograman Python. Computer Vision ini menggunakan Hand Tracking dengan library MediaPipe untuk pelacakan dan deteksi tangan. Perancangan sistem dilakukan dengan menggunakan algoritma CNN untuk pengenalan dan pendeteksian objek atau pola visual pada gambar (dataset). Library TensorFlow untuk membuat dan melatih model CNN berdasarkan kumpulan dataset tangan yang diambil dari webcam. Webcam berfungsi untuk merekam gambar atau video tangan secara real time, yang kemudian digunakan dalam proses pendeteksian. Setelah dilakukan pengujian terhadap keseluruhan sistem, diperoleh hasil bahwa model CNN yang paling baik digunakan adalah model layer 4 CNN dengan akurasi keseluruhan per label webcam sebesar 99,5%, dilanjutkan dengan training model dengan ukuran hyperparameter batch size 32 dan epoch 10 pada hasil evaluasi model memperoleh akurasi training 98,28% dan validasi 93,45%. Dan hasil pengujian juga menunjukkan bahwa sistem dapat mendeteksi gerakan bahasa isyarat dengan menggunakan Computer Vision dengan metode Hand Tracking.