ABSTRAKSI: Pengenalan bahasa isyarat dapat dilakukan jika diketahui gerakan dari isyarat. Untuk memperoleh informasi tersebut, teknik vision based lebih fleksibel daripada device based. Ciri geometris dapat menjadi model numerik dari gerakan isyarat. Hidden Markov Model (HMM) merupakan jenis dari model statistik yang sesuai untuk merekam variasi pada data sequence.
Dalam Tugas Akhir ini, dilakukan pengenalan sejumlah isyarat pada Sistem Isyarat Bahasa Indonesia (SIBI) dari video yang dilakukan oleh satu individu pengguna bahasa isyarat. Frame citra dari file video dianalisa untuk mendeteksi area yang masuk ke dalam interval warna kulit manusia dengan menerapkan batas pada informasi warna RGB (Red Green Blue). Lalu dilakukan seleksi area yang merupakan wajah, tangan kanan, dan tangan kiri. Dari deteksi tangan diketahui informasi geometris dari tangan yang masing-masing direpresentasikan dalam vektor ciri. Selanjutnya dilakukan kuantisasi pada tiap vektor ciri yang diperoleh dengan menggunakan metode k-means. Tiap jenis isyarat dimodelkan dengan sebuah arsitektur HMM. Kemudian dilakukan pelatihan pada tiap HMM untuk menghasilkan basis data model. Sedangkan untuk proses pengenalan diterapkan evaluasi pada HMM.
Pengujian menggunakan sepuluh variasi isyarat menunjukkan bahwa sistem mampu mencapai tingkat akurasi 90% pada tingkat isyarat terisolasi dan dilakukan oleh satu individu dengan ukuran codebook dan jumlah state yang bervariasi.Kata Kunci : pengenalan bahasa isyarat, video, ciri geometris, k-means, hidden markov model, SIBIABSTRACT: Sign language recognition can be done if the sign gesture is known. For that information, vision based is more flexible than device based. Geometric feature can be the numeric model from the sign gesture. Hidden Markov Model (HMM) is the type of statistical model that appropriate for the record of variation in sequence data.
In this final project, recognition a number of sign in Sistem Isyarat Bahasa Indonesia (SIBI) from video by one individual is done. Image frames obtained from video file. Then, the image is analyzed to detect the region belong to the range of human skin with threshold from the RGB (Red Green Blue) color information. After that region selection is done that consist of face, right hand, and left hand. The geometric information of the hand is known from the hand detection and each of that is represented by feature vector. Each sign is modeled by a single HMM. Then training is done to produce a model database. While for recognition process, evaluation of HMM is done.
Tests using ten sign variations showed that the system could achieve 90% accuracy at isolated level by one individual with vary size of codebook and number of states.Keyword: sign language recognition, video, geometric feature, k-means, Hidden Markov Model, SIBI