Expressive Viseme Group on Facial Animation Model For Indonesian Language

Reza Budiawan

Informasi Umum

Kode

213100010

Klasifikasi

302.23 - Social science- Media (Means of communication)

Jenis

Karya Ilmiah - Thesis (S2) - Reference

Subjek

Information Media

Dilihat

316 kali

Informasi Lainnya

Abstraksi

ABSTRAKSI: Viseme merupakan bentuk visual dari sebuah phoneme. Untuk menghasilkan sebuah talking head model yang mengucapkan sebuah kalimat, viseme merupakan unit terkecil yang dibutuhkan saat proses produksinya dilakukan. Viseme sangat bergantung pada bahasa yang dipakai dan tidak bisa diaplikasikan secara umum terhadap semua bahasa. Selain itu, viseme juga bergantung pada ekspresi yang ditampilkan model saat berbicara. Hal ini dikarenakan adanya kondisi conflicting muscle pada kontraksi otot wajah yang membentuk viseme tersebut. Hal ini berdampak pada banyaknya kombinasi viseme yang dibutuhkan saat membangun talking head model. Thesis ini membahas tentang klasifikasi dari kombinasi viseme tersebut. Viseme yang digunakan pada penelitian ini berbasis pada Bahasa Indonesia dan hanya mengambil 1 bentuk pola pengucapan yaitu, konsonan-vokal. Klasifikasi yang dilakukan menggunakan 19 titik penting sebagai representasi dari otot wajah dan 1 titik acuan sebagai standar pada proses normalisasi. Facial animation model akan dibangun berdasarkan grup dari hasil klasifikasi. Pada proses ini free form deformation (FFD) digunakan untuk mendeformasi model, dan Bezier curve diaplikasikan untuk menghasilkan gerakan antar frame acuan. Penelitian ini mengklasifikasikan 315 kombinasi viseme ke dalam 26 grup. Hasil pengujian kesamaan gerakan antara facial animation model dan real human video mencapai nilai kesamaan sebesar 92,3%. Dengan kata lain, grup viseme pada thesis ini telah terbukti efektif untuk menghasilkan persepsi realistis pada speech animation model.Kata Kunci : realistic speech model, klasifikasi viseme, co - articulation, expression .ABSTRACT: Visemes are visual counterpart of phoneme. In speech synthesis, a viseme was used as a small unit to generate an utterance of talking head model. Visemes depend on the pronunciation of each language. It is difficult to apply a viseme in cross language rule. Besides, viseme can be affected by facial muscle that actively contracted by the expression while talking. These result on visemes with very large combinations of forms. This makes the generation of a sequence of utterance for speech animation to use many visemes. This study proposed the classification of viseme mapping. Visemes used in this study was limited on the consonant-vowel (CV) Indonesian’s syllable pattern, which are combined with expression on lower face area. Classification was done using 19 crucial points as parameterized muscle and 1 reference points as the standard on normalization image process. Facial animation model are generated based on the classification result of visemes. The generation process used free form deformation (FFD) as deformation process and Bezier curve as the keyframe references for generating process. This study grouped 315 combinations of visemes into 26 classes. Based on the distance criteria, facial animation which is generated to show the viseme movement, has achieved 92,3% realistic perception. It means that the viseme group as a result from this study has proven effectively to be used to produce a realistic perception of speech animation model.Keyword: realistic speech model, viseme grouping, co - articulation, expression.