Bahasa isyarat adalah bahasa yang digunakan untuk berkomunikasi dengan menggunakan anggota tubuh, salah satunya adalah gestur tangan. Di Indonesia sendiri terdapat dua bahasa isyarat yang sudah diakui dan disepakati agar dapat digunakan untuk bertukar informasi, dua bahasa isyarat itu adalah Sistem Isyarat Bahasa Indonesia (SIBI) dan juga Bahasa Isyarat Indonesia (BISINDO), sedangkan bahasa isyarat yang sering digunakan untuk berkomunikasi adalah BISINDO. Bahasa Isyarat Indonesia (BISINDO) merupakan bahasa isyarat yang menjadi bahasa sehari-hari bagi sebagian orang penyandang disabilitas khususnya seorang tunarungu. Tetapi masih banyak masyarakat normal yang tidak bisa dan tidak mengerti pada bahasa isyarat ini, untuk mengatasi masalah tersebut dilakukan upaya perancangan system penerjemah agar dapat dimengerti oleh masyarakat umum.
Pada Proyek Akhir ini, telah dirancang sebuah sistem penerjemah huruf vokal bahasa isyarat Indonesia per karakter menggunakan metode Convolutional Neural Network dengan arsitektur VGG-19 berbasis image processing dengan menggunakan bahasa pemrograman pyhton. Data yang diambil merupakan gambar gerakan tangan huruf vokal dalam bahasa isyarat yang dibiagi menjadi tiga yaitu 100 citra BISINDO, 150 citra BISINDO new, dan 250 citra BISINDO mix yang digunakan sebagai pengenalan untuk pendeteksian sistem penerjemah ini, yang selanjutnya akan diproses untuk menjalankan program penerjemah bahasa isyarat per karakter ini menjadi sebuah audio.
Berdasarkan hasil pengujian, dari 2 skenario yaitu 100 citra untuk pengujian dan pelatihan, dan 150 citra untuk validasi data dari hasil pengujian dan pelatihan diperoleh tingkat akurasi tertinggi sebesar 100% dengan menggunakan nilai epoch sebesar 14 dan batch size sebesar 4. Sistem ini dapat menerjemahkan huruf vokal bahasa isyarat Indonesia BISINDO dengan rata-rata waktu proses penerjemahannya adalah 2,1 detik untuk huruf A, 1,3 detik huruf E, dan 1,6 detik untuk huruf I O dan U.
Kata kunci : Convolutional Neural Network, BISINDO, VGG-19