Bahasa isyarat merupakan bahasa yang digunakan oleh beberapa orang yang memiliki disabilitas tunaru- ngu atau orang-orang yang susah berkomunikasi secara lisan dengan orang lain. Namun, bahasa isyarat tidak banyak diketahui oleh orang-orang normal, sehingga membuat orang yang memiliki kesulitan dalam berkomunikasi dengan orang-orang normal. Banyak penelitian yang menawarkan berbagai macam solusi untuk menyelesaikan masalah ini, salah satunya adalah membuat sebuah sistem pengenalan bahasa isyarat berdasarkan pengolahan citra. Algoritma SURF adalah salah satu dari banyak metode dalam pengolahan citra yang digunakan untuk mengenali suatu objek. Algoritma SURF dapat mencari titik-titik penting lalu membuat fitur, setelah itu semua fitur dikumpulkan lalu di-cluster dan dihitung jumlah titik disetiap cluster setiap kelasnya, dan dijadikan sebagai input pada algoritma SVM. Digunakan 2208 dataset dengan 24 kelas pada penelitian ini dan dihasilkan akurasi sebesar 69%.