Terdapat banyak kegunaan yang dapat dilakukan oleh Gesture atau bentuk tangan, salah satunya ialah sebagai alat komunikasi yang kemudian kita kenal dengan Bahasa Isyarat. Dalam Bahasa Isyarat terdapat banyak bentuk tangan yang mewakili suatu arti seperti angka, huruf, kata, dan lain sebagainya. Dengan tujuan mempermudah pengenalan bentuk tangan, dilakukan pengembangan sistem yang dapat mengenali arti dari bentuk tangan sebagai bahasa isyarat. Sistem yang dikembangkan menggunakan metode ekstraksi ciri Pyramid Histogram of Oriented Gradient (PHOG) dan Klasifikasi Support Vector Machine (SVM). Dataset yang digunakan pada sistem berupa 3800 gambar dan terdiri dari 6 label / class, kemudian dataset akan digunakan sebagai bahan Training dan Testing pada sistem sehingga sistem dapat mengenali arti dari tiap gambar yang menjadi masukan. Pengukuran kinerja sistem menggunakan F1 Score dengan akurasi sebesar 86%