Jalan berlubang adalah sebuah masalah yang dari dulu sudah ada. Hampir seluruh keluarga memiliki kendaraan pribadi seperti mobil dan sepeda motor untuk mempermudah melakukan perjalanan. Tidak sedikit juga kecelakaan lalu lintas dikarenakan oleh lubang di jalanan. Adanya sistem pengenalan kerusakan jalan akan membantu untuk melakukan membedakan antara lubang dan bukan lubang yang nantinya juga berguna untuk dibuatnya sistem deteksi kerusakan jalan. Sebuah citra yang memiliki jalan berlubang dapat diambil dengan ciri bentuk dari lubang tersebut. Jadi hal yang terpenting untuk melakukan pengenalan adalah tergantung ciri bentuk yang diambil. Metode yang digunakan pada penelitian ini adalah Pyramid Histogram of Oriented Gradients (PHOG) untuk mencari fitur bentuk. Karena metode ini telah digunakan untuk pengenalan emosi wajah dan berhasil mendapatkan akurasi yang cukup tinggi. Maka dari itu, metode ini diambil karena ingin membuktikan apakah metode ini memiliki kinerja yang baik untuk melakukan pengenalan terhadap kerusakan jalan. Untuk metode klasifikasi, peneliti menggunakan Support Vector Machine (SVM) yang telah di tuning. Akurasi yang didapatkan sebesar 94,45%, precision sebesar 96,13% dan recall sebesar 95,77% pada kernel polynomial. Selain itu, untuk, True Negative Rate (TNR) sebesar 91,55%, Negative Predictive Value (NPV) sebesar 90,80%, dan F1-Score sebesar 95,95%. Jika dilihat dari recall dan precission, maka kelas ditangani dengan sempurna oleh model meskipun masih ada beberapa citra yang salah.