Penyakit tanaman padi menjadi salah satu penyebab gagal panen, dengan mengidentifikasi jenis penyakit pada tanaman padi maka dapat mengurangi potensi gagal panen. Maka pada penelitian ini dibuat sistem yang dapat mengidentifikasi jenis penyakit pada tanaman padi berdasarkan citra daun tanaman padi. Klasifikasi dilakukan dalam tiga kelas yaitu Brown Spot, Leaf Blast, dan Leaf Folder, dengan menggunakan dataset 110 citra daun untuk setiap kelas, sehingga total dataset 330 citra daun tanaman padi. Sistem dibangun dengan metode untuk ekstraksi ciri yang digunakan pada penelitian ini adalah metode Pyramid Histogram of Oriented Gradient (PHOG dan vektor ciri tersebut diklasifikasikan dengan Support Vector Machine (SVM). Hasil dari penelitian ini adalah sistem ini memiliki kinerja yang paling baik pada parameter PHOG level 1 dan SVM Polynomial dengan vektor ciri yang didapat dari ruang warna RGB dikombinasikan dengan ruang warna YCbCr menghasilkan Akurasi 94.8%.