Mengenali berbagai jenis buah merupakan salah satu kegiatan yang sering terjadi di supermarket, ketika pegawai harus mampu mengenali tidak hanya jenis buah tertentu, tetapi juga variasinya sehingga mereka mampu menentukan harga dari buah tersebut. Namun, telah ditemukan adanya masalah seperti pegawai yang tidak dapat mengingat atau menghafalkan setiap kode buah dapat menyebabkan terjadinya kesalahan pada penentuan harga. Sehingga dibutuhkan sistem yang dapat mengenali atau mengklasifikasikan jenis buah secara otomatis melalui citra. Sistem ini dapat mengklasifikasikan 131 jenis buah dari dataset Fruits-360 yang terdapat keterkaitan antar kelas, seperti: tomat dan stroberi memiliki warna yang sama meskipun berbeda bentuk, serta apel braeburn dan apel golden dimana mereka memiliki bentuk yang hampir sama namun memiliki perbedaan pada hal warna. Citra dari buah akan diekstraksi fiturnya menggunakan Histogram of Oriented Gradient (HOG) dan Histogram HSV yang dipadukan dengan Random Forest (RF) sebagai metode klasifikasinya. Proses pelatihan yang telah dilakukan dengan 67.692 citra latih, memperoleh sebuah model yang dapat melakukan klasifikasi 131 jenis buah. Hasil prediksi yang dilakukan terhadap 22.688 citra uji dengan 131 jenis kelas berbeda ini dapat memprediksi kelas buah dengan akurasi hingga 98.11795%.