Buah adalah salah satu makanan yang mengandung vitamin yang bermanfaat bagi kesehatan manusia. Sehingga banyak petani yang membudidayakan berbagai macam buah yang sesuai dengan iklim geografis dan target pasar petani. Akan tetapi pada proses pembudidayaannya sering dijumpai penyakit buah yang menjadi salah satu masalah serius yang dihadapi petani karena dapat mengancam hasil ekonomi mereka. Fokus utama objek penelitian ini adalah identifikasi dan klasifikasi penyakit pada buah apel. Buah apel sangat rentan terhadap penyakit, pada umumnya penyakit yang biasanya menyerang apel adalah blotch apple, rot apple, dan scabe apple. Dari beberapa penyakit tersebut pemilahan jenis penyakit masih menggunakan metode manual dengan bantuan tenaga manusia. Metode tersebut tentunya banyak kekurangan dan memakan waktu yang lama. Sedangkan pemilahan penyakit yang tepat dan cepat dibutuhkan untuk mengantisipasi terjadinya serangan penyakit yang berulang. Tujuan dari sistem yang dibangun oleh peneliti adalah untuk mgnklasifikasikan jenis-jenis penyakit buah apel serta apel yang sehat. Penelitian ini memanfaatkan teknologi computer vision dan machine learning untuk mengatasi masalah klasifikasi. Sistem yang dikembangkan menggunakan pengolahan citra seperti augmentasi, ekstraksi fitur pengurangan dimensi dengan Principal Component Analysis (PCA). Algoritma klasifikasi yang digunakan adalah Support Vector Machine (SVM) dipadukan dengan algoritma optimasi Firefly (FA). Sistem yang telah dibangun dapat mengklasifikasikan jenis-jenis penyakit buah apel dan apel normal dengan hasil akurasi tertinggi sebesar 90% pada algoritma SVM biasa dan 97% pada algoritma FA-SVM.