Brokoli merupakan tanaman yang memiliki banyak manfaat. Bagian bunga brokoli mengandung protein, kalsium, vitamin A, vitamin C, dan masih banyak lagi. Namun dalam budidayanya tanaman brokoli memiliki kendala seperti adanya hama dan penyakit yang dapat mempengaruhi produksi brokoli. Untuk menghindari hal tersebut, penulis membangun sebuah model untuk mengidentifikasi penyakit pada brokoli melalui citra daun dengan ukuran 128x128 piksel. Model di bangun untuk mengklasifikasikan daun sehat, dan daun sakit menggunakan metode image processing yang menggunakan tahapan machine learning. Terdapat beberapa tahapan, antara lain segmentasi K-Means, ekstraksi ciri warna, dan klasifikasi menggunakan SVM (Support Vector Machine) dengan kernel RBF dan PSO (Particle Swarm Optimization) untuk mereduksi data dimensional. Model yang dibangun membandingkan model SVM dan model SVM-PSO. Menghasilkan akurasi yang baik pada data latih sebesar 97,63% dan akurasi data uji sebesar 94,48% untuk SVM-PSO dan 85,82% untuk data latih, dan 86,25% untuk data uji pada model SVM. Oleh karena itu, model yang diusulkan ini dapat menghasilkan hasil yang baik dalam mengkategorikan penyakit daun pada brokoli.