Indonesia merupakan negara yang padat akan penduduk. Transportasi kereta api menjadi salah satu pilihan transportasi yang cepat dan tepat waktu. Cacat pada permukaan rel dapat menyebabkan kecelakaan lalu lintas kereta api dengan adanya peningkatan kecepatan. Rel kereta api menjadi salah satu faktor penting yang harus diperhatikan oleh PT. Kereta Api Indonesia. Dalam meningkatkan standar kualitas rel kereta api perlu dilakukan pengecekan manual yang dilakukan oleh para pekerja lapangan sehingga membutuhkan tenaga kerja yang banyak, kurangnya ketelitian, dan biaya yang cukup besar. Oleh karena itu, sistem deteksi cacat rel kereta api dikembangkan untuk mengurangi kesalahan manusia dan membuat tahap penyortiran lebih efektif. Pada penelitian ini, penulis merancang sistem pendeteksi cacat rel kereta api yang menggunakan desain arsitektur YOLOv6, YOLOv7, dan YOLOv8. Desain arsitektur ini sudah memiliki berbagai seri sebelumnya dan menjadi deteksi paling populer untuk keseimbangan yang sangat baik antara kecepatan dan akurasi. Dalam penelitian ini, penulis berhasil mendeteksi cacat permukaan rel kereta api menggunakan YOLOv6, YOLOv7, dan YOLOv8. Data yang digunakan terdiri dari 195 data citra dengan tipe-1 cacat rel kereta ekspres sebanyak 67 data dan tipe-2 cacat rel kereta umum sebanyak 128 data. Hasil penelitian menunjukkan bahwa sistem yang menggunakan batch size 16 dengan epoch 512 mencapai tingkat akurasi terbaik dibandingkan yang lain mencapai 99,5% pada model YOLOv8-S untuk dataset tipe-1 dan YOLOv8-M mencapai 91,3% dengan dataset tipe-2.
Kata Kunci : Deteksi Objek, Rail Surface Defect, YOLOv6, YOLOv7, YOLOv8