Jalan yang rusak dapat menyebabkan kemacetan, kecelakaan lalu lintas, dan korban jiwa. Data Kepolisian 2024 menyebutkan setidaknya 3 hingga 4 orang meninggal setiap jam akibat kecelakaan jalan. Kecelakaan jalan 30% disebabkan oleh faktor prasarana dan lingkungan. Di Indonesia, 31,9% jalan masih rusak, dengan 46,85% diantaranya jalan provinsi. Untuk mempercepat proses identifikasi kerusakan jalan, penelitian ini mengusulkan pembuatan model deteksi kerusakan jalan berbasis deep learning dengan metode You Only Look Once (YOLO) yang memiliki keunggulan kecepatan dalam melakukan pengenalan objek. Kerusakan yang digunakan ialah 3 class, retak kulit buaya, retak garis dan lubang. Dua skenario yang digunakan ialah balanced dataset (selisih antar class 100-300 instance) dan imbalance dataset (selisih hampir 5000 instance per class). Selisih jumlah gambar antar kedua model ialah 3.110 (11770 vs 8660). Penyeimbangan dataset dengan teknik undersampling membuat model mencapai performa terbaik 1,47 kali lebih cepat dibanding model imbalanced, namun, dalam tahap pengujian, model imbalanced sedikit lebih unggul pada sebagian besar metrik: precision (68,1% berbanding 67,3%), mAP (64,0% berbanding 63,6%), dan mAP50-95 (31,7% berbanding 30,9%) kecuali pada metrik recall (model balanced lebih baik, 59,3% berbanding 58,3%). Dampak positif dari undersampling terhadap kemampuan prediksi tergolong kecil, dengan peningkatan True Positives (TP) dan penurunan False Positives (FP) masing-masing sebesar 10 untuk 'retak kulit buaya', 20 untuk 'retak garis', dan 6 untuk 'lubang', serta penurunan False Negatives (FN) sebesar 16 instance.