Jalan merupakan Kebutuhan manusia yang sangatlah penting untuk kita sebagai masyarakat yang melakukan aktivitas, jalan adalah akses menuju tempat yang kita ingikan. Jalan berlubang merupakan masalah serius di setiap daerah Indonesia, Khususnya jalan yang banya dilewati oleh kendaraan besar. Semakin meningkatnya volume kendaraan di Indonesia semakin bertambah pula pengguna jalan, hal itu dapat menghambat kita sebagai masyarakat untuk beraktivitas, jalanan rusak dan berlubang pun merupakan tantangan dan ringtan untuk pengendara yang bisa berujung maut, angka kecelakaan akibat jalanan rusak cukup banyak dan sering terjadi. Oleh karena itu dibuatlah sebuah sistem deteksi lubang jalan. Salah satu metode yang diciptakan untuk menciptakan object detection yaitu metode You Only Look Once (YOLO). Cara kerja YOLO yaitu dengan melihat seluruh gambar sekali, kemudian melewati jaringan syaraf sekali langsung mendeteksi objek yang ada. Yang dihasilkan dari pengerjaan Proyek Akhir ini adalah sebuah sistem deteksi lubang yang dapat mendeteksi lubang jalan di berbagai jalan. Sistem ini dibuat menggunakan metode YOLOv4 dengan membuat labelling dan bounding box pada citra dataset. Hasil Implementasi ini bertujuan untuk mendeteksi lubang jalan, dengan hasil keluaran berupa citra yang telah terdeteksi. Dengan adanya labelling dan bounding box pada citra yang telah terdeteksi pada lubang jalan. Dari hasil pengujian pada total 60 gambar yang akan di uji dengan masing-masing 30 gambar yang terdapat satu lubang dengan akurasi yang didapatkan 80% pada skenario 1, dan 30 gambar yang terdapat lebih dari satu lubang dengan akurasi yang didapat 86% pada skenario 2, dengan rata-rata waktu proses 0.60 detik