Pada jalan tol terdapat beberapa pengendara mobil yang sering menggunakan bahu jalan tol sebagai lajur untuk mengemudi yang seharusnya tidak boleh digunakan kecuali keadaan mendesak, hal tersebut dapat mengganggu kepentingan pengendara jalan lain yang memiliki kepentingan lebih mendesak yang seharusnya menggunakan bahu jalan tersebut, selama ini jika terjadi pelanggaran pada bahu jalan tol, jarang sekali petugas tol mengetahui pelanggaran secara langsung, hal tersebut masih kurang cukup efektif dikarenakan petugas tidak dapat terjun secara langsung untuk mengamankan pengemudi yang melakukan pelanggaran. Dengan menggunakan sebuah sistem yang digunakan untuk mendeteksi pelanggaran pada bahu jalan tol dengan menggunakan algoritma Deep Learning Faster Region based Convolutional Neural Network (Faster R-CNN). Cara kerjanya yaitu dengan memproses video yang direkam dari CCTV pada aplikasi HK TOLL APPS, lalu kemudian sistem akan mendeteksi kendaraan yang melakukan pelanggaran, jika terbukti melakukan pelanggaran maka sistem akan memberikan sebuah notifikasi kepada petugas jalan tol dengan melalui sebuah Bot Telegram. Luaran yang didapatkan pada penelitian Tugas Akhir ini adalah sistem dapat mendeteksi kendaraan yang melakukan pelanggaran pada bahu jalan tol dengan baik. Dengan menggunakan model hasil testing yang dilakukan dengan beberapa skema pengujian training partisi data dan pengujian variabel konfigurasi didapatkan model yang memiliki nilai terbaik dengan partisi data 90%:10%, dan variabel konfigurasi dengan Learning Rate 0.0004, Batch Size 1, Epoch 100. Dengan nilai accuracy 77.9 %, precision 71.1 %, recall 73.6 %, dan Mean Average Precision (mAP) sebesar 77 %.
Kata Kunci : Jalan Tol, Bahu Jalan Tol, Faster Region based Convolutional Neural Network (Faster R-CNN), Deteksi Pelanggaran.