Penyeberangan jalan merupakan salah satu aspek penting dalam mobilitas bagi masyarakat, tidak terkecuali bagi penyandang disabilitas. Namun, sering menjadi persoalan bagi pengguna penyeberangan jalan untuk penyandang disabilitas dimana membutuhkan waktu yang cukup lama untuk melakukan penyeberangan. Hal tersebut membutuhkan perhatian khusus. Dari permasalahan tersebut, dibutuhkan suatu sistem yang dapat mendeteksi penyandang disabilitas yang akan menyeberang jalan dengan menggunakan pewaktuan khusus. Berdasarkan masalah tersebut, maka penelitian ini akan membuat suatu rancang bangun sistem otomasi yang dapat mendeteksi dan mengklasifikasi penyeberang jalan penyandang disabilitas dan non disabilitas. Pada penelitian ini, sistem ini dirancang menggunakan teknologi Artificial Intelligence (AI) berbasis image processing. Untuk klasifikasi penyandang disabilitas (pengguna tongkat dan pengguna kursi roda) dan non disabilitas, penelitian ini menggunakan metode You Only Look Once (YOLO). Rancang bangun sistem ini juga dapat menampilkan indikator waktu, sinyal, dan suara saat ada penyeberang jalan sesuai dengan klasifikasinya. Pengujian keseluruhan sistem yang sudah dilakukan terdiri dari 4 tahap, yaitu pengujian sensor trigger sebagai input untuk mendeteksi penyeberang jalan. Pengujian dilakukan dengan pengukuran jarak dan rentang sudut yang sudah ditentukan dengan jarak 1m-2m dengan rentang sudut 60°-120° dan sudah mendapatkan hasil yang baik. Sistem dapat mengklasifikasikan penyeberang jalan dengan nilai akurasi diatas 80%. Sistem juga sudah mampu bekerja dengan baik pada area khusus yang sudah dipetakan dan Output system juga sudah berjalan dengan baik. Pengujian yang telah dilakukan, didapatkan hasil bahwa sistem sudah bekerja dengan baik dan maksimal sesuai dengan kebutuhan sistem.
Kata kunci : Otomasi, Image Processing, You Only Look Once (YOLO), Pendeteksian