Dalam kehidupan sehari-hari, kendaraan sering digunakan untuk mencapai suatu titik tujuan. Terdapat juga peraturan lalu lintas yang harus diikuti. Sudah tersedia beberapa fasilitas pengawasan lalu lintas seperti CCTV, tetapi fasilitas yang diberikan pada alat tersebut masih kurang pada saat cuaca tertentu, seperti hujan.
Salah satu metode yang digunakan dalam mengatasi deteksi pada hujan adalah Background Subtraction dan untuk melacak setiap obyek dalam beberapa frame menggunakan metode Convolutional Neural Network(CNN). Dengan bantuan model You Only Look Once(YOLO) untuk mendeteksi dan melacak obyek.
Tujuan dari penelitian ini adalah mengoptimalkan sistem mendeteksi dan melacak obyek kendaraan dalam keadaan cuaca terang, hujan, dan kabut. Dengan bantuan OpenCV, Terdapat lima tahap dalam membangun sistem ini, yaitu mengambil video melalui kamera, lalu dilakukan Background Subtraction, kemudian mengklasifikasi hasil dengan data set yang diberikan melalui model You Only Look Once (YOLO) dan mendeteksi dengan Convolutional Neural Network (CNN), lalu obyek kendaraan dilacak menggunakan Kalman Filter, dan mengoptimalkan hasil yang didapat.
Kata kunci: YOLO, CNN, Kalman Filter