Smart Surveillance System (SSS) merupakan salah satu komponen terpenting pada Autonomous Vehicle (AV) untuk meningkatkan keamanan berkendara tanpa pengemudi. Hal ini tidak terlepas dari penerapan Artificial Intelligence (AI) untuk mendeteksi objek di sekitar kendaraan. Namun, kinerja object detection ini dapat menurun pada kondisi lingkungan yang buruk seperti lingkungan berkabut. Keberadaan kabut dapat membuat objek kurang jelas terlihat sehingga AV tidak mampu mendeteksi objek yang ada di sekitarnya. Oleh karena itu, pada Tugas Akhir ini, penulis merancang sistem object detection yang dilengkapi dengan kemampuan image dehazing untuk meningkatkan kinerja object detection di lingkungan berkabut.
Sistem yang dirancang menggunakan Two-Branch Neural Network sebagai image dehazing subnet dan EfficientDet sebagai object detection subnet. Penggabungan kedua subnet ini dikenal sebagai Dual Subnet Neural Network. Dataset yang digunakan untuk melakukan fine tuning pada object detection subnet adalah Foggy Cityscapes, sedangkan untuk image dehazing subnet penulis menggunakan pre-trained model yang sudah dilatih dengan dataset ENTIRE 2021 NH-Haze. Kelas objek yang digunakan adalah car dan person. Analisis kinerja sistem diukur melalui pengujian pada dataset Cityscapes dan Foggy Cityscapes dengan parameter kinerja Peak Signal to Noise Ratio (PSNR), Structural Similarity (SSIM), Mean Average Precision (mAP), dan Frames per Second (FPS).
Serangkaian pengujian dilakukan untuk menganalisis kinerja sistem terhadap pengaruh penambahan image dehazing subnet, level ketebalan kabut, konfigurasi penggabungan kedua subnet, kestabilan sistem, serta kecepatan kerja sistem. Kinerja sistem terbaik dengan [email protected] sebesar 43,615% diperoleh melalui konfigurasi gabungan paralel antara object detection subnet yang dilatih pada citra berkabut dan gabungan seri antara image dehazing subnet dan object detection subnet. Peningkatan kinerja ini signifikan karena sistem dengan object detection biasa hanya memperoleh [email protected] sebesar 39,482%. Berdasarkan hasil tersebut, Dual Subnet Neural Network dengan konfigurasi yang tepat terbukti berhasil meningkatkan kinerja object detection di lingkungan berkabut.
Kata Kunci: Smart Surveillance System, Autonomous Vehicle, image dehazing, object detection