Perkembangan teknologi mengalami kemajuan yang sangat signifikan terutama pada bidang Artificial Intelligence, salah satunya pengembangan di bidang Kendaraan Listrik Otonom guna mengefisiensi penggunaan sumber energi yang ramah lingkungan. Untuk bisa bergerak secara otonom, dibutuhkan teknologi yang mendukung kendaraan dapat mendeteksi objek sekitar, salah satunya dengan cara mengenali objek menggunakan segmentasi. Pada penelitian ini, sistem segmentasi objek digunakan untuk mengenali jalan, dan sistem ini dibangun menggunakan metoda segmentasi berbasis deep learning. Adapun informasi gambar yang diperoleh berasal dari kamera thermal FLIR. Metode segmentasi yang digunakan dalam Capstone Design ini yaitu arsitektur Residual Network (ResNet 50). Hasil segmentasi selanjutnya dimanfaatkan untuk mengembangkan metoda kendali kemudi dengan menganalisis area jalan tersegmentasi. Hasil analisis berupa sinyal rekomendasi arah kendali kemudi yang dikirimkan ke sistem kendali kemudi kendaraan listrik roda tiga. Hasil percobaan menunjukkan bahwa metoda segmentasi ResNet 50 baik digunakan untuk sistem kendali kemudi, karena prosesnya yang baik dan memiliki delay yang rendah sehingga proses kendali kemudi dapat dilakukan secara realtime.
Kata kunci : Convolutional Neural Network (CNN), Deep Learning, Image Processing, Residual Network, Segmentasi Semantik, Thermal FLIR