Teknologi akan terus berkembang seiring berjalannya waktu, oleh karena itu masyarakat harus bisa beradaptasi akan hal tersebut. Salah satunya komputer, tidak banyak orang yang bisa menggunakan alat tersebut. Ini menyebabkan kurangnya masyarakat dalam pengetahuan tentang teknologi, oleh sebab itu Human Computer Interaction (HCI) tidak lepas dari komputer. HCI ilmu yang mempelajari suatu hubungan agar memudahkan manusia untuk menggunakan komputer. Salah satu teknologi komunikasi yang dapat berinteraksi secara langsung yaitu virtual. Sehingga untuk mengatasi masalah tersebut dilakukan upaya interaksi dengan komputer agar masyarakat dapat memahaminya. Pada proyek akhir ini, telah dirancang bangun virtual berbasis pengolahan citra menggunakan bahasa pemrograman python. Rancangan ini yang nantinya akan berinteraksi antar manusia dengan komputer secara langsung, dengan menggunakan kamera atau webcam. Untuk melakukan hal tersebut dibutuhkan objek penggerak dan warna sebagai media penandanya. Untuk mendeteksi warna melalui webcam atau kamera yang ditangkap secara real-time. Pada proyek akhir ini, telah dilakukan pengujian klik kursor dengan kondisi indoor dan outdoor menggunakan warna merah, hijau, biru, kuning, dan merah muda memiliki tingkat akurasi 100% dengan jarak terbaik antara kamera laptop atau smartphone dengan warna citra adalah 25 cm, dan pengujian drag kursor dengan kondisi dan warna citra yang sama memiliki tingkat akurasi 85%.