ANALISIS KINERJA TRACKING-BY-DETECTION JARI UNTUK TEKNOLOGI AUGMENTED REALITY MENGGUNAKAN REGION-BASED FULLY CONVOLUTIONAL NETWORK

HASHFI FADHILLAH

Informasi Umum

Kode

20.04.914

Klasifikasi

621.367 - Technological photography and photo-optics, Spectrography, Stroboscopic photography, Image processing, Optical data processing

Jenis

Karya Ilmiah - Skripsi (S1) - Reference

Subjek

Image Processing - Computer Vision

Informasi Lainnya

Abstraksi

Menggabungkan dunia nyata dengan dunia virtual lalu memodelkannya ke bentuk 3D merupakan upaya yang diusung pada teknologi Augmented Reality (AR). Menggunakan jari untuk operasi komputer pada multi-device membuat AR lebih interaktif. Marker-based AR merupakan salah satu jenis AR yang menggunakan marker dalam deteksinya. Teknologi AR terbagi menjadi tiga jenis Projector-CameraAR, Mobile-AR, dan Hand-Gesture-AR. Pada tugas akhir ini dirancang sebuah sistem AR yang menggabungkan Projector-Camera-AR dan Hand-Gesture-AR dengan ujung jari sebagai marker. Banyak penelitian sebelumnya yang menggunakan deteksi warna dalam deteksinya. Sistem AR yang dirancang pada penelitian ini menggunakan tracking-by-detection. Deteksi jari menggunakan metode Regionbased Fully Convolutional Network. Metode ini mengembangkan hasil deteksi yang didapat dari Fully Connected Network. Hasil dari deteksi dan tracking akan diintegrasikan dengan pointer komputer dan dapat digerakkan melalui gestur jari pengguna. Tugas akhir ini menggunakan konfigurasi stride dengan skema training step 25K, 50K, 75K, dan learning rate 0,0003, 0,0004. Pengujian dilakukan dengan pembuatan model hingga pengujian kinerja menggunakan parameter akurasi, Intersect of Union, dan presisi. Model dengan kinerja terbaik akan diaplikasikan pada sistem AR. Penelitian ini menghasilkan model terbaik yaitu model dengan konfigurasi stride 8-2-2-2, training step 50K dan learning rate 0,0004. Model terbaik memperoleh akurasi sebesar 98,428%, IoU 0,845, dan presisi 3,131