Toko retail menghadapi tantangan serius dalam mendeteksi pencurian yang sering kali luput dari pengawasan manual melalui CCTV. Permasalahan ini diperparah oleh ketergantungan terhadap pemantauan manusia yang rentan terhadap kelalaian dan keterbatasan waktu. Penelitian ini memberikan solusi berupa pengembangan sistem deteksi perilaku mencurigakan berbasis computer vision dan machine learning dengan mengintegrasikan arsitektur YOLOv11 untuk deteksi objek dan pose estimation serta algoritma XGBoost untuk klasifikasi perilaku pelanggan. Penelitian ini memanfaatkan fitur spasial dari interaksi tangan terhadap objek seperti produk, tas, dan jaket yang diekstrak dari keypoint tubuh manusia serta integrasi dokumentasi otomatis berupa video klasifikasi, tangkapan layar perilaku mencurigakan, dan laporan dalam bentuk CSV. Seluruh proses pengembangan mengikuti tahapan CRISP-DM yang dimulai dari business understanding hingga deployment dengan menerapkan teknik SMOTE dalam mengatasi ketidakseimbangan data. Model klasifikasi yang dikembangkan menunjukkan performa yang sangat baik dengan accuracy sebesar 96,77%, precision 96%, recall 96%, dan F1-Score 96% untuk mendeteksi kelas “suspicious”. Model ini diimplementasikan ke dalam prototipe web yang memungkinkan deteksi otomatis dan efisien terhadap perilaku mencurigakan di lingkungan toko retail. Penelitian ini memberikan kontribusi dalam pengembangan sistem pengawasan otomatis yang tidak hanya meningkatkan efisiensi pengawasan, tetapi juga memperkuat keamanan toko tanpa mengganggu kenyamanan pelanggan.
Kata kunci— Toko retail, Perilaku mencurigakan, Deteksi pencurian, Sistem pengawasan, Computer vision, Keypoint, Pose Estimation, YOLOv11, XGBOOST, CRISP-DM