Kebakaran merupakan bencana yang dapat diminimalisasi dengan cara pencegahan dan deteksi dini terhadap api yang menyebabkan kebakaran. Pada penelitian ini dibangun sistem deteksi api dengan metode ekstraksi fitur Speeded Up Robust Feature (SURF) pada 3 bidang ortogonal guna mendapatkan informasi fitur, spasial dan temporal dan metode klasifikasi Support Vector Machine (SVM) menggunakan Bag-of-Feature. Pada hasil pengujian sistem, akurasi tertinggi didapat dengan threshold 0, jumlah klaster 5 dan menggunakan SVM dengan kernel Gaussian dengan nilai akurasi 0.8125.