Bencana kebakaran dapat menyebabkan kerusakan yang signifikan terhadap properti dan infrastruktur, serta menimbulkan ancaman berat bagi kehidupan manusia. Dibutuhkan suatu sistem yang mampu mendeteksi api sejak dini agar tindakan pencegahan dapat dilakukan. Sistem deteksi api konvensional yang sudah banyak digunakan biasanya dibagun untuk mendeteksi asap atau suhu untuk memicu alarm dimana respon sistem akan terlambat pada saat api yang dideteksi menghasilkan asap dan suhu yang minimal. Untuk mengatasi masalah tersebut, penelitian ini membangun sebuah sistem klasifikasi api berbasis video dengan menggunakan kombinasi metode ruang warna HSV, Local Binary Patterns pada tiga bidang ortogonal (LBP-TOP), dan Support Vector Machine(SVM). Dataset yang digunakan berjumlah 26 video dimana 10 video berlabel api dan 16 video berlabel bukan api. Penelitian ini menghasilkan skor akurasi tertinggi sebesar 90.9%