Indonesia merupakan salah satu negara yang tergolong rawan terhadap bencana alam. Info BMKG merupakan salah satu media informasi yang digunakan oleh BMKG. Namun, jumlah unduhan aplikasi Info BMKG masih relatif rendah. Ditambah dengan ditemukannya berbagai ulasan negatif pengguna yang mengindikasikan ruang perbaikan yang dapat dilakukan. Oleh karena itu, evaluasi terhadap aplikasi Info BMKG dibutuhkan.
Penelitian ini mengevaluasi Info BMKG berdasarkan ulasan pengguna di Google Play Store. Evaluasi dilakukan melalui klasifikasi topik dan analisis sentimen menggunakan model CatBoost, serta pemodelan topik dengan BERTopic. Klasifikasi topik dilakukan untuk mengelompokkan data ke dalam dua topik utama yaitu system quality dan information quality.
Hasil klasifikasi topik menghasilkan akurasi sebesar 82% untuk system quality dengan skor F1 masing-masing sebesar 0.77 (kelas 0) dan 0.85 (kelas 1). Untuk topik information quality, diperoleh akurasi 85%, dengan F1-score masing-masing 0.83 (kelas 0) dan 0.86 (kelas 1). Pada klasifikasi sentimen, model dengan SMOTE pada topik system quality menghasilkan akurasi 87%, dengan F1-score sebesar 0.92 (kelas 0) dan 0.69 (kelas 1). Untuk information quality, klasifikasi sentimen menghasilkan akurasi 91% dengan F1-score 0.88 (kelas 0) dan 0.93 (kelas 1).
Selain itu, melalui pemodelan topik menggunakan BERTopic, ditemukan subtopik yang mencerminkan kelebihan dan kelemahan aplikasi dalam dua topik utama. Pada system quality, keluhan pengguna mencakup lambatnya aplikasi, error, notifikasi yang tertunda, serta ketidakakuratan lokasi dan peta. Di sisi lain, aplikasi dinilai unggul dalam kemudahan penggunaan dan tampilan antarmuka. Sementara untuk information quality, masalah seperti keterlambatan informasi gempa dan ketidakakuratan data cuaca banyak dikeluhkan, namun konten informatif terkait bencana dinilai bermanfaat, akurat, dan relevan bagi pengguna.