Catalog Detail

Samsat Digital Nasional (SIGNAL) berfungsi sebagai sarana pelayanan masyarakat berbasis digital untuk pembayaran pajak kendaraan bermotor secara daring. Komentar di Play Store dan App Store dapat dimanfaatkan untuk memperoleh gambaran persepsi masyarakat terhadap kualitas layanan sekaligus sebagai bahan evaluasi pengembangan aplikasi. Penelitian ini dilakukan untuk menelaah opini pengguna aplikasi SIGNAL sekaligus membandingkan performa algoritma SVM dan XGBoost dalam klasifikasi sentimen. Dataset yang digunakan terdiri atas 3.490 ulasan pengguna. Penelitian dilaksanakan melalui tahapan preprocessing, pelabelan sentimen menggunakan InSet Lexicon, TF-IDF, spliting data dengan skenario 70:30, 80:20, dan 90:10, penyeimbangan data menggunakan Random Under Sampling (RUS) dan Synthetic Minority Over-sampling Technique (SMOTE), serta optimasi parameter menggunakan Grid Search. Kinerja diukur melalui parameter accuracy, precision, recall, dan F1-score. Proses pelabelan menunjukkan bahwa dataset didominasi sentimen positif sebanyak 2.195 ulasan (62,9%), diikuti sentimen negatif 974 ulasan (27,9%) dan sentimen netral 321 ulasan (9,2%). Berdasarkan hasil pengujian, SVM baseline dan SVM dengan optimasi Grid Search pada skenario pembagian data 90:10 sama-sama memberikan performa terbaik dengan accuracy 90,54%, precision 88,33%, recall 82,90%, dan F1-score 85,08%. Temuan penelitian menunjukkan bahwa SVM memiliki performa lebih baik dibandingkan XGBoost dalam mengklasifikasikan sentimen ulasan pengguna aplikasi SIGNAL sehingga dapat mendukung evaluasi dan peningkatan kualitas layanan aplikasi.