Perkembangan teknologi informasi memungkinkan pengguna menyampaikan ulasan melalui platform seperti google maps dengan memberikan informasi penting seperti penilaian kualitas dan pengalaman pengguna layanan. Penelitian ini berfokus pada pengelolaan ulasan pelanggan di JNE Purwokerto yang belum secara efektif dimanfaatkan untuk keperluan dalam evaluasi layanan. Dengan menggunakan pendekatan Machine Learning, penelitian ini bertujuan untuk mengklasifikasikan sentimen ulasan negatif dan positif pengguna sebagai bahan evaluasi bagi penyedia layanan. Tahapan penelitian dimulai dengan pengambilan data ulasan yang terdiri dari 968 ulasan dengan rincian 111 (positif) dan 857 (negatif) yang diperoleh melalui kode Python dan API. Lalu preprocessing data; case folding, cleaning, tokenisasi, stopword removal, dan stemming. Ekstraksi fitur dengan metode Bag of Words untuk mengubah data menjadi nilai numerik. Splitting data 80:20 menghasilkan 774 data latih dan 194 data uji. Penggunaan teknik Synthetic Minority Over-sampling Technique terhadap ketidakseimbangan pada data latih semula 89 (positif) dan 685 (negatif) menjadi data yang seimbang. Algoritma Naïve Bayes Classifier model Multinomial Naive Bayes untuk pengujian. Confusion matrix untuk mengevaluasi performa metode algoritma Naïve Bayes. Hasil dari proses evaluasi menperoleh nilai akurasi sebesar 89% dengan nilai presisi 93%, recall 94%, dan f1-score 93% (negatif). Sedangkan, nilai presisi 58%, recall 54%, dan f1-score 56% (positif). Hasil analisis sentimen menunjukan adanya ketidakpuasan layanan, ditunjukkan dengan tingginya sentimen negatif pada ulasan pelanggan.
Kata kunci: analisis sentimen, naive bayes, pembelajaran mesin, smote, ulasan