Pendidikan adalah proses pengubahan sikap dan tata laku seseorang. Evaluasi yang digunakan oleh guru dinegara kita berupa tes seperti ulangan atau ujian. Penelitian ini mengungkap bagaimana membuat machine learning untuk mengklasifikasikan soal sejarah Indonesia tingkat SMA level kognitif Revised bloom's taxonomy ditingkat kesulitan C1 sampai C3 dengan algoritma Naive bayes. Dalam melakukan pelabelan dilakukan dengan cara manual untuk menentukan soal berdasarkan level kognitif RBT. Untuk mendapatkan hasil akurasi sebuah machine learning pada penelitian ini ada beberapa tahapan yaitu tahapan preprocessing dimana dataset akan disaring menggunakan case folding, tokenizing, filtering, dan stemming selanjutnya dataset akan dilakukan pembobotan dengan TF-IDF. Peneliti menggunakan metode SMOTE oversampling untuk mengatasi imbalance data kemudian dilakukan pengujian menggunakan K-fold dengan jumlah fold sebanyak 10 dan terakhir model dilakukan evaluasi performansi dengan menggunakan confusion matrix. Hasil klasifikasi diperoleh skor rata-rata K-fold dataset mengalami kenaikan 16% (60% - 76%) setelah dilakukan SMOTE kemudian hasil akurasi evaluasi performansi juga mengalami kenaikan sebanyak 21% (61% - 82%) ketika dilakukan SMOTE. Hasil penelitian yang diperoleh dari implementasi K-Fold Cross Validation dan confusion matrix menunjukan bahwa penggunaan algoritma Naïve bayes menunjukan skor akurasi yang baik, serta penggunaan metode oversampling sangat membantu dalam penelitian ini guna mengatasi imbalance data.