Soal kuis merupakan evaluasi yang krusial dalam mengukur perkembangan belajar mahasiswa karena merupakan salah satu patokan dosen untuk memberikan materi pembelajaran. Ketepatan hasil pengukuran pencapaian kompetensi mahasiswa sangat penting karena nantinya dijadikan patokan penilaian oleh dosen, oleh karena itu dibutuhkan instrumen soal yang berfungsi dengan baik dalam membedakan antara mahasiswa yang memiliki kemampuan tinggi dengan mahasiswa yang memiliki kemampuan rendah berdasarkan kriteria yang sudah terdefinisikan. Item soal yang baik yaitu, ketika suatu soal memiliki tingkat kesukaran yang seimbang (proporsional), maka dapat dikatakan soal tersebut baik. Tetapi, suatu soal hendaknya tidak terlalu sukar dan tidak pula terlalu mudah. Soal yang terlalu mudah tidak mendorong siswa untuk mempertinggi usaha memecahkannya, sebaliknya soal yang terlalu sulit menyebabkan siswa menjadi putus asa. Dengan dasar itu, pengelompokan tingkat kesulitan soal sepatutnya dilakukan untuk membuat paket soal yang sesuai porsi. Studi kasus yang diambil oleh peneliti adalah soal kuis Data Warehouse S1 Sistem Informasi Telkom University. Pengambilan studi kasus tersebut karena mata kuliah Data Warehouse adalah mata kuliah wajib yang ada pada Program Studi Informasi Telkom University. Untuk mengetahui kategori soal berdasarkan tingkat kesulitan, apakah, mudah, sedang, atau sulit maka akan dilakukan klasifikasi. Dalam melakukan klasifikasi penulis melakukan perbandingan algoritma naïve bayes dan support vector machine. Tahapan dalam melakukan klasifikasi pada penelitian ini adalah dengan cara preprocessing data, processing data, klasifikasi dan evaluasi. Dari hasil perbandingan tersebut didapatkan akurasi tertinggi dengan metode algoritma klasifikasi SVM. Hasil akurasi yang diperoleh terhadap perbandingan rata-rata skor pada algoritma Naïve Bayes (Sebelum SMOTE) sebesar 85.73% dan pada algoritma SVM (Sebelum SMOTE) sebesar 85.11%. kemudian untuk perbandingan rata-rata skor pada algoritma Naïve Bayes (Sesudah SMOTE) sebesar 88.9% dan pada algoritma SVM (Sesudah SMOTE) sebesar 97.82%.
Kata Kunci: Data Warehouse, Telkom University, Question Qualification, Naïve Bayes, Support Vector Machine.