Kejadian kecelakaan lalu lintas menjadi isu yang mengkhawatirkan di kalangan masyarakat Indonesia. Kelelahan pengemudi merupakan salah satu faktor utama penyebab kecelakaan lalu lintas. Kelelahan tersebut dapat disebabkan oleh beberapa keadaan seperti mengemudi di malam hari, pengemudi yang kurang tidur, penggunaan alkohol, mengemudi di jalan yang monoton, serta meminum obat-obatan yang menyebabkan kantuk dan kelelahan. Sehingga, pada tugas akhir ini dibahas mengenai cara mendeteksi kelelahan pengemudi berdasarkan citra wajah. Deteksi dilakukan dalam tiga kelas yaitu pengemudi dengan keadaan normal, talking dan yawning. Metode yang digunakan pada tugas akhir ini yaitu Boost Local Binary Patterns (B-LBP) untuk ekstraksi ciri dan menggunakan Support Vector Machine (SVM) untuk klasifikasi. Hasil kinerja sistem mencapai akurasi 93% dengan nilai recall 94% dan presisi 94%. Parameter yang digunakan pada LBP dengan nilai P = 4, R = 2.