Serangan botnet menimbulkan risiko keamanan yang signifikan, membuat Internet of Things (IoT) semakin rentan. Keamanan sistem IoT merupakan aspek penting dalam mendeteksi serangan botnet. Kemanjuran keamanan sistem IoT dalam mendeteksi serangan botnet sangatlah penting. Meskipun pendekatan Machine Learning (ML) telah menunjukkan kemanjuran dalam hal ini, keterbatasan yang berkaitan dengan interpretabilitas dan transparansi model tetap menjadi tantangan yang cukup besar. Akibatnya, penelitian saat ini dilakukan dengan tujuan untuk meningkatkan interpretabilitas model ML, sehingga memfasilitasi pembuatan penjelasan yang lebih berdasar melalui pemanfaatan kecerdasan buatan yang dapat dijelaskan (XAI). Kumpulan data N BaIoT akan digunakan untuk melatih model ensemble untuk mendeteksi serangan botnet, dengan model mempelajari pola dari sembilan perangkat yang berbeda. Gradient Boost dengan Early Stopping, Catboost, dan Histogram Gradient Boost telah dipilih untuk mendeteksi serangan botnet, dengan model yang dirancang untuk menangani kumpulan data yang besar dan tidak seimbang secara efisien. Teknik Early Stopping digunakan untuk meminimalkan risiko overfitting. Untuk meningkatkan transparansi dan interpretabilitas, metode XAI seperti SHapley Additive Explanations (SHAP) dan Local Interpretable Model Agnostic Explanations (LIME) digunakan untuk mengidentifikasi fitur yang paling berpengaruh pada prediksi dan dengan demikian memperkuat keandalan model dalam deteksi serangan botnet. Temuan penelitian menunjukkan bahwa Device 7 mencapai akurasi tertinggi di antara ketiga model ensemble yang digunakan, dengan model Gradient Boosting dengan Early Stopping mencapai akurasi 99,94%, Catboost mencapai 99,98% dan Histogram Gradient Boosting juga mencapai 99,98%. Selain itu, SHAP dan LIME telah berhasil mengidentifikasi fitur utama yang memengaruhi prediksi kelas botnet, sementara juga mengungkap korelasi antara fitur yang berkontribusi untuk meningkatkan transparansi model. Ini membuktikan penggunaan model ensemble yang didukung oleh pendekatan XAI memiliki potensi besar dalam memahami dan mempercayai model Machine Learning.