Perkembangan Kecerdasaan buatan (AI) sangat pesat yang menimbulkan berbagai tantangan dalam hal pengujian perangkat lunak, sebab hasil kecerdasaan buatan(AI) harus dipastikan memiliki kualitas, akurasi dan keandalan atas hasil yang perintah yang diberikan khususnya pada aspek pemrograman dan perbaikan kode. Penelitian ini bertujuan untuk membandingkan antara Gemini AI dan Blackbox AI melalui metode pengujian Blackbox testing dan evaluasi pengguna menggunakan metode pendekatan Technology Acceptance Model (TAM). Pengujian yang dilakukan akan memastikan bahwa kedua AI memiliki keluaran terbaik untuk permasalahan pemrograman dan perbaikan kode. Pengujian dilakukan dengan lima skenario test case dengan pendekatan Software Testing Life Cycle (STLC) dan pengujian sendiri menggunakan Sonarqube sebagai alat bantu dalam analisis dan pengujian. Hasil pengujian Blackbox testing menunjukan bahwa Blackbox AI lebih cocok digunakan sebab Blackbox AI, Blackbox AI memiliki potensi lebih unggul karena maintainability yang lebih baik dan jumlah code smell yang lebih sedikit, sehingga memudahkan proses perawatan dan pengembangan berkelanjutan. akan tetapi jika kebutuhan pengguna berdasarkan efiensi dan keberhasilan menyelesaikan permasalah secara cepat tanpa memperlukan penjelasan mendalam, maka Gemini AI sangat cocok untuk digunakan.