Inspeksi cacat pada suatu produk sangat dibutuhkan guna memperbaiki produk yang telah dibuat. Salah satu inspeksi cacat yang ada didalam sebuah industri adalah inspeksi cacat pada permukaan baja. Dibutuhkan sistem untuk mendeteksi dan menginspeksi cacat pada permukaan baja secara otomatis dan optimal. Tugas akhir ini dilakukan bertujuan untuk menginspeksi kecacatan pada permukaan baja tersebut. Didalam tugas akhir ini, sebuah sistem akan dirancang guna menginspeksi cacat pada permukaan baja dengan menggunakan metode You Only Look Once versi 4 (YOLOv4). Cara kerja dari sistem ini pertama-tama citra akan dimasukkan kedalam sistem, lalu dilakukan pre-processing guna menyamakan ukuran dan spesifikasi citra. Lalu dilakukan proses inspeksi menggunakan sistem yang telah dirancang. Pada akhirnya, sistem akan mengeluarkan output berupa hasil inspeksi dan deteksi cacat pada permukaan baja. Tugas akhir ini menggunakan 1.800 citra grayscale yang terbagi menjadi 6 jenis cacat yang masing-masing memiliki 300 citra didalamnya. 300 citra dibagi menjadi 70% citra untuk data training, 20% citra untuk data validation, dan 10% citra untuk data test. Parameter performansi yang dianalisis adalah precision, recall, dan mean average precision. Dari hasil penelitian yang telah dilakukan, didapatkan konfigurasi terbaik dengan menggunakan learning rate 0,0025, momentum 0,9, dan Subdivision 12. Nilai precision didapatkan sebesar 0,79, recall 0,62, dan mean average precision 76,11%.