Seiring dengan perkembangan teknologi saat ini, teknologi banyak digunakan sebagai sarana memperoleh informasi. Pencarian informasi sudah sering dilakukan di kehidupan sehari-hari yaitu dengan menggunakan search engine. Contohnya pada industri pakaian saat mencari produk pakaian yang diinginkan melalui search engine, dengan mengharapkan hasil yang didapat dari pencarian search engine sesuai dengan detail lengkap mengenai referensi brand produk pakaian tersebut namun metode pencarian berbasis teks memiliki keterbatasan dan hasil yang didapat dari pencarian search engine tidak selalu akurat. Untuk itu penggunaan Convolutional Neural Network (CNN) digunakan untuk menyusun dataset dari produk pakaian berdasarkan klasifikasi gambar yang di inputkan. Penelitian ini bertujuan untuk dapat membuat sebuah sistem image search engine berbasis website dengan menggunakan arsitektur dari CNN yaitu Deep Residual Network (ResNet) khusunya pada ResNet50 yang dapat mengklasifikasi gambar dari produk- produk pakaian, dengan menginputkan gambar dan menghasilkan output berupa kategori lengkap referensi brand produk pada pakaian tersebut menggunakan Long Short Term Memory (LSTM) dalam memprediksi hasilnya. Didapatkan hasil pengujian 99.47% pada akurasi train dan 99.61% pada akurasi validasi yang akan digunakan pada saat di implementasikan pada website.
Kata Kunci: Convolutional Neural Network, ResNet50, Long Short Term Memory