Indonesia sebagai negara dengan keanekaragaman suku dan budaya memiliki berbagai macam aksara sebagai peninggalannya. Meskipun berbagai penelitian lain sudah dilakukan untuk melestarikan aksara, namun penelitian hanya terbatas pada klasifikasi pada level karakter. Urgensi untuk mengembangkan sebuah model yang dapat melakukan klasifikasi pada level aksara dan karakter kian meninggi. Penelitian ini mengusulkan sebuah arsitektur yang dapat melakukan klasifikasi pada kedua level tersebut, disebut BJS-CNN. Model ini bekerja dengan cara menghasilkan dua loss pada setiap forward pass nya untuk masing-masing label aksara dan label karakter. Model dari arsitektur ini dapat mencapai nilai akurasi 99% pada seluruh label di tahap latih, sedangkan pada tahap validasi akurasi pada label aksara mencapai 99% dan label karakter mencapai 97%. Model ini berhasil mengungguli sebuah model pada penelitian lain dan di saat yang bersamaan mampu melakukan klasifikasi terhadap dua tahap sekaligus, suatu hal yang tidak dimiliki oleh model lain.