Dalam budaya Bali, kemampuan membaca aksara Bali menjadi tantangan yang dihadapi generasi muda. Kemajuan dalam machine learning mengusulkan sistem pendeteksi tulisan tangan menggunakan model pembelajaran tradisional dan deep learning. Namun, pendekatan tradisional tidak praktis karena membutuhkan penanganan fitur manual. Model berbasis Convolutional Neural Network (CNN) meningkatkan kinerja dengan mengintegrasikan ekstraksi fitur dan klasifikasi pada proses end-to-end. Penelitian ini mengusulkan pendekatan deteksi objek untuk menambahkan lokalisasi pada proses end-to-end sehingga dapat deteksi beberapa karakter secara bersamaan menggunakan Faster R-CNN. Empat model CNN, termasuk ResNet-50, ResNet-101, ResNet-152, dan Inception ResNet V2 diuji untuk deteksi 28 karakter aksara Bali tunggal meliputi 18 konsonan dan 10 digit menggunakan batas Intersection over Union (IoU): 0,5 dan 0,75 serta skenario menggunakan data train utuh dan melalui proses tiling. Hasilnnya terdapat indikasi overfitting pada skenario data utuh yang disebabkan karena kurangnnya variansi posisi dan banyak objek. Sedangkan pada skenario melalui proses tiling menghasilkan mAP (Mean Average Precision) 0.971 pada IoU 0.5 dan 0.843 pada IoU 0.75 menggunakan model Inception ResNet V2. Analisis kesalahan mengindikasikan bahwa terdapat kemiripan antar kelas “ca” dan “sa” serta kelas “wa” dan “pa”. Penelitian ini memberikan kontribusi untuk bereksperimen dengan Faster R-CNN dalam mendeteksi aksara Bali tulisan tangan.