Gender seseorang dapat dilihat salah satunya secara visual berdasarkan citra wajah manusia. Selain itu, dengan kemajuan teknologi saat ini, komputer juga dapat melakukan klasifikasi gender berdasarkan data yang dilatih. Proses klasifikasi gender menggunakan komputer dapat diaplikasikan terhadap berbagai sektor seperti industri atau pemerintahan. Pada penelitian sebelumnya, terdapat berbagai metode konvensional yang digunakan untuk melakukan klasifikasi citra, khusus klasifikasi gender berdasarkan citra wajah, namun sebagian besar tidak melakukan Cross-Dataset Evaluation untuk melakukan uji performa terhadap model yang dihasilkan. Tugas akhir ini akan membahas bagaimana melakukan klasifikasi gender berdasarkan citra wajah menggunakan metode Vision Transformer menggunakan dataset AFAD sebagai dataset training dan melakukan Cross-Dataset Evaluation terhadap model yang dihasilkan menggunakan dataset UTKFace. Model yang dibangun berhasilkan mendapatkan akurasi validasi sebesar 0,9676 dan akurasi testing sebesar 0,9661 pada pengujian training atau Same-Dataset serta mendapatkan akurasi 0,8174, Precision 0,8188, Recall 0,8189, dan F1 Score sebesar 0,8189 pada pengujian Cross-Dataset Evaluation.