Pneumonia dan COVID-19 merupakan jenis penyakit yang dapat menginfeksi paru-paru dan bahkan menyebabkan kematian. Kedua jenis penyakit yang berbeda meskipun memiliki gejala yang hampir mirip sehingga menjadi sulit untuk dibedakan. Penyebab pneumonia adalah bakteri, virus dan jamur, sedangkan COVID-19 disebabkan oleh virus SARS-CoV-2. Berdasarkan data dari pusat pengendalian dan pencegahan penyakit Amerika Serikat pada tahun 2017, sekitar satu juta orang menderita penyakit pneumonia. Di Indonesia, hingga bulan Maret 2021 tercatat lebih dari empat juta orang terkonfirmasi positif COVID-19. Sehingga, Terdapat berbagai metode untuk mendiagnosis penyakit pneumonia dan COVID-19. Salah satu cara yang paling umum digunakan untuk mengidentifikasi penyakit paru-paru adalah dengan melihat hasil citra X-Ray. Dalam proses tersebut dibutuhkan sistem yang otomatis dan akurat sehingga dapat mempercepat proses identifikasi penyakit pneumonia dan COVID-19. Pada penelitian ini deep learning dengan model arsitektur residual network diimplementasikan ke dalam sistem yang dapat mengklasifikasikan data citra X-Ray menjadi tiga kelas, yaitu: Normal, Pneumonia, dan COVID-19. Ketiga data tersebut dilakukan tahapan preprocessing resize untuk mengubah ukuran citra menjadi optimal dan CLAHE untuk meningkatkan kualitas dari citra X-Ray. Total dataset yang digunakan untuk pelatihan, dan validasi, yaitu sebanyak 3097 citra X-Ray. Terdiri dari 1032 citra X-Ray penyakit pneumonia, 1032 citra X-Ray positif COVID-19, serta 1033 citra X-Ray normal. Sedangkan, untuk data tes pneumonia, COVID-19, dan Normal, yaitu sebanyak 233 citra X-Ray. Penelitian dilakukan dengan melatih model ResNet-34, ResNet-50, dan ResNet-101. Dengan menggunakan optimizer Adam, Adamax, Nadam, dan SGD. Dari semua pengujian, hasil terbaik didapatkan oleh model ResNet-101 menggunakan optimizer Adam. Dengan hasil akurasi validasi yang didapat adalah sebesar 91,2%. Usulan metode ini dievaluasi menggunakan presisi, recall, dan f1-score, dengan hasil masing-masing sebesar 0,81 untuk presisi, 0,79 untuk recall, dan 0,79 untuk f1-score, serta akurasi tes terbaik sebesar 79,91%.