Perancangan dan Implementasi Framework Data Ingestion pada Data Lakehouse Perguruan Tinggi Menggunakan Google Cloud Platform (GCP) - Dalam bentuk buku karya ilmiah

CETRIN AZAHRA

Informasi Dasar

9 kali
25.04.7001
000
Karya Ilmiah - Skripsi (S1) - Reference

Universitas Telkom menghadapi tantangan dalam mengelola dan mengintegrasikan data dari berbagai sumber dengan format yang beragam. Penelitian ini bertujuan untuk merancang dan mengimplementasikan framework data ingestion yang dapat menangani data yang beragam ke dalam sistem data lakehouse perguruan tinggi berbasis Google Cloud Platform (GCP). Framework ini memanfaatkan layanan seperti Cloud Storage, BigQuery, Pub/Sub, Eventarc, dan Cloud Function untuk mengumpulkan, mengolah, serta mengintegrasikan data secara otomatis. Dengan pendekatan pipeline, framework ini dirancang sebagai jalur penghubung data berbasis metrik indikator kinerja akreditasi pada program studi S1 Informatika, mencakup kinerja mahasiswa, pendidikan, penelitian, pengabdian kepada masyarakat, serta luaran dan capaian tridarma. Sebagai bagian dari proses integrasi, framework ini juga membangun data warehouse untuk menggabungkan seluruh data akreditasi untuk analisis berbagai metrik.
Hasil dari penelitian ini adalah framework data ingestion yang dapat mengintegrasikan data dari berbagai sumber berdasarkan metrik akreditasi ke dalam data lakehouse secara otomatis, sehingga meningkatkan efisiensi dalam pengelolaan data akreditasi dan mendukung analisis kinerja indikator akreditasi dalam pengambilan keputusan berbasis data. Hasil evaluasi menunjukkan bahwa peningkatan alokasi CPU mempengaruhi kecepatan ingestion, di mana peningkatan dari 333 millicore ke 1 vCPU membuat proses ingestion menjadi jauh lebih cepat. Selain itu, jumlah data berhubungan langsung dengan penggunaan memori, di mana batasan 512 MiB menyebabkan masalah Out of Memory (OOM) untuk memproses sekitar 150.000 record, sehingga diperlukan konfigurasi memori yang lebih besar.
Kata Kunci: Keberagaman sumber dan format data, Data Ingestion, Data Integration, Data Lakehouse, Google Cloud Platform.
 

Subjek

DATA SCIENCE
 

Katalog

Perancangan dan Implementasi Framework Data Ingestion pada Data Lakehouse Perguruan Tinggi Menggunakan Google Cloud Platform (GCP) - Dalam bentuk buku karya ilmiah
 
xi, 69p.: il,; pdf file
Indonesia

Sirkulasi

Rp. 0
Rp. 0
Tidak

Pengarang

CETRIN AZAHRA
Perorangan
Kemas Rahmat Saleh Wiharja, Prati Hutari Gani
 

Penerbit

Universitas Telkom, S1 Sains Data
Bandung
2025

Koleksi

Kompetensi

  • CSI4E3 - DATA WAREHOUSE
  • CSI3H3 - TEKNOLOGI CLOUD COMPUTING UNTUK BIG DATA AND DATA ANALYTICS

Download / Flippingbook

 

Ulasan

Belum ada ulasan yang diberikan
anda harus sign-in untuk memberikan ulasan ke katalog ini