ABSTRAKSI: Web Crawler atau biasa juga disebut Web Spider adalah bagian dari sebuah Search System yang berfungsi untuk menelusuri halaman web dan akan menyimpan semua informasi yang ada di dalam page tersebut. Untuk setiap web yang telah dikunjungi Web Crawler akan mengambil dan menyimpan semua link URL yang ada di dalam web tersebut. Kemudian URL tersebut akan disimpan dalam sebuah queue dan akan ditelusuri lagi sesuai dengan urutan yang telah ditentukan.
Sebuah web page dapat mengalami perubahan konten sesuai dengan keinginan pemilik web. Oleh karena itu dibutuhkan proses revisit page untuk memperbaharui database. Selain itu proses revisit dapat digunakan untuk proses perhitungan ulang PageRank jika terjadi perubahan hubungan antar dokumen web.
Pagerank adalah salah satu cara perangkingan web yang popular dan digunakan oleh Search Engine yang populer saat ini yaitu google. PageRank menggunakan prinsip link antar page dalam proses perhitungan tingkat kepentingan web. Sebuah halaman web akan memiliki PageRank yang tinggi jika ada banyak halaman lain yang meletakkan link menuju halaman tersebut.Kata Kunci : Web Crawler, Pagerank, RevisitABSTRACT: Web Crawler or Web Spider is part of a Search System which is used to browse web pages and will keep all information in the page. For each web that has been visited, Web Crawler will capture and store all the URL links in the Web. Then the URL is stored in a queue and will be traced again in the order specified.
A web page can change information in accordance with the desires of the web. Therefore Revisit the process required to update the database page. Also Revisit process can be used to reset the PageRank calculation process in the event of changes in relationships between Web documents
Pagerank is one way of calculating the importance of web pages and used by the Search Engine of the current popular google. PageRank uses the principle of inter-page link in the process of calculating the importance of the web. A web page will have a high PageRank if there are many other pages link to this page.Keyword: Web Crawler, Pagerank, Revisit