搜尋引擎的第一步,是抓取網路資訊。抓取系統像蜘蛛一樣沿著連結爬行,因此常被稱為Spider。
從種子URL出發,透過超連結發現新頁面,並持續更新已抓取內容。
理解抓取系統,能幫助站長更有效地規劃網站結構與內容。