DIV CSS 佈局教程網

Spider 抓取系統的基本框架
編輯:百度搜索算法     

Spider 是搜尋引擎用來抓取網路資料的系統。它會從種子 URL 出發,透過頁面中的連結不斷發現新網址,並盡可能抓取更多有價值的內容。

大型蜘蛛系統通常包含連結儲存、連結選取、DNS 解析、抓取調度、網頁分析與儲存等模組。各模組彼此協作,才能完成穩定且持續的抓取。

理解這個框架,能幫助站長從系統角度看待收錄與抓取問題。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved