對新手站長而言,理解 Robot、爬蟲與網站日誌,是檢查網站抓取狀況的第一步。
Robot 直譯為機器人,在SEO語境中常稱為探測器或爬蟲。它是搜尋引擎用來抓取網頁的自動程式。不同搜尋引擎會給自己的爬蟲不同名稱,例如 Googlebot、Baiduspider、MSNbot、Slurp。
百度用於抓取網頁的程式稱為 Baiduspider,也就是百度蜘蛛。分析網站日誌時,可重點觀察百度蜘蛛的抓取頻率、抓取頁面與回傳的 HTTP 狀態碼。
可透過 FTP 到網站根目錄找包含 log 的日誌檔,下載後查看。不同主機記錄格式可能不同,有些甚至沒有日誌功能。
常見日誌片段可包含:IP、時間、請求方式、頁面路徑、狀態碼、位元組數與使用者代理。例如狀態碼 200 代表抓取成功,後方數字代表抓取位元組數。若看到 200 0 0 或 200 0 64,通常也代表正常抓取。
抓取頻率沒有固定標準,建議透過多日誌對比,觀察百度蜘蛛是否持續、穩定抓取。一般來說,抓取次數穩定且合理,較有助於收錄與更新。