百度站長平台近期上線了「抓取診斷」功能,讓站長能從百度蜘蛛的角度,看清爬蟲實際抓走了哪些內容,再與自己的預期逐一比對。這個工具最大的用處在於排查問題:當收錄異常、頁面呈現不如預期時,不必再靠猜,抓一次就能定位原因。
它和站長平台既有的「模擬搜索引擎抓取」思路相近,但資訊的完整度差距明顯。模擬工具通常只把蜘蛛讀到的文字列出來;抓取診斷則把蜘蛛能抓、會抓、抓到的內容原原本本攤開,包含文字、程式碼、標籤與回應標頭,逐項檢查網頁時省事很多。

要注意的是,這項功能目前設有額度:每個站點每月 300 次,抓取結果只呈現蜘蛛可見的前 200KB 內容。
操作門檻很低。工具只開放給已完成站長驗證的站點,進入介面後填入要抓取的網址即可,欄位留空代表抓取主域名。按下抓取鈕,下方會即時顯示狀態,等狀態變為「抓取成功」再點進去,就能看到搜索引擎抓到的完整資訊。

電商站特別值得留意這點。不少商品頁的價格是靠 JavaScript 動態輸出,對蜘蛛並不友善,價格資訊難以被搜尋結果採用。修正之後再用診斷工具抓一次,就能驗證是否真的生效。
網站被入侵後,對手常會植入隱藏連結,而這些連結往往只在搜索引擎抓取時才現形。直接翻原始碼可行,但費時又難辨認;用模擬抓取則是滿屏密密麻麻的文字,看不出哪段文字對應哪個連結。抓取診斷把結構攤開,辨識效率高得多。
抓取成功後的資訊頁會列出連線細節,若發現 IP 資訊不一致等異常,可以直接點擊「報錯」通知百度更新。

網站有新頁面上線,或既有頁面內容有更新,而蜘蛛遲遲沒來,可以用這個工具主動邀請它過來抓取,效果等同 URL 提交。
這類限制多半與伺服器等資源的調度有關。另一種解讀是:這個額度是否為日後的 VIP 站長俱樂部預留空間,用更高的次數與更大的抓取量服務高品質站點?官方目前沒有說明,只能先按現行規則使用。
整體來說這個工具的方向是對的:它逼著站長回頭檢視自己的頁面品質,長期下來對網站整體體驗有幫助。只是 300 次並不算多,建議留給真正需要排查的頁面,別拿來當日常消耗。