抓取異常,可能來自服務器連線、DNS、IP 封禁、UA 封禁、死鏈或異常跳轉。即使網站對使用者正常,蜘蛛仍可能無法順利取得內容。
常見情況包括伺服器過載、防火牆誤攔、域名解析錯誤、針對百度 UA 回傳錯誤頁面,或大量無效連結未被清理。
站長應定期檢查抓取狀態,確保網站能被穩定訪問,並避免任何可能阻擋蜘蛛的設定。