
網站日誌又稱蜘蛛日誌,記錄了搜尋引擎蜘蛛拜訪網站的軌跡。透過日誌分析,可以了解網站健康狀況,也能協助排查收錄與抓取問題。
從日誌中可觀察搜尋引擎蜘蛛是否曾來訪、抓取哪些頁面、返回狀態是否正常,以及抓取頻率是否穩定。若網站收錄異常,日誌往往能提供重要線索。
常見的蜘蛛名稱包括 Baiduspider、Googlebot、360Spider、sogou spider 等。辨識這些名稱,有助於判斷不同搜尋引擎的抓取行為。
2XX 代表抓取成功,3XX 代表重定向,4XX 代表客戶端錯誤,5XX 代表伺服器錯誤。透過狀態碼,可快速判斷頁面是否正常。
網站日誌就像網站的健康檢查報告。它能協助站長了解抓取狀況、發現異常頁面、判斷是否出現大量錯誤,也能作為優化調整的重要依據。