有些網站內容不錯,長尾詞也有排名,卻突然快照停更、新內容不收錄。這時,日誌分析往往比憑感覺猜測更有效。

透過日誌工具查看蜘蛛訪問次數、停留時間與抓取量。若總抓取量正常,問題可能不在蜘蛛不來,而在抓取路徑被誤導。



案例中,archive每日歸檔目錄抓取量異常,但頁面內容為空或無效。蜘蛛在這個目錄裡不断繞圈,浪費抓取額度,也影響其他頁面的收錄。

可聯繫外掛開發者修正問題;若無法短期修復,則刪除無效目錄、返回404,並在robots.txt中屏蔽該目錄。網站問題未必都來演算法,很多時候藏在日誌與抓取細節裡。