很多人抱怨快照不更新或落後好幾天,我認為這多半是抓取頻率不夠所致。想讓快照更新快——尤其是新站——前期一定要扎實做內容建設。內容頁若長期沒有更新,蜘蛛往往不會抓取,或者抓了也不回傳資料;等下次用戶搜索時,系統調用的仍是資料庫裡的舊數據。
蜘蛛的到訪頻率在很大程度上取決於網站內容質量。只有持續有更新鮮、更好的內容,才值得蜘蛛反覆回訪。大型內容站每天大量更新,等於把蜘蛛留在了站內,頁面抓取頻率自然提高。頻率上去之後,頁面上的內容與連結變動會被更快捕捉,收錄自然更充分。
分析蜘蛛時,第一個要看的參數是爬取量,通常以一天為單位統計抓取率。你也可以按需調整時間粒度,比如按小時拆分,摸清各時段的抓取規律,再針對性調整。
這類分析最有成就感的地方,是能驗證一些模糊的口口相傳。比如常聽人說「要定時定量更新,培養蜘蛛的抓取習慣,隨意變動更新時間會影響抓取」——這話到底對不對?方法很簡單:把一個月內每天各小時的蜘蛛抓取情況拆分統計(注意樣本選取的合理性),再與自己的內容更新時間做對比,結論很快就能看出來。
至於爬取深度、飽和度、優先爬取、冗餘度與爬取路徑,屬於對蜘蛛習慣與策略的更深層研究。我自己沒有做過針對性的實踐,只能談些理論上的想法。
爬取深度不足,通常說明網站結構布局沒有考慮蜘蛛能否逐層充分抓取,這牽涉到連結入口的設計,也就涉及蜘蛛優先爬取的入口在哪裡。為大型站點做診斷、提升流量與收錄時,主要策略之一往往就是優化蜘蛛的優先入口,常用手段是用 nofollow 屏蔽部分頁面,把抓取預算引導到更重要的位置。
另一個值得看的是爬取飽和度:單一頁面被反覆抓取其實是在浪費蜘蛛資源。如果能把這些資源適度分配到關鍵頁面上,收錄與抓取效率的提升會相當明顯。