先聲明:以下內容屬於概念性探討,我本人還沒有做過完整的實測驗證,僅供參考。
所謂「蜘蛛逆向爬行」,是我自己給這個想法起的名字。它的出發點是兩個常見困境。
一是頁面層級太深的站點,爬行與索引本身就困難——結構深、頁面多,還夾雜大量參數化URL或價值偏低的頁面,電商站尤其明顯。
二是站點希望內容被盡快、盡充分地索引,比如新上線的站,或剛改版、URL結構大變(即使已做301)的站。
發現:靠站外鏈接引導蜘蛛進入站點。
提交:站長主動把站點與頁面提交給搜尋引擎。
XML站點地圖:建立站點地圖並透過管理員工具提交,或放在根目錄、寫進robots.txt讓蜘蛛自行發現。
這些方式各有利弊,但至少解決了「進門」的問題,站點地圖還能幫助蜘蛛繞過部分爬行障礙。
無論直接還是間接,首頁一旦被發現,蜘蛛通常就按自己的習慣路線走:頂部導航 → 第二層 → 子導航 → 頂級分類頁 → 子分類 → 更深層的產品與資訊頁。
問題在於,你想被索引的那些深層頁面,同時承擔著頭部與長尾搜索的承接任務,也往往是真正產生轉化的頁面。而蜘蛛到訪頻率有限,單次抓取量也有限,新頁面多久被發現、舊頁面多久被重訪,都是變數。抓取預算需要平衡,這也是排除重複內容如此重要的原因——不該讓蜘蛛把時間花在爬過、收過的內容上。
大型站點的URL數量常常駭人。要注意,單個XML站點地圖最多包含50000個URL,若要覆蓋百萬頁面,就得拆成至少20個地圖文件。
典型的站點地圖策略是提交每一個URL,希望每頁都被索引,並且往往給了首頁過高的權重與優先級。
我的想法相反:把站點地圖的重點放在低層級頁面上——通常是單個產品頁與資訊頁。目的很直接,把蜘蛛直接送到最深、最難爬的那層。
到了那裡之後呢?蜘蛛會按它的本能開始爬行。前提是這些深層頁面內容充實、覆蓋關鍵詞,並且帶有可導航的元素——即使不是完整的高層級導航,至少要有分類導航;如果站點有麵包屑,就等於直接把路徑餵給了蜘蛛。
這樣一來,蜘蛛其實是從兩端同時向中間爬,最終也能抵達頂部導航。我們平常總假設蜘蛛會先找首頁再往下走,但首頁到頂層頁面的唯一URL數量,和那些多層級的產品頁面比起來,抓取覆蓋率很可能差距很大。
我認為這是一條低風險的路徑。無論有沒有XML站點地圖,蜘蛛最終都能找到頁面;即使地圖裡不含首頁與頂級頁面,也不會因此漏掉它們。
自然條件下,蜘蛛會沿鏈接追根究底,很快爬完整站。但如果某些頁面埋得太深,它可能就是不太願意去。
想驗證的問題有三個:整體索引量是否提升?深層頁面是否被更快更好地索引?短期內索引率能否提高?
至少值得一試。如果這個層級的頁面順利被建立索引,接下來再把其他URL加回站點地圖,甚至可以做一組對照實驗,觀察差異。