DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
讓蜘蛛反向爬行:從深層頁面開始的索引策略
編輯:SEO優化集錦     

先聲明:以下內容屬於概念性探討,我本人還沒有做過完整的實測驗證,僅供參考。

所謂「蜘蛛逆向爬行」,是我自己給這個想法起的名字。它的出發點是兩個常見困境。

一是頁面層級太深的站點,爬行與索引本身就困難——結構深、頁面多,還夾雜大量參數化URL或價值偏低的頁面,電商站尤其明顯。

二是站點希望內容被盡快、盡充分地索引,比如新上線的站,或剛改版、URL結構大變(即使已做301)的站。

常規的三種解法

發現:靠站外鏈接引導蜘蛛進入站點。

提交:站長主動把站點與頁面提交給搜尋引擎。

XML站點地圖:建立站點地圖並透過管理員工具提交,或放在根目錄、寫進robots.txt讓蜘蛛自行發現。

這些方式各有利弊,但至少解決了「進門」的問題,站點地圖還能幫助蜘蛛繞過部分爬行障礙。

常規路徑的問題在哪

無論直接還是間接,首頁一旦被發現,蜘蛛通常就按自己的習慣路線走:頂部導航 → 第二層 → 子導航 → 頂級分類頁 → 子分類 → 更深層的產品與資訊頁。

問題在於,你想被索引的那些深層頁面,同時承擔著頭部與長尾搜索的承接任務,也往往是真正產生轉化的頁面。而蜘蛛到訪頻率有限,單次抓取量也有限,新頁面多久被發現、舊頁面多久被重訪,都是變數。抓取預算需要平衡,這也是排除重複內容如此重要的原因——不該讓蜘蛛把時間花在爬過、收過的內容上。

大型站點的URL數量常常駭人。要注意,單個XML站點地圖最多包含50000個URL,若要覆蓋百萬頁面,就得拆成至少20個地圖文件。

逆向的思路

典型的站點地圖策略是提交每一個URL,希望每頁都被索引,並且往往給了首頁過高的權重與優先級。

我的想法相反:把站點地圖的重點放在低層級頁面上——通常是單個產品頁與資訊頁。目的很直接,把蜘蛛直接送到最深、最難爬的那層。

到了那裡之後呢?蜘蛛會按它的本能開始爬行。前提是這些深層頁面內容充實、覆蓋關鍵詞,並且帶有可導航的元素——即使不是完整的高層級導航,至少要有分類導航;如果站點有麵包屑,就等於直接把路徑餵給了蜘蛛。

這樣一來,蜘蛛其實是從兩端同時向中間爬,最終也能抵達頂部導航。我們平常總假設蜘蛛會先找首頁再往下走,但首頁到頂層頁面的唯一URL數量,和那些多層級的產品頁面比起來,抓取覆蓋率很可能差距很大。

風險評估與待驗證的問題

我認為這是一條低風險的路徑。無論有沒有XML站點地圖,蜘蛛最終都能找到頁面;即使地圖裡不含首頁與頂級頁面,也不會因此漏掉它們。

自然條件下,蜘蛛會沿鏈接追根究底,很快爬完整站。但如果某些頁面埋得太深,它可能就是不太願意去。

想驗證的問題有三個:整體索引量是否提升?深層頁面是否被更快更好地索引?短期內索引率能否提高?

至少值得一試。如果這個層級的頁面順利被建立索引,接下來再把其他URL加回站點地圖,甚至可以做一組對照實驗,觀察差異。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved