交換連結時,收錄量常被當成衡量權重的標準之一,於是各顯神通把收錄數往上堆,成了很多站長的長期目標。但有些站的收錄量總是大起大落,權重跟著不穩,關鍵詞也上上下下。
原因不難理解:收錄池裡如果混著大量質量差的頁面,搜尋引擎只要稍微提高門檻,一次就能全部清掉。想讓網站穩定發展,反而應該主動減少不必要的收錄。
這一點《百度搜尋引擎優化指南》裡特別強調過。如果一個頁面有多個不同網址,搜尋引擎會自行挑選一個作為標準,收錄時也可能幾個都收。重複內容對百度來說非常不友好。
解法是統一連結形式。屏蔽手段有不少選擇:百度推薦用 301 永久跳轉指向標準 URL;也可以用偽靜態統一全部連結;或者直接用 robots 屏蔽非標準位址。
網站內容是寫給人看的,但搜尋引擎有自己的判斷標準,而它目前還達不到使用者的水準。適度屏蔽那些對搜尋引擎不友好的頁面,是必要的。
這種情況很常見。比如你運營一個論壇,為使用者開了廣告區,結果裡面發的內容質量普遍很差、到處掛連結,甚至可能出現被百度處罰過的站——這時候把整個區塊屏蔽掉,對你是好事。再比如使用者資料頁:註冊的人不少,但認真填寫詳細資料的極少,結果產生大量同質化嚴重的空頁面,同樣適合用 robots 屏蔽。
網站改版時常會一次性放棄整個欄目。這裡有兩種情況:已收錄的和未收錄的。無論哪一種都該做處理——沒被收錄不代表沒被抓取,百度有時候會抓了很久才放出來。除了設定 404 頁面,也可以用 robots 屏蔽整個欄目下的內容,不讓它繼續被抓。
網站上總有一些頁面是站長自己用或登入使用者用的。這些既不需要對外公開,出於安全考慮最好也不要被收錄。搜尋引擎本質上是訪客,抓不到任何需要登入才能看到的東西,屏蔽掉即可。
收錄並不是越多越好。尤其在百度規則持續更新的情況下,不友好的頁面只會增加網站的不確定性,像一顆定時炸彈——說不定哪天規則收緊,這些內容就成了被處罰的理由。保住優質內容的收錄,更有利於網站的長期穩定。