今天透過百度站長工具,發現蜘蛛在抓取時碰出了不少 404 頁面:

先排除了站內連結的問題——工具指出的那些 404 位址,在網站上根本找不到對應的連結入口。繼續往下查,才發現根源在 RSS 頁面的輸出設定。
我在後台把 RSS 設成了「僅顯示摘要」,而不是輸出全文。問題就出在這裡:程式在自動截斷時,把網址從中間切成了兩半,於是一個不完整的残缺位址被當成連結輸出。而百度是會識別純文字連結的,這批斷掉的網址就變成了大量 404 頁面。
404 頁面本身並不會直接影響網站權重,但因為系統截斷而產生的 404 錯誤,的確有害:
一是拉低了蜘蛛的爬行效率,讓它反覆把資源花在根本不存在的頁面上。
二是排擠了新頁面的抓取機會。蜘蛛遇到 404 並不會立刻放棄,而是會不定期回頭重複驗證,等於把抓取額度浪費在死連結上。
三是削弱站點在搜尋引擎眼中的可信度。一個網站長期、大量出現 404,信任度必然下降,最終反映到權重上。
第一種做法:修改程式邏輯,先把內容中的所有連結移除,再進行截斷輸出。
第二種做法:直接改為全文輸出,不做摘要截斷。
這個問題在不少站點上都存在,只是不容易被察覺。希望這篇文章能引起足夠的重視,建議大家定期到站長工具撿查一次抓取異常報告。