改版是網站運營中難以避免的一環。每一輪改版都是往更好的方向走——不同階段定位不同,要呈現的企業形象也不同,一個設計得當的站點確實能在潛在客戶心中加分。但多數改版都會對 SEO 造成衝擊,這就要求我們對站點狀況有足夠的掌握,才能有效控制改版帶來的 404 頁面激增。
最近接手一個新上線的站,用的是註冊一年多的舊域名,內容與結構都做了大幅調整,於是產生了大量 404 抓取錯誤。當時沒有特別留意,持續更新了兩週之後,發現快照一直不更新,發了些簡單的外鏈也沒有反應,這個問題才真正引起我的注意。以下把整個排查思路記錄下來。
工具選最常用的光年日誌分析即可。先透過 FTP 下載最近幾天的 LOG 日誌——想分析得更完整,多下載一段時間的記錄也無妨。然後建立分析任務,著眼於百度蜘蛛的抓取情況;之所以聚焦百度,是因為本次分析的起點就是快照停滯、收錄僅為一。
建議分三個時間段來看:
A、分析最近一天的日誌。可以是今天的,但最好用昨天的,因為昨天的統計比較完整,當天即使到晚上分析,仍有一段時間未被記錄。
B、分析改版之後的日誌。這一段牽涉到蜘蛛對改版的判斷過程:它從什麼時候開始意識到站點已改版?又從什麼時候起放棄抓取舊 URL?
C、對比改版前後的抓取量,評估改版對蜘蛛抓取頻率的影響幅度。
後續的統計工作多為一鍵完成。有了明確的分析框架,對照著看,就會發現許多平常忽略的問題——例如改版造成的 404 頁面,還有不少同樣回傳 404 卻一直沒被注意到的頁面,像下面的 wp-login.php 就是很典型的例子:

404 錯誤抓取頁面
百度站長平台的說明是:404 狀態碼代表 Not Found,蜘蛛在更新時會認定該頁面已失效並從索引庫中移除,短期內再次遇到同一 URL 將不再抓取。這套說法可以參考,但實測有落差——從日誌看,兩個多星期後蜘蛛仍在抓取這些錯誤頁面。不過官方針對 404 給出的操作指引,方向性仍然明確。

百度站長平台對 404 頁面的說明
其中死鏈提交工具裡的 sitemap 提交功能,值得按自身情況使用。我這邊提交之後短期內還沒看到明顯變化,這也正常——百度這類調整的效果顯現週期通常偏長。
404 頁面最大的危害,是讓蜘蛛把寶貴的抓取配額浪費在無效位址上。這裡有個共識前提:任何站點能分到的蜘蛛抓取資源都是有限的,小站少、大站多。想要提高抓取效率、讓抓取路徑更合理,就必須盡量壓低錯誤連結造成的 404 數量。
於是我針對這些浪費點做了引導:把 /wuchenshi/、/gaoxiao/ 這類欄目頁透過 robots 限制抓取,對站內不參與排名的連結加上 nofollow,讓蜘蛛把注意力放在真正重要的頁面上。
調整之後再看蜘蛛的抓取記錄,目錄抓取裡已經不再出現站點上不存在的目錄:

蜘蛛對目錄的抓取情況
至於蜘蛛造訪的 404 頁面,只剩下單一的圖片錯誤:

改善後的 404 抓取
到目前為止,快照尚未更新、收錄也還沒增加。但從原理上講,這套處理應該能幫助站點更快獲得搜尋引擎的重新認可——先把抓取預算從無效路徑上贖回來,再談收錄與排名。後續若有恢復,我會再回來補充。
這次排查最大的收穫,其實不是解決了 404,而是意識到日誌分析這件事的價值。很多問題在後台看起來毫無頭緒,但蜘蛛的抓取記錄會把真相攤在你面前。