原本每天更新、每天收錄的站,忽然一條不收,快照停滯,關鍵詞排名跟著下滑——這種情況我遇到過,排查和處理之後站點恢復了正常。把過程寫下來,供遇到同樣問題的人參考。
9月中旬開始,原本正常收錄的資訊頁停止收錄;隨後其他頁面收錄量遞減;到9月下旬,全站停止收錄,快照不動,排名下滑。
不收錄的原因很多,但排查方向可以收斂為三種:蜘蛛不來;蜘蛛來了但找不到有效頁面;蜘蛛進了頁面卻沒帶走任何內容。順著這三條逐一驗證,效率比盲目改站高得多。
日誌能直接回答最關鍵的問題——蜘蛛到底來沒來、什麼時候來、頻率如何。如果抓取記錄基本為零,問題就不在頁面層面,而在站點的信任度上。
確認蜘蛛能正常到訪之後,第一個要看的是 robots.txt。常見情形有兩種:改動協議時誤把需要收錄的目錄屏蔽了;或者屏蔽了某個目錄,而那個目錄恰好是其他重要頁面的唯一入口。
另外要注意,robots 文件不宜頻繁修改。每次改動都會讓抓取端重新判斷一遍抓取範圍,改得太勤,判斷也跟著混亂。
除了協議文件,還要確認各欄目的實際入口鏈路是否通暢,有沒有因為改版出現斷鏈。
如果蜘蛛照常來、robots 沒變、結構也沒動,那問題就在內容上。
文章頁要問自己幾個問題:採集比例是不是太高?原創度夠不夠?還有一項容易被忽略——你的原創是否被大量站點採集,而且採集頻率很高。如果你的權重低於那些搬運你的站,抓取端可能反向認定你才是抄襲方,尤其是在多站反覆搬運同一篇內容的情況下。
其他頁面則要檢查新增內容是否與既有頁面高度相似、標題是否重複。這兩點是聚合頁、列表頁最常出问题的地方。
排查後發現兩個問題疊加:資訊頁被多個站高頻採集;此前改版時我關閉了幾個自認為不需要的頁面,卻沒考慮它們是其他頁面的入口,於是整片區域變成了孤島。
蜘蛛不來:重點檢查友鏈是否出現大量被降權的站;確認伺服器狀態,看 404、503 的比例是否異常、是否存在大量無法訪問的頁面;同時停止任何刷流量的行為,那是降權的高頻誘因。
robots 有誤:重新正確配置,改動時把頁面之間的引用關係考慮進去,避免屏蔽A頁卻連帶影響B頁的抓取。
頁面問題:提高原創比例。採集過多會被判為垃圾站,被採集過多也會。可以在模板層面做一些防搬運處理,比如對 p、div、span 等標籤做變體輸出,增加機器採集的清洗成本。
按這三步處理之後,我的站恢復了收錄,文章更新後很快全部入庫。這件事的經驗是:遇到問題先理清思路,不要慌著推翻策略。走出來之後你會發現,站點的結構往往比原來更清楚。