之前做過一個站,改版之後留下一堆失效連結。為了不讓它們被收錄,我設定了 404 頁面,結果這些 404 反而照樣出現在索引裡;多次提交失效連結,情況也沒改善。有人說這是搜尋引擎的問題,遇到的人還不少。小站許可能感覺不明顯,但一旦站點規模變大、失效連結又多,收錄、權重、排名與流量都會連帶受影響。
最後在朋友幫助下,這個問題才真正解決。順帶說句題外話:遇到自己一時解決不了的問題,多和人交流,往往比悶頭折騰有效得多。
404 的基本規則大家都知道,卻很少有人真正重視,發現異常也常因為「感覺不嚴重」而擱著。但漏洞放任久了,遲早自食其果。身為站長,對任何細節都該有窮追猛打的勁頭。以下是我對 404 的一些新理解。
這個問題看法不一。有人認為不會,因為 404 本身就是告訴搜尋引擎與訪客「此頁已不存在,請繞道」;也有人認為會。較權威的說法是:搜尋引擎通常不索引 404 頁面,但有例外——原本已被收錄、之後刪除並設為 404 的頁面,是會被放出來的。我的站遇到的正是這種情況。
特徵很明確:已經設為 404 的頁面仍出現在搜尋結果中、可以點擊進入,但快照一直不更新。
如果只有零星幾個 404,或站點本身規模不大,感覺不出什麼。但對成立不久卻成長快速的站來說,龐大的資料量背後必然伴隨大量失效連結,這時就無法迴避這個問題了。
一、頁面對搜尋引擎毫無價值。對搜尋引擎而言,一個 URL 就是一個頁面。多數網站的 404 頁面內容都一樣,一旦蜘蛛大量抓取,就會產生大量內容相同的頁面,後果可想而知。
二、拖累其他頁面的收錄與權重,進而影響流量。權重決定蜘蛛的抓取時間與次數,也就是說,一段時間內蜘蛛能給你的資源是有限的。若這些資源都被浪費在 404 頁面上,真正有價值的內容分到的抓取量就變少,而那些 404 幾乎不可能被收錄,最終形成雙重損失。
一、數量少的,設為 404,並確認回應狀態碼確實是 404(Not Found),搜尋引擎才會認定頁面失效並從結果中移除。
二、數量龐大的,從權重角度考慮可以改用 301 永久重定向,把既有的權重傳遞下去——但這一步需要謹慎評估。
三、若確定要讓大量已收錄頁面從索引中消失,也可以透過 robots.txt 禁止蜘蛛抓取相關路徑。
實務中的問題往往比理論複雜。單靠搜尋關鍵詞找答案,通常只能解決一半;多和同行交流,才是真正提升自己的方式。