運營網站時,站長幾乎都遇過這種狀況:調整欄目或變更檔名之後,站內出現大量打不開的連結。這些頁面存在卻無法訪問,對蜘蛛爬行與收錄非常不利——錯誤訊息會被寫進資料庫,死鏈一多,站點的「健康度」就受影響,也容易被搜尋引擎扣分。這時就該設定 404 頁面。不過製作過程中有三件事必須注意。
我曾用兩個站做過對照測試。沒有在 404 頁放跳轉的那個站,各搜尋引擎照常更新、照常收錄,多了一頁 404 並未造成任何影響。反之,在 404 頁植入跳轉的那個站很快就被降權,收錄更新變得極慢,後來索性不再更新也不收錄。
兩個結果對照下來,結論很清楚:在 404 頁放跳轉,對站點是一場災難。不想被懲罰,就不要這麼做。
404 頁做好之後,建議明確禁止搜尋引擎抓取與收錄它。理由很直接:避免收錄過多重複頁面而被判定為低品質站點,進而拉低權重與好感度。搜尋引擎長期強調原創,重複度高的站只會被扣分,嚴重時甚至整站被移除。
具體做法:開啟 robots.txt,加入一行 Disallow: /你的404頁面路徑 即可。
這一步最多人偷懶,卻最不該省。設定好之後,實際去請求一次,確認回傳的是不是 404。
如果回傳 200,代表設定有問題。為什麼 200 不行?因為當你請求一個不存在的連結、且尚未設定自訂 404 頁時,伺服器本來就會回 404,這是在告訴搜尋引擎「此連結無效,請放棄索引」。
設定自訂頁面之後,畫面上看到的確實是你的 404 頁,但瀏覽器網址列仍停留在那個錯誤連結上,並沒有真的導向 /404.htm,連結本質依然無效。因此狀態碼應該還是 404,而不是 200。若回傳 200,搜尋引擎會為該連結建立索引,結果是大量不同的無效連結指向同一份內容,站點信任度大幅下滑。