這裡講的 404 不是網站內部產生的那種,而是外部連結指向本站時寫錯了網址,導致爬蟲抓到錯誤頁面、回傳 404 狀態碼。處理思路是把這些頁面 301 導向正常可訪問的網址,讓權重能正常傳遞。
寫高品質內容時,你一定遇過被采集或轉載卻不留出處的情況。更麻煩的是,有些站為了避免權重外流,會在正常網址後面隨機加上字母和數字,爬蟲沿著連結爬過去,就產生了大量 404。從下圖可以看到這種現象:

這筆 404 正是來自「連到您網站網頁的網域」裡的錯誤網址。對照管理員工具中的一系列 404 提示後可以確認:這個網址不是單純的書寫失誤,而是對方刻意生成的干擾字元。
1. 向搜尋引擎檢舉(效果有限,也耗精神)
2. 當作沒看見(但心情會受影響)
3. 用技術手段把它導回來(也就是本文要談的做法)
這裡用到的就是 301 永久重定向。做 SEO 的都知道,301 除了表示永久搬遷,也能把舊網址的權重傳給新網址。
把產生 404 的錯誤網址當成舊網址,把站上實際存在的頁面當成新網址。以圖中的例子來說:
惡意指向不存在頁面的網址(已產生 404):
https://www.***.com/rich-snippets.htmlGFQ
透過 301 指向站上原本存在的網址:
https://www.***.com/rich-snippets.html
這樣一來,爬蟲造訪對方那個錯誤網址時,會被導向正確頁面,權重也就回到我們這邊。
先確認網站根目錄是否有 .htaccess。如果做過偽靜態,這個檔案通常已經存在;若你的偽靜態是靠 httpd.conf 實作的,就需要新建一個。在檔案中寫入:
RewriteEngine on
RewriteBase /
如果你的網站裝在一級目錄下,RewriteBase 的路徑要特別注意,這部分網路上有完整教學,這裡不展開。
如果來自外部的 404 只有零星幾筆,可以直接逐條處理(以上例而言):
RewriteRule ^rich-snippets.htmlGFQ$ rich-snippets.html [R=301,L]
但實務上這類 404 往往是大批量出現、而且還會持續新增。這時候要先觀察規律,再用通配方式一次處理。前面的例子中,錯誤網址多半是在 .html 後面多了一段三位數字或字母的後綴,那就可以把所有 .html 之後的額外字元全部導回:
RewriteRule ^([\w-]+)\.html.+$ $1.html [R=301,L]
需要注意的是,筆者網站的文章網址是 https://www.seoyangs.com/404-to-links.htm 這種形式。但很多網站的文章頁上面還有一到多層目錄,那就可以寫成:
RewriteRule ^你的目錄名稱/([\w-]+)\.html.+$ $1.html [R=301,L]
設定完成後,再回頭訪問先前回報 404 的那個網址,就會被正確導向可用頁面,原本該屬於我們的權重也隨連結傳遞到位。
本文談的是一種思路,實際規則還是要依網站的具體狀況調整。