SEO路上難免遇到一些怪事:網站改版了卻還收錄舊URL、測試位址莫名被收而正式站不被收、換了IP之後百度就不更新了……大多數時候我們把帳算在百度頭上,其實它有些冤。本文在幾位工程師朋友的指點下,把這些現象背後的機制講清楚。
先補一點基礎知識:域名和IP相當於站點的名字與身份證。IP才是真正的身份證號,只是難記,所以才有了域名。這裡不是普及歷史,而是要提醒一個常被忽略的事實:最終尋址依據的是IP,不是域名。

域名只是方便記憶,真正定位靠IP。DNS伺服器在全球有大量節點,新域名剛解析時常出現某些區域因同步慢而無法訪問;老域名換IP時,也會有用戶訪問到舊IP的情況。這你都知道了?別急,還有你不知道的。
搜尋引擎蜘蛛大多採用分散式抓取,且自建DNS:一方面提升抓取效率,不必每次都重新解析IP;另一方面,站點的主體形式是域名而非IP,所以帶著域名host頭去訪問舊IP仍然能命中內容。這正是那些怪象的根源。說完基本概念,我們逐一拆解。
這個問題與上面的基礎知識關係不大,但每天在百度站長社區問的人實在太多,所以還是拿出來講。
很多站長改版啟用了新URL結構,也在站長平台提交了改版規則,卻仍出現舊URL被收錄。遇到這種情況,先從站點自身找原因:

1. 是否已移除所有舊位址入口?
這是個嚴肅的問題。很多站點規模大、結構複雜,改版不徹底,並未清乾淨所有入口頁面,於是新增內容的同時,某些角落仍產生舊的入口連結——只要連結還指向舊位址,就有被收錄的可能。所以要換URL,就必須徹頭徹尾把所有連結替換掉。除了站內連結,也盡量修改外部連結,例如友情連結,以加速新連結生效。
2. 舊URL是否真的做了301?
我也遇過一些朋友用JS之類的技術做「跳轉」,看起來也像那麼回事,但本質上完全不是301。
3. 關於百度這一端
在做好前兩項的前提下,即使百度一時收錄了舊連結也不必緊張。它對跳轉屬性的站點與連結需要時間識別確認,只要跳轉穩定,最終流量都會轉移到新連結上。記得透過網站改版工具及時提交改版規則。
建議大家測試時盡量把環境放在本地,或限制為特定環境才可訪問。否則現在的各種瀏覽器可能把位址洩露出去,也可能不小心拿去搜尋,導致測試頁被收錄,對站點正式上線的影響相當大。

1. 沒有關閉測試伺服器。換IP或換URL時,舊伺服器沒關,而搜尋引擎快取了IP,於是仍能訪問到這些頁面。
2. 沒有刪除IIS綁定。有人換了IP,卻沒在舊IP的Web伺服器上刪除站點綁定,於是蜘蛛帶著host頭訪問該IP時,依然能拿到舊內容。
一般情況下,搜尋引擎的快取週期較長,加上CDN等因素導致IP同步失敗,都可能造成上述情況。更換IP之後,可以用抓取診斷工具測試百度是否能正確抓取;若解析到的IP有誤,可點擊診斷詳情中的「報錯」,通知百度更新站點IP。
前面提到搜尋引擎會快取IP,百度也建議換IP時盡量讓舊伺服器維持一段時間可訪問——為什麼?因為內容與IP的同步都需要時間,直接切斷舊伺服器容易造成短時間大量404,給站點帶來難以估量的損失。
換IP後不收錄也是同一個原因:新伺服器數據遷移後,舊伺服器的內容不再更新,此時百度其實抓不到你的更新。所以要盡快透過上述方式告知百度站點IP的變動,減少流量損失。
收錄怪象很多,這裡列舉的是最常見的幾類,而它們背後多半是站長自身的操作誤區,而非搜尋引擎的問題。