
新浪穩坐國家級門戶的第一把交椅,誰還敢說自己網站結構的複雜程度能超越新浪?於是我們請王久明分享一下新浪在死鏈處理與死鏈預防(重要頁面因修改而產生死鏈)方面的經驗。
1、時政新聞的敏感性;
2、來自監管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動優化並定期清除的需求。
由於系統架構、歷史遺留問題、多業務系統交叉影響等多方面因素,新浪存在以下三種死鏈:
1、協議死鏈,伺服器端返回 HTTP 狀態碼 404。
例如:https://news.sina.com.cn/movie/music/1999-06-15/2965.shtml

2、內容死鏈,伺服器端返回 HTTP 狀態碼 200,但無法設置為 404。
例如:https://news.sina.com.cn/c/2015-04-23/184531753084.shtml

3、反覆上下線導致的死鏈。頁面本應讓使用者與蜘蛛正常訪問,但因刪改或誤操作導致反覆上下線,從而形成協議死鏈或內容死鏈。
例如:https://news.sina.com.cn/2015-12-05/doc-ifxmhqaa9933763.shtml
頁面先上線又下線,之後又上線,甚至反覆多次。由於下線期間存在協議死鏈或內容死鏈,百度會認為該頁應被刪除、不予收錄,即便後續重新上線也難以恢復收錄。對這種情況,應加以預防。

1、協議死鏈,這最符合 HTML 標準的處理方式,站點方面無須多做什麼。若需百度快速處理,可透過百度站長平台的死鏈提交工具主動提交。
2、無法設置協議死鏈、僅主體文字被刪除的內容死鏈,新浪的處理方法是:
1)依既定的《死鏈標準流程》:用站內標準的內容死鏈模板頁面(告知使用者該頁無法找到)覆蓋需刪除的頁面,5 秒後跳轉到統一的全站導航頁,以減少使用者流失。
2)依需要(例如依特定關鍵詞圈定一批最終需處理為協議死鏈的敏感頁面),將這些頁面的連結放進一個文件,由專人在伺服器端改為協議死鏈,再透過百度站長平台工具提交死鏈。
3、針對反覆上下線導致百度誤判為死鏈的情況,新浪的預防辦法是:
1)制度上:系統後台設置提醒,提示編輯上線後除非特殊情況不要隨意下線。
2)功能上:這種情況在專題運營中最常見,影響也比單篇新聞頁更大。由於站點規定不能刪除頁面,因此系統後台嚴格區分了「刪除專題」與「將專題調整為不對外顯示」(後者對編輯而言不是刪除,而是暫停下線,調整為外網使用者無法訪問,可隨時重新上線)這兩個功能,並提供回收機制。針對「調整為不對外顯示」的情況,不再把頁面更新為內容死鏈(頁面無法找到),以免被百度誤判;專題頁面仍可訪問,只是站點不設置入口、不進行推廣,使用者沒有訪問來源而已。