在網站的日常運營中,死鏈幾乎不可避免,它不僅影響用戶體驗,也影響搜索效果。針對這一現象,我們邀請了站長社區版主——三木,為大家分享死鏈處理的心得。
本文主要講述:死鏈對網站的影響;死鏈是如何產生的;如何發現死鏈;如何正確處理死鏈。

一、大量死鏈對搜尋引擎有何影響?
1、死鏈率過高,會影響搜尋引擎對網站的評分。
2、搜尋引擎對每個網站每天的抓取頻次是有限的,若網站存在大量死鏈,會浪費抓取配額並影響其他正常頁面的抓取。
3、過多死鏈對用戶而言也是一種糟糕的體驗。
二、死鏈接是如何產生的?
1、網站內部添加了錯誤的內部鏈接
編輯失誤或程序員大意,讓頁面產生了不存在的鏈接。
2、網站短暫無法訪問
因伺服器、空間或程序問題導致網站短暫無法訪問,產生大量返回碼為5開頭的服務器錯誤頁面。
3、外部鏈接錯誤
用戶或站長在站外發布了錯誤URL;或別的網站複製、采集了你含有錯誤鏈接的頁面。
4、爬蟲提取了不完整的URL
個別爬蟲在提取頁面URL時,因URL中含有不規則字符,或URL與後面的文字連在一起,導致URL失效。
5、網站改版
網站改版或即將改版時要特別注意死鏈問題,很多網站改版後直接刪除老頁面,導致大量死鏈。
6、管理員刪除頁面
管理員刪除被黑、廣告、過時或被灌水的頁面,也會產生很多死鏈。
三、如何發現網站中的死鏈接?
1、百度站長工具中的抓取異常工具,可查看最近一個月產生的各種死鏈,並支援導出。
2、使用Xenu等爬蟲軟件,可爬取全站所有鏈接並分析頁面狀態,分析完成後支援導出,提取死鏈即可。
3、在網站運營中,特別是論壇,經常需要刪除某些頁面,刪除時一定要記錄對應的URL,以便後期提交死鏈。
通過上述方法提取的死鏈列表,一定要經過去重和驗證:先用WPS表格刪除重複鏈接,再借助HTTP狀態批量查詢工具,確認是否確實為死鏈。
四、如何避免和處理死鏈接?
1、網站改版最容易產生死鏈
改版前,有價值的頁面盡量不要刪除或修改URL;若需更換域名或URL規則,一定要將舊URL 301跳轉到對應的新URL;若舊數據必須刪除,則要整理並提交所有被刪頁面的URL作為死鏈。
2、對已發現的死鏈接如何處理
將收集好的所有死鏈粘貼到網站根目錄的一個文檔中,再把文檔地址提交到「百度站長工具—網頁抓取—死鏈提交—添加新數據—填寫死鏈文件地址」。若大量死鏈具有一定規律,如某目錄下全部為死鏈,可提交規則死鏈。
相關注意事項:
1、在百度站長工具提交死鏈前,一定要確保提交的數據中不存在活鏈接。一旦混入活鏈,會顯示提交失敗而無法刪除。
2、由於很多程序的問題,不少打不開的頁面返回碼並非404,這是一個大隱患。比如明明打不開的頁面返回碼卻是301、200、500——若是200,會導致網站出現不同URL獲取相同內容。筆者有個站,社區帖子刪除後返回碼是500,後來發現後立刻處理。大家盡量找出所有錯誤URL格式,並將HTTP狀態碼設為404。
3、找到所有錯誤頁面後,要找出它們URL的共同特徵,並與正常頁面加以區分,把對應規則寫入robots文件,禁止蜘蛛抓取。即使已在站長工具提交死鏈,也建議用robots封禁抓取。
4、robots只能讓蜘蛛不再抓取這類頁面,卻解決不了已收錄頁面的快照刪除問題。若網站被黑並刪除了被黑頁面,除了用robots封禁,還應將這些頁面提交死鏈——提交死鏈是刪除被黑頁面快照最快的辦法。
(本文轉載自百度站長平台,原文地址:https://zhanzhang.baidu.com/college/articleinfo?id=878)