若想找出百度已收錄但已失效的頁面,可以先抓取所有收錄網址,再篩選出狀態碼異常的連結,最後透過站長平台提交死鏈,提升網站的可訪性與品質評價。
可從搜尋引擎或軟體站下載xenu。這套工具能模擬爬蟲抓取網站連結,適合做基礎的連結檢測。

打開工具後,輸入百度site查詢網址。使用簡易模式可減少查詢時間,也方便後續處理。

待檢測完成後,將結果匯出為文字檔,方便後續分析。

匯出的檔案通常是網址加上狀態碼。只要知道格式,就能進一步篩選出404或其他異常頁面。

若熟悉正則表達式,可直接擷取特定網域下狀態碼為404的網址。例如:/http:\/\/www.baidu.com(.*?)\s404/i。

若不熟悉正則,也可改用現成腳本,只要修改網站開頭、狀態碼與檔案路徑即可。

將篩選出的死鏈網址整理成txt檔,上傳到網站空間,再到百度站長平台提交死鏈檔案即可。

只要掌握這個流程,也能延伸檢測其他搜尋引擎的收錄狀態,或進一步擷取標題等資訊。