從最近幾週收到的提問來看,大家對死鏈越來越關注,畢竟死鏈直接關係到網站的抓取收錄與流量轉化。於是我們整合了學院之前的內容,又專門請教了 Baiduspider 工程師,給大家一個完整的系列解答。
問:robots 屏蔽對阻止百度抓取死鏈是否有效?
答:當然有效。百度嚴格遵守 robots 協議,若發現百度仍在抓取,請先確認是否為 Baiduspider;若確認,可透過反饋中心投訴。參考鏈接:《如何識別為百度 spider》。
問:已被百度抓取的死鏈,可以透過 robots 屏蔽的方式讓百度刪除嗎?
答:不建議這樣做,最快最有效的方法是透過百度站長平台的死鏈提交工具處理。
問:我已透過死鏈工具提交,但從日誌發現百度還是在抓我們的死鏈?
答:你提交規則後,spider 為了驗證鏈接是否真的死掉,需要抓一部分回來驗證。
問:百度對死鏈的抓取,對正常文章抓取的影響有多大?
答:這沒有統一的標準。如果你既沒設置 robots 也沒向百度提交,而死鏈量又特別巨大,就可能佔用網站大量抓取配額,導致正常內容無法抓取。如果只是 spider 為了驗證死鏈規則而抓一部分,則對正常內容不會造成影響。
問:百度對死鏈的要求是什麼?怎麼設置效果最好?
答:目前百度支援協議死鏈、內容死鏈與跳轉死鏈,其中效果最好的是協議死鏈。參考鏈接:《百度標準死鏈官方文檔》。
問:百度站長平台是否有工具幫助我們發現網站內的未知死鏈?
答:可以透過鏈接分析工具中的死鏈分析功能,還有抓取異常工具來發現與分析。