很久以前我就寫過,純文本形式的網址對網站權重是有好處的。今天,我終於找到了百度蜘蛛確實會抓純文本網址的證據。
百度站長平台開放之後,裡面有不少實用功能:提交站點地圖、提交死連結、查看 robots 等等。其中有一項容易被忽略的功能,叫「站點抓取異常查詢」。
當網站收錄或其他環節出問題時,我們通常得去翻日誌找原因。這個工具可以直接告訴你:百度在抓取你的網站時遇到了哪些錯誤,排查起來快很多。
今天檢查時,我發現一筆404抓取錯誤,抓的網址是 https://***.com/1227.html ,但後面多了一個「>」。理論上,正常情況下不該出現這種連結。

搜了一下才找到原因:有網站在轉載文章時,把網址輸出成了純文本形式,如下圖。

百度抓到這段字串之後,把「>」也當成網址的一部分去抓取,自然就發生了404。
從這個例子可以確定:百度確實有能力抓取純文本網址。這對廣大 SEO 從業者與網路內容經營者來說,是個好消息——它意味著純文本形式的連結佈局,並不是白做工。