摘要:剛接手一個B2B電子商務平台不久,由於產品詳情頁存在兩種不同形式的URL——有32位、也有16位,所以需要對URL進行統一規範。
那麼,是采用32位的長地址(https://www.csc86.com/product/5475beae-8324-4d52-911d-d53b78926e1a.html),還是采用16位的短地址(https://www.csc86.com/product/79377.html)作為標準?當時我考慮的原則是:對比兩種不同形式URL的百度索引數據,以及兩者的收錄速度——也就是說,哪種URL的百度索引數據更多、收錄更快,就采用哪種作為標準。
於是我在百度站長工具裡自定義規則,分別查看兩種特徵頁面集合的索引量數據。
16位(短地址)URL的百度索引量數據

32位(長地址)URL的百度索引量數據

說明:
1、32位(長地址)的URL數據存量,約為16位(短地址)的4倍;
2、05-18當天,16位(短地址)的URL索引量增加了83574,而32位(長地址)的URL索引量僅增加2090;
3、針對URL索引量的增長,沒有做任何人工干預。
也就是說,16位(短地址)URL的百度索引數據多於32位URL,且短URL收錄更快,所以決定采用16位(短地址)作為產品詳情的URL規範。
問題:05-19號針對robots文件屏蔽了32位URL的搜索引擎抓取規則
robots文件如下:

但06-07號,32位URL的索引量還是出現大幅增長

看到這個數據,第一反應就是robots規則寫錯了,於是對robots進行檢查,結果發現規則沒問題、屏蔽也檢測正常;

06-09號針對此問題進行反饋,得到的答復是:百度這邊處理時間較長,處理此類問題的反應較慢。所以建議大家,在處理此類問題時,最好使用百度站長工具檢測robots並進行強制更新,能加快處理進度。
文章出處:裕騰智工作室 https://www.ying88.net/biji_share/57.html