DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots文件屏蔽了抓取規則,為何頁面還是會被收錄?
編輯:SEO優化集錦     

摘要:剛接手一個B2B電子商務平台不久,由於產品詳情頁存在兩種不同形式的URL——有32位、也有16位,所以需要對URL進行統一規範。

那麼,是采用32位的長地址(https://www.csc86.com/product/5475beae-8324-4d52-911d-d53b78926e1a.html),還是采用16位的短地址(https://www.csc86.com/product/79377.html)作為標準?當時我考慮的原則是:對比兩種不同形式URL的百度索引數據,以及兩者的收錄速度——也就是說,哪種URL的百度索引數據更多、收錄更快,就采用哪種作為標準。

於是我在百度站長工具裡自定義規則,分別查看兩種特徵頁面集合的索引量數據。

16位(短地址)URL的百度索引量數據

32位(長地址)URL的百度索引量數據

說明:

1、32位(長地址)的URL數據存量,約為16位(短地址)的4倍;

2、05-18當天,16位(短地址)的URL索引量增加了83574,而32位(長地址)的URL索引量僅增加2090;

3、針對URL索引量的增長,沒有做任何人工干預。

也就是說,16位(短地址)URL的百度索引數據多於32位URL,且短URL收錄更快,所以決定采用16位(短地址)作為產品詳情的URL規範。

問題:05-19號針對robots文件屏蔽了32位URL的搜索引擎抓取規則

robots文件如下:

但06-07號,32位URL的索引量還是出現大幅增長

看到這個數據,第一反應就是robots規則寫錯了,於是對robots進行檢查,結果發現規則沒問題、屏蔽也檢測正常;

06-09號針對此問題進行反饋,得到的答復是:百度這邊處理時間較長,處理此類問題的反應較慢。所以建議大家,在處理此類問題時,最好使用百度站長工具檢測robots並進行強制更新,能加快處理進度。

文章出處:裕騰智工作室 https://www.ying88.net/biji_share/57.html

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved