如果你經常在網上購物,當你通過百度搜索某件商品時,有沒有發現,搜索結果裡從來不會出現來自淘寶網的商品?如果你還沒注意到這個現象,現在就可以試着搜「iphone手機」「平板電腦」等等。這就是因為百度搜索蜘蛛被淘寶網屏蔽了抓取,導致百度無法索引淘寶網數據。其實這已經算不上新聞,但卻值得我們深思:淘寶為什麼要屏蔽百度搜索呢?

上圖就是淘寶網robots.txt文件的內容,這種寫法表示:屏蔽百度蜘蛛抓取淘寶網站目錄下的所有數據,而且只屏蔽百度蜘蛛,對其他搜索引擎則沒有屏蔽。
那麼,淘寶網為什麼要屏蔽百度搜索的抓取呢?以下是個人不成熟的看法,僅供大家參考:
(一)保護用戶信息與商業信息
robots.txt文件的存在,本來就是為了禁止搜索引擎抓取網站中不想被公開的內容。如果網站沒有寫明禁止抓取全部數據,而只禁止其中一部分,可能由於管理疏忽導致屏蔽不夠準確。所以對於電商類這種擁有大量用戶隱私數據的網站來說,全部屏蔽是簡單而有效的方法。
(二)防止搜索引擎帶來的誠信與信譽問題
如果淘寶網公開讓搜索引擎抓取商品、店鋪信息,那麼就會有賣家為了獲得更好的搜索排名而使用SEO技術。如果該商品或店鋪確實能提供更好的服務,這種排名可取;但如果有不法商家或服務質量差的商家借此獲得高排名,最終用戶得到的卻是劣質服務,這對淘寶網的信譽將是重大問題,顯然不利於發展。信譽對電商站至關重要,尤其是像淘寶這樣的C2C電商,用戶複雜、監管難度太大。
(三)淘寶的實力保證與更好地佔據市場
當網民想到網上購物時,腦海中最先浮現的往往是淘寶。儘管如今電商站層出不窮,淘寶的地位卻已根深蒂固。它擁有巨大用戶群,屏蔽百度蜘蛛對其影響並不大。而且屏蔽搜索引擎抓取後,淘寶減少了外部因素干預,能更好地實現內部管理——比如不會出現針對搜索引擎的SEO優化(雖然如今已出現針對淘寶的淘寶SEO),但這種操作相對可控,因為「這一切都是在我的地盤裡進行的」。
(四)以回應百度在電商市場的競爭
可以看到,百度的市場在不斷擴大,產品與服務不斷推出,百度也宣稱要做最大的媒體,而不再只是最大的搜索引擎。如果整個互聯網的流量大部分都流向這個「最大的媒體」,那樣的互聯網還算正常嗎?百度同樣打算進軍電商領域,在它佔據搜索主導地位的情況下,一旦推出電商,我們搜索商品時前排很可能都是百度自己的結果,這對淘寶及其他電商都是巨大打擊。淘寶自然不願地位受威脅,於是果斷屏蔽百度蜘蛛的抓取,讓用戶訪問淘寶時減少對百度搜索的依賴。這對百度而言既是流量與用戶的損失,也讓自己處於不利地位。我想,這也正是淘寶只屏蔽百度、而不屏蔽其他搜索引擎的主要原因。
下面我們再看兩幅圖:

百度搜索京東的返回結果

百度搜索淘寶的返回結果
第一幅圖是在百度搜索「京東」的結果,排在第一名的是百度推廣,第二名才是京東的自然排名。京東的自然結果中可以看到:標題與京東首頁title標籤完全一致;標題下的摘要內容與京東首頁description標籤完全一致。
而第二幅圖的結果完全不一樣:排在第一的是淘寶網,不是百度推廣結果。而且這個看似自然排名的「淘寶網」,仔細分析會發現與其他自然結果很不同:標題是「淘寶網」,而不是淘寶主頁title標籤裡寫的「淘寶網 - 淘!我喜歡」;標題下面沒有摘要,只有簡單的「淘寶網」三個字——這不是淘寶沒寫description標籤,而是因為百度蜘蛛無法抓取淘寶內容。
讀者可能會問:淘寶網徹底屏蔽了百度抓取,為什麼搜索中還是會出現這樣的「淘寶網」結果?個人認為原因有二:
第一,互聯網上有大量網站做了指向淘寶網的鏈接,而錨文本通常就是「淘寶網」三個字,這可能導致蜘蛛爬到淘寶網並以此作為關鍵詞。
第二,百度作為大型搜索引擎,淘寶作為網民購物的主要平台,如果在百度裡連淘寶網都搜不到,網民會覺得百度「沒用」,所以……