說到屏蔽搜尋蜘蛛抓取,自然就會想到robots.txt。它是什麼?筆者此前已做過基礎說明。robots.txt是一種存放在網站根目錄下的文本協議文件,用來告訴蜘蛛站內哪些內容可被抓取、哪些不可。可在這裡,筆者有一個疑問:robots.txt真能徹底屏蔽蜘蛛的爬行與索引嗎?
robots.txt能屏蔽蜘蛛的爬行抓取
近日,好友遇到這樣一個問題:「我明明用robots.txt屏蔽了WordPress的目錄,為什麼蜘蛛每天照爬不誤?」筆者便去查他的robots.txt,以下是屏蔽WordPress目錄的設置:
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
看過之後,筆者發現了問題:這屏蔽的是目錄,可設置後面似乎少了點什麼。諮詢時好友卻不以為然:「目錄前加了/就行,後面加不加都一樣。」對此筆者不敢苟同——後面加不加/,對蜘蛛而言是兩種概念:加了是告訴蜘蛛「這是一個文件夾」,不加則告訴它「這是一個文件」,於是便導致明明設了robots.txt卻屏蔽不徹底。當然,這僅是筆者的一家之言。
好友聽從建議,把robots.txt改為:
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
改好後在百度站長平台提交、重新生成(注意:若不主動提交生成,靠蜘蛛自行發現,耗時會很長),當天就生效了。隔天再看日誌,蜘蛛對這三個WordPress目錄果然不再抓取了。從這一點可見,做SEO時著實不能忽略任何細節,僅一個「/」,帶來的卻是不同的效果。
robots.txt不能徹底屏蔽蜘蛛的爬行抓取
而問題解決後,好友又冒出新疑問:「明明屏蔽了某個目錄,為什麼蜘蛛還能抓取收錄該目錄下的某個文件?」這裡需要說明:robots.txt協議並非強制標準,只是約定俗成,通常搜尋引擎會識別,但也有特殊情況。無論百度還是谷歌,某個頁面只要有其他網站連結指向它,同樣可能被索引和收錄。要想徹底屏蔽某頁被谷歌索引(即便有其他站連結過來),需在頁面head中插入noindex元標記或x-robots-tag,如下:
<meta name="googlebot" content="noindex">
谷歌蜘蛛看到頁面上的noindex標記,就會把此頁從搜索結果中完全丟棄,無視是否還有其他頁連結過來。而百度呢?百度並不支持像谷歌那樣透過noindex把網頁從索引中徹底刪除,只支持noarchive元標記來禁止顯示快照,具體語句如下:
<meta name="Baiduspider" content="noarchive">
這個標記只是禁止百度顯示該頁快照,但百度仍會為它建索引,並在搜索結果中顯示摘要。眾所周知,淘寶網透過robots.txt全站屏蔽了百度蜘蛛,可我們在百度搜「淘寶網」時,第一個結果仍是淘寶首頁,而查看快照卻是空白。由此可見,網站只能禁止百度顯示快照,卻無法阻止百度為網頁建索引。

結束語:
回到開頭的疑問:robots.txt能否徹底屏蔽蜘蛛的爬行與索引?看到這裡,或許有一部分朋友會給出肯定答案。但這只能說,我們缺少了一顆善於發現的心;而屏蔽不徹底,只能說明我們的優化工作還不夠精細。從這兩個robots.txt的小問題上,筆者認為,阻攔我們晉升SEO高手的,或許正是那份善於發現問題的心與精細化的執行力。