搜尋引擎透過一種名為robot(又稱spider,即網路蜘蛛)的程式,自動巡訪網路上的網頁並擷取資訊。但如果網站有部分內容不希望被他人搜到,可以建立一個名為robots.txt的純文字檔,放在網站根目錄下。這樣一來,搜尋機器人就會依據這個檔案的內容,判斷哪些頁面允許搜尋、哪些不希望被看到。
有趣的是,這個特性往往被人當作推敲網站新動向的參考線索,藉此猜測對方即將推出什麼服務,卻又不便明說。例如,透過分析Google的robots.txt變化,就能預測它下一步將推出何種服務。
有興趣的讀者不妨看看Google的robots.txt檔案,會注意到開頭幾行就有「Disallow: /search」,而結尾則新增了「Disallow: /base/s2」。
現在來做個測試:按照規則,它所隱藏的地址是 https://www.Google.com/base/s2。打開之後會發現,Google給出了一個錯誤提示:「服務器遇到一個暫時性問題不能響應您的請求,請30秒後再試。」

但當把s2最後的數字換成1、3或其他數字時,錯誤提示又換了個樣子:「我們不知道您為什麼要訪問一個不存在的頁面。」

很顯然,「/base/s2」是一個特殊頁面。鑑於Google曾表示今年的發展焦點在於搜尋引擎,我們不妨大胆推測:所謂的「s2」,是否代表「search2」,也就是傳說中的第二代搜尋引擎?
出於好奇,筆者又嘗試了一下百度的robots.txt,發現它比密密麻麻的Google簡潔許多,只有短短幾行:
User-agent: Baiduspider
Disallow: /baidu
User-agent: *
Disallow: /shifen/dqzd.html
第一段不言自明;第二段則同樣遇到了打不開的錯誤。不過,按照過去的資料來看,這是百度曾經的競價排名區域核心代理一覽表以及地區總代理一覽表,出於某些可以理解的原因做了模糊處理。
