所以想問一句:你網站根目錄下的robots.txt文件,是UTF-8編碼嗎?如果不是,建議趕緊改成該編碼。
Google Groups的成員指出,包括Google在內的大部分常用搜索引擎,更「偏愛」UTF-8編碼的robots.txt文件。
Robots.txt這個文件,相信做站的人都不陌生,它是搜索引擎訪問網站時要查看的第一個文件,用來告訴蜘蛛程序服務器上哪些文件是可以被查看的。
當一個搜索蜘蛛訪問站點時,它會首先檢查該站根目錄下是否存在robots.txt;若存在,蜘蛛便按文件內容確定訪問範圍;若不存在,所有蜘蛛就能訪問網站上所有未被口令保護的頁面。robots.txt必須放在站點根目錄下,且文件名全部小寫。
語法上,最簡單的robots.txt只用兩條規則:
• User-Agent: 適用下列規則的漫遊器
• Disallow: 要攔截的網頁
Robots.txt是一種存放於網站根目錄下的ASCII編碼文本文件,文件名應統一為小寫,即robots.txt。Robots.txt協議並非正式規範,只是約定俗成,因此並不能保證網站隱私。注意它用字符串比較來確定是否獲取URL,所以目錄末尾有沒有斜槓「/」代表的是不同URL,也不能用「Disallow: .gif」這樣的通配符。
正因為robots.txt是個純文本文件,很多站長設置時便隨手拿系統自帶的文本編輯器寫一寫,上傳到根目錄就以為大功告成。其實,你只做對了一半——問題就出在這份馬虎上。
已被無數站長證實的事實是:搜索引擎更喜歡UTF-8編碼的robots.txt文件。Google Groups成員Phil Payne也為此聲明:在常用的HTML文件編碼類型中,Google和其他搜索引擎都更偏愛UTF-8編碼的robots.txt,甚至有某些文件編碼形式已被Google直接忽略掉。
所以,再問一次:你網站根目錄下的robots.txt,是UTF-8編碼嗎?若不是,建議盡快改過來。