DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
別再亂存robots.txt:搜索引擎更愛UTF-8編碼
編輯:SEO優化集錦     

所以想問一句:你網站根目錄下的robots.txt文件,是UTF-8編碼嗎?如果不是,建議趕緊改成該編碼。

Google Groups的成員指出,包括Google在內的大部分常用搜索引擎,更「偏愛」UTF-8編碼的robots.txt文件。

Robots.txt這個文件,相信做站的人都不陌生,它是搜索引擎訪問網站時要查看的第一個文件,用來告訴蜘蛛程序服務器上哪些文件是可以被查看的。

當一個搜索蜘蛛訪問站點時,它會首先檢查該站根目錄下是否存在robots.txt;若存在,蜘蛛便按文件內容確定訪問範圍;若不存在,所有蜘蛛就能訪問網站上所有未被口令保護的頁面。robots.txt必須放在站點根目錄下,且文件名全部小寫。

語法上,最簡單的robots.txt只用兩條規則:

• User-Agent: 適用下列規則的漫遊器

• Disallow: 要攔截的網頁

Robots.txt是一種存放於網站根目錄下的ASCII編碼文本文件,文件名應統一為小寫,即robots.txt。Robots.txt協議並非正式規範,只是約定俗成,因此並不能保證網站隱私。注意它用字符串比較來確定是否獲取URL,所以目錄末尾有沒有斜槓「/」代表的是不同URL,也不能用「Disallow: .gif」這樣的通配符。

正因為robots.txt是個純文本文件,很多站長設置時便隨手拿系統自帶的文本編輯器寫一寫,上傳到根目錄就以為大功告成。其實,你只做對了一半——問題就出在這份馬虎上。

已被無數站長證實的事實是:搜索引擎更喜歡UTF-8編碼的robots.txt文件。Google Groups成員Phil Payne也為此聲明:在常用的HTML文件編碼類型中,Google和其他搜索引擎都更偏愛UTF-8編碼的robots.txt,甚至有某些文件編碼形式已被Google直接忽略掉。

所以,再問一次:你網站根目錄下的robots.txt,是UTF-8編碼嗎?若不是,建議盡快改過來。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved