DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt使用誤區與實用技巧全解析
編輯:SEO優化集錦     

什麼是robots.txt?它對SEO有何影響?

robots.txt是搜索引擎訪問網站時要查看的第一個文件,它告訴蜘蛛程序伺服器上哪些內容可以被抓取。當一個搜索蜘蛛拜訪站點時,會先檢查根目錄下是否存在robots.txt:若存在,機器人就按文件中的規則確定抓取範圍;若不存在,所有蜘蛛將能訪問網站上所有未被口令保護的頁面。它必須放在站點根目錄下,且文件名全部小寫。

最簡單的robots.txt使用兩條規則:

1. User-Agent:適用下列規則的漫遊器;

2. Disallow:要攔截的網頁。

實用技巧

1. 添加一個robots.txt。每當用戶試圖訪問不存在的URL,服務器會記錄404錯誤;每當蜘蛛來找並不存在的robots.txt,服務器同樣會記錄一條404。所以,為網站添加一個robots.txt是個好習慣。

2. 引導蜘蛛遠離特定目錄。大多數服務器都有程序存放在「CGI-bin」之類的目錄下,在文件中加入「Disallow: /cgi-bin」是個不錯的做法,能避免程序文件被索引、節省資源。一般不需要蜘蛛抓取的文件還包括:後台管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表、模板文件、導航與背景圖片等。

以某CMS為例,其robots.txt可寫作:

User-agent: *
Disallow: /admin/ (後台管理文件)
Disallow: /require/ (程序文件)
Disallow: /attachment/ (附件)
Disallow: /images/ (圖片)
Disallow: /data/ (數據庫文件)
Disallow: /template/ (模板文件)
Disallow: /CSS/ (樣式表文件)
Disallow: /lang/ (編碼文件)
Disallow: /script/ (腳本文件)

3. 避免動態頁與靜態副本重複。若你為動態網頁創建了靜態副本以便蜘蛛抓取,可在robots.txt中屏蔽動態頁,避免被視為重複內容。

4. 直接寫入sitemap鏈接。可在文件中加入:Sitemap: https://www.***.com/sitemap.xml。目前谷歌、雅虎、Ask、MSN等均支持此做法,站長無需逐個平台提交,蜘蛛會自行讀取並抓取。

5. 避免訪問出錯。比如不該讓搜索者直接進入購物車頁面——購物車沒有被收錄的理由,可在文件中加以阻止。

常見使用誤區

誤區一:「我的站所有文件都需要被抓取,那就不必加robots.txt了。」——如前所述,缺少該文件會讓服務器不斷記錄404,添加一個更規範。

誤區二:「設置所有文件都可被抓取,能提高收錄率。」——程序腳本、樣式表等即便被收錄,也不會提高收錄率,反而浪費資源,應予以屏蔽。

誤區三:「抓取太耗資源,乾脆禁止所有蜘蛛抓取全部網頁。」——這樣會導致整個網站無法被搜索引擎收錄,得不償失。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved