DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
用好robots協議,為你的WordPress博客站加分
編輯:SEO優化集錦     

很多新手建站朋友對robots協議文件的重要性認識不足,本文由昆明SEO博主普及一下WordPress站點robots協議文件的編寫知識。robots協議(也稱爬蟲協議、機器人協議等)全稱是「網絡爬蟲排除標準」(Robots Exclusion Protocol),網站通過它告訴搜索引擎哪些頁面可抓取、哪些不可抓取。編寫時主要注意以下幾大方面:

一、使用robots協議需要注意的幾點:

1、指令區分大小寫,忽略未知指令。

2、每一行代表一個指令,空白和隔行會被忽略。

3、「#」號後的字符參數會被忽略。

4、有獨立User-agent的規則,會排除在通配「*」User agent規則之外。

5、可寫入sitemap文件鏈接,方便蜘蛛爬行整站內容。

6、盡量少用Allow指令,因為不同搜索引擎對不同位置的Allow會有不同看待。

7、robots.txt必須放在網站根目錄,不可放在子目錄。

二、robots協議文件的寫法:

1、User-agent: * 這裡的*代表所有搜索引擎種類,*是一個通配符。

2、Disallow: /admin/ 禁止爬尋admin目錄下的內容。

3、Disallow: /require/ 禁止爬尋require目錄下的內容。

4、Disallow: /ABC/ 禁止爬尋ABC目錄下的內容。

5、Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下所有以「.htm」為後綴的URL(含子目錄)。

6、Disallow: /*?* 禁止訪問網站中所有含問號(?)的網址。

7、Disallow: /.jpg$ 禁止抓取網頁所有.jpg格式的圖片。

8、Disallow:/ab/adc.html 禁止爬取ab文件夾下的adc.html文件。

9、Allow: /cgi-bin/ 允許爬尋cgi-bin目錄下的內容。

10、Allow: /tmp 允許爬尋tmp的整個目錄。

11、Allow: .htm$ 僅允許訪問以「.htm」為後綴的URL。

12、Allow: .gif$ 允許抓取網頁和gif格式圖片。

13、Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖。

三、robots協議文件實際說明:

1、User-agent: * 設置規則適用的身份為全部UA。

2、Disallow: /*?* 屏蔽頁面中的動態路徑。

3、Disallow: /?p=* 屏蔽非固定鏈接的文章頁路徑,因為每頁都有一個shortlink使用?p=路徑。

4、Disallow: /index.php 屏蔽首頁默認頁面的index.php。

5、Disallow: /wp-admin 屏蔽後台登錄頁地址,主要考慮服務器安全。

6、Disallow: /wp-content/plugins 屏蔽插件目錄。

7、Disallow: /wp-content/themes 屏蔽模板目錄。

8、Disallow: /wp-includes 屏蔽底層程序目錄。

9、Disallow: /trackback 屏蔽頁面回評路徑。

10、Disallow: /*/*/trackback 屏蔽分類目錄、文章頁的回評路徑。

11、Disallow: /feed 屏蔽內容訂閱路徑。

12、Disallow: /*/*/feed 屏蔽分類目錄、文章頁的訂閱路徑。

13、Disallow: /comments/feed 屏蔽評論的訂閱路徑。

14、Disallow: /page/ 屏蔽默認翻頁路徑。

15、Disallow: /*/*/page/ 屏蔽分類目錄的翻頁路徑。

16、Disallow: /page/1$ 屏蔽翻頁路徑中的數字路徑。

17、Disallow: /tag/ 屏蔽標簽頁面。

18、Disallow: /?s=* 屏蔽搜索結果路徑,避免搜索結果緩存被收錄。

19、Disallow: /date/ 屏蔽按日期分類顯示的列表頁。

20、Disallow: /author/ 屏蔽作者文章列表頁。

21、Disallow: /category/ 屏蔽以category為起始的分類路徑(若未用插件生成不帶category前綴的路徑,請勿使用此規則)。

22、Disallow: /wp-login.php 屏蔽後台登錄頁。

四、robots協議的設置方法

1、寫好後把文件重命名為robots.txt,用FTP上傳到網站根目錄,切記是網站根目錄而非主題根目錄。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved