很多新手建站朋友對robots協議文件的重要性認識不足,本文由昆明SEO博主普及一下WordPress站點robots協議文件的編寫知識。robots協議(也稱爬蟲協議、機器人協議等)全稱是「網絡爬蟲排除標準」(Robots Exclusion Protocol),網站通過它告訴搜索引擎哪些頁面可抓取、哪些不可抓取。編寫時主要注意以下幾大方面:

一、使用robots協議需要注意的幾點:
1、指令區分大小寫,忽略未知指令。
2、每一行代表一個指令,空白和隔行會被忽略。
3、「#」號後的字符參數會被忽略。
4、有獨立User-agent的規則,會排除在通配「*」User agent規則之外。
5、可寫入sitemap文件鏈接,方便蜘蛛爬行整站內容。
6、盡量少用Allow指令,因為不同搜索引擎對不同位置的Allow會有不同看待。
7、robots.txt必須放在網站根目錄,不可放在子目錄。
二、robots協議文件的寫法:

1、User-agent: * 這裡的*代表所有搜索引擎種類,*是一個通配符。
2、Disallow: /admin/ 禁止爬尋admin目錄下的內容。
3、Disallow: /require/ 禁止爬尋require目錄下的內容。
4、Disallow: /ABC/ 禁止爬尋ABC目錄下的內容。
5、Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下所有以「.htm」為後綴的URL(含子目錄)。
6、Disallow: /*?* 禁止訪問網站中所有含問號(?)的網址。
7、Disallow: /.jpg$ 禁止抓取網頁所有.jpg格式的圖片。
8、Disallow:/ab/adc.html 禁止爬取ab文件夾下的adc.html文件。
9、Allow: /cgi-bin/ 允許爬尋cgi-bin目錄下的內容。
10、Allow: /tmp 允許爬尋tmp的整個目錄。
11、Allow: .htm$ 僅允許訪問以「.htm」為後綴的URL。
12、Allow: .gif$ 允許抓取網頁和gif格式圖片。
13、Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖。
三、robots協議文件實際說明:
1、User-agent: * 設置規則適用的身份為全部UA。
2、Disallow: /*?* 屏蔽頁面中的動態路徑。
3、Disallow: /?p=* 屏蔽非固定鏈接的文章頁路徑,因為每頁都有一個shortlink使用?p=路徑。
4、Disallow: /index.php 屏蔽首頁默認頁面的index.php。
5、Disallow: /wp-admin 屏蔽後台登錄頁地址,主要考慮服務器安全。
6、Disallow: /wp-content/plugins 屏蔽插件目錄。
7、Disallow: /wp-content/themes 屏蔽模板目錄。
8、Disallow: /wp-includes 屏蔽底層程序目錄。
9、Disallow: /trackback 屏蔽頁面回評路徑。
10、Disallow: /*/*/trackback 屏蔽分類目錄、文章頁的回評路徑。
11、Disallow: /feed 屏蔽內容訂閱路徑。
12、Disallow: /*/*/feed 屏蔽分類目錄、文章頁的訂閱路徑。
13、Disallow: /comments/feed 屏蔽評論的訂閱路徑。
14、Disallow: /page/ 屏蔽默認翻頁路徑。
15、Disallow: /*/*/page/ 屏蔽分類目錄的翻頁路徑。
16、Disallow: /page/1$ 屏蔽翻頁路徑中的數字路徑。
17、Disallow: /tag/ 屏蔽標簽頁面。
18、Disallow: /?s=* 屏蔽搜索結果路徑,避免搜索結果緩存被收錄。
19、Disallow: /date/ 屏蔽按日期分類顯示的列表頁。
20、Disallow: /author/ 屏蔽作者文章列表頁。
21、Disallow: /category/ 屏蔽以category為起始的分類路徑(若未用插件生成不帶category前綴的路徑,請勿使用此規則)。
22、Disallow: /wp-login.php 屏蔽後台登錄頁。
四、robots協議的設置方法
1、寫好後把文件重命名為robots.txt,用FTP上傳到網站根目錄,切記是網站根目錄而非主題根目錄。