WordPress 目前擁有數千萬用戶,既包括獨立博客,也包括各類博客平台,還有大量站點把它當 CMS 用。它的優點不必贅述,這裡只談一個常被忽略的細節:robots.txt。
robots.txt 是放在網站根目錄下的純文本文件(ASCII 編碼),用來告訴蜘蛛在你站上的抓取範圍,某種程度上也在保護站點的安全與隱私。同時它也是優化利器,比如屏蔽那些會產生重複內容的頁面。
要特別注意的是:robots.txt 並不是標準,只是一種協議。所以不同搜索引擎對裡面指令的容忍度、解讀方式都有差異。
1. 指令區分大小寫,未知指令會被忽略。下面是我這份文件在 Google 站長工具裡的測試結果:

可以看到它對中文等非英文字符的支持並不理想。如果需要添加中文地址的指令,請先做轉碼(UTF-8 與 GBK 的轉碼結果不同)。想第一時間確認自己寫的規則是否規範,可以用站長工具的「像 Googlebot 一樣抓取」功能,抓取後點擊「成功」那個鏈接,就能看到 Google 眼中的 robots.txt。

2. 每一行代表一條指令,空行與空白會被忽略。
3. 「#」號之後的內容是註釋,會被忽略。
4. 有獨立 User-agent 的規則,會排除在通配「*」規則之外——這也是為什麼針對特定蜘蛛的規則要放在通配規則上方。
5. 可以寫入 sitemap 的地址,方便蜘蛛摸清全站結構。
6. 盡量少用 Allow 指令,因為不同搜索引擎對不同位置的 Allow 解讀不一致。
由於不同站點的固定鏈接設置、插件組合不同,具體地址要按自己的情況調整。本站的固定鏈接格式是 /a/%post_id%.html,以下配置以此為基礎。
User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/
屏蔽程序文件目錄,同時省下寶貴的蜘蛛抓取配額。
Disallow: /*/trackback
每篇文章頁默認都帶一段 trackback 鏈接,不屏蔽就會產生大量重複內容。
Disallow: /feed Disallow: /*/feed Disallow: /comments/feed
頭部的 feed 鏈接是給瀏覽器提示訂閱用的,而站點通常已有 RSS 輸出和網站地圖,屏蔽這些鏈接能省下抓取資源。
Disallow: /*?s=* Disallow: /*/?s=*
屏蔽站內搜索結果頁。站內沒有這類鏈接不代表站外沒有,一旦被收錄,內容會和 TAG 頁高度雷同。
Disallow: /*?r=*
屏蔽留言鏈接插件產生的變形鏈接。沒裝相關插件就不必寫這條。
Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.gif$ Disallow: /*.png$ Disallow: /*.bmp$
屏蔽各類圖片文件的抓取,主要是省帶寬。這幾條完全按站點性質取捨。
Disallow: /*?p=*
屏蔽短鏈接。默認頭部輸出的短鏈接雖然最終會 301 到固定鏈接,但這段來回本身就是浪費。
Disallow: /*/comment-page-* Disallow: /*?replytocom*
屏蔽評論分頁與回復鏈接,這類地址一般不會被收錄,屏蔽是為了省配額。
Disallow: /a/date/ Disallow: /a/author/ Disallow: /a/category/ Disallow: /*?p=*&preview=true Disallow: /*?page_id=*&preview=true Disallow: /wp-login.php
歸檔、作者、分類這類重複入口,加上預覽參數與登錄頁,一併屏蔽,避免重複內容和隱私問題。
Sitemap: https://***.com/sitemap.txt
告訴搜索引擎網站地圖在哪裡,格式以 txt 和 xml 為主,可以寫多條。注意 Sitemap 的首字母要大寫,地址要用絕對路徑。
上面這些 Disallow 都不是必須項,按實際需求取用即可。站點開通主流搜索引擎的站長平台後,建議定期用官方工具檢查一遍 robots.txt 是否寫對——寫錯一條,可能讓整站從索引裡消失。