
某天在百度站長平台檢測自己的博客時,出於優化的習慣順手查了 robots,接着又去搜了 WordPress 博客 robots 的設置寫法。翻了不少高手的配置之後終於有所領悟,這裡整理出來,給 WordPress 新手做個參考。
robots.txt(統一小寫)是放在網站根目錄下的一個 ASCII 編碼文本文件。它告訴搜索引擎的爬蟲,站點裡哪些內容可以抓取、哪些不可以。這個文件用來界定 spider 的抓取范圍,一定程度上保護站點的安全與隱私,同時也是優化利器——比如屏蔽重復內容頁面。
要注意的是,robots.txt 目前並非標准,只是一種協議,所以不同搜索引擎對裡面指令的解讀並不完全一致。
1、指令區分大小寫,未知指令會被忽略。下圖是本博客 robots.txt 在 Google 管理員工具裡的測試結果。
2、每行代表一條指令,空行與隔行會被忽略。
3、「#」號後面的內容會被忽略。
4、有獨立 User-agent 的規則,會被排除在通配「*」User agent 規則之外。
5、可以寫入 sitemap 文件鏈接,方便蜘蛛抓取全站內容。
6、盡量少用 Allow 指令,因為不同搜索引擎對不同位置的 Allow 解讀不一。
1、User-agent: *
一般博客的規則面向所有爬蟲,用通配符「*」即可。若有針對特定 User-agent 的規則,盡量放在通配規則的上方。
2、Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
屏蔽程序文件目錄,同時節省蜘蛛抓取資源。
3、Disallow: /*/trackback
默認的文章頁代碼裡都有一段 trackback 鏈接,不屏蔽的話會產生重復頁面內容問題。
4、Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
頭部的 feed 鏈接本意是提示浏覽器用戶可以訂閱,但一般站點都有 RSS 輸出和網站地圖,屏蔽掉這些鏈接可以節省蜘蛛資源。
5、Disallow: /?s=*
Disallow: /*/?s=*
屏蔽站內搜索結果頁。站內沒出現這類鏈接不代表站外沒有,一旦被收錄,內容會與 TAG 等頁面高度相近。
6、Disallow: /?r=*
屏蔽留言鏈接插件產生的變形留言鏈接(沒裝相關插件則不需要這條)。
7、Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
屏蔽各類圖片文件,主要是為了省點帶寬,管理員可按自身需求取捨。
8、Disallow: /?p=*
屏蔽短鏈接。默認頭部裡的短鏈接,百度等搜索引擎的蜘蛛會嘗試抓取,雖然最終會 301 跳到固定鏈接,但這份抓取資源終究是浪費。
9、Disallow: /*/comment-page-*
Disallow: /*?replytocom*
屏蔽留言相關鏈接。一般不會被收錄,但為了節省蜘蛛資源也一并屏蔽。
10、Disallow: /a/date/
Disallow: /a/author/
Disallow: /a/category/
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /wp-login.php
屏蔽其他各類雜項鏈接,避免重復內容與隱私問題。
11、Sitemap: https://***.com/sitemap.txt
網站地圖地址,主流是 txt 和 xml 兩種格式。告訴搜索引擎地圖在哪,方便抓取全站內容,也可以設置多個地址。注意 Sitemap 的 S 要大寫,地址要用絕對路徑。
上面這些 Disallow 都不是強制要求,可按需寫入。也建議開通 Google 管理員工具,順手檢查一下站點的 robots.txt 是否規范。
以上就是用 robots.txt 優化 WordPress 博客的具體做法,希望能幫到剛接觸 WordPress 的同學。