DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
WordPress 的 robots.txt 怎麼寫:一份可參考的優化配置
編輯:SEO優化集錦     

WordPress 目前擁有數千萬用戶,既包括獨立博客,也包括各類博客平台,還有大量站點把它當 CMS 用。它的優點不必贅述,這裡只談一個常被忽略的細節:robots.txt。

先搞清楚 robots.txt 是什麼

robots.txt 是放在網站根目錄下的純文本文件(ASCII 編碼),用來告訴蜘蛛在你站上的抓取範圍,某種程度上也在保護站點的安全與隱私。同時它也是優化利器,比如屏蔽那些會產生重複內容的頁面。

要特別注意的是:robots.txt 並不是標準,只是一種協議。所以不同搜索引擎對裡面指令的容忍度、解讀方式都有差異。

寫作時需要注意的幾點

1. 指令區分大小寫,未知指令會被忽略。下面是我這份文件在 Google 站長工具裡的測試結果:

可以看到它對中文等非英文字符的支持並不理想。如果需要添加中文地址的指令,請先做轉碼(UTF-8 與 GBK 的轉碼結果不同)。想第一時間確認自己寫的規則是否規範,可以用站長工具的「像 Googlebot 一樣抓取」功能,抓取後點擊「成功」那個鏈接,就能看到 Google 眼中的 robots.txt。

2. 每一行代表一條指令,空行與空白會被忽略。

3. 「#」號之後的內容是註釋,會被忽略。

4. 有獨立 User-agent 的規則,會排除在通配「*」規則之外——這也是為什麼針對特定蜘蛛的規則要放在通配規則上方。

5. 可以寫入 sitemap 的地址,方便蜘蛛摸清全站結構。

6. 盡量少用 Allow 指令,因為不同搜索引擎對不同位置的 Allow 解讀不一致。

一份 WordPress 的參考配置

由於不同站點的固定鏈接設置、插件組合不同,具體地址要按自己的情況調整。本站的固定鏈接格式是 /a/%post_id%.html,以下配置以此為基礎。

User-agent: *

Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/

屏蔽程序文件目錄,同時省下寶貴的蜘蛛抓取配額。

Disallow: /*/trackback

每篇文章頁默認都帶一段 trackback 鏈接,不屏蔽就會產生大量重複內容。

Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

頭部的 feed 鏈接是給瀏覽器提示訂閱用的,而站點通常已有 RSS 輸出和網站地圖,屏蔽這些鏈接能省下抓取資源。

Disallow: /*?s=*
Disallow: /*/?s=*

屏蔽站內搜索結果頁。站內沒有這類鏈接不代表站外沒有,一旦被收錄,內容會和 TAG 頁高度雷同。

Disallow: /*?r=*

屏蔽留言鏈接插件產生的變形鏈接。沒裝相關插件就不必寫這條。

Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

屏蔽各類圖片文件的抓取,主要是省帶寬。這幾條完全按站點性質取捨。

Disallow: /*?p=*

屏蔽短鏈接。默認頭部輸出的短鏈接雖然最終會 301 到固定鏈接,但這段來回本身就是浪費。

Disallow: /*/comment-page-*
Disallow: /*?replytocom*

屏蔽評論分頁與回復鏈接,這類地址一般不會被收錄,屏蔽是為了省配額。

Disallow: /a/date/
Disallow: /a/author/
Disallow: /a/category/
Disallow: /*?p=*&preview=true
Disallow: /*?page_id=*&preview=true
Disallow: /wp-login.php

歸檔、作者、分類這類重複入口,加上預覽參數與登錄頁,一併屏蔽,避免重複內容和隱私問題。

Sitemap: https://***.com/sitemap.txt

告訴搜索引擎網站地圖在哪裡,格式以 txt 和 xml 為主,可以寫多條。注意 Sitemap 的首字母要大寫,地址要用絕對路徑。

幾句提醒

上面這些 Disallow 都不是必須項,按實際需求取用即可。站點開通主流搜索引擎的站長平台後,建議定期用官方工具檢查一遍 robots.txt 是否寫對——寫錯一條,可能讓整站從索引裡消失。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved