DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
用 robots.txt 給 WordPress 博客做減法
編輯:SEO優化集錦     

某天在百度站長平台檢測自己的博客時,出於優化的習慣順手查了 robots,接着又去搜了 WordPress 博客 robots 的設置寫法。翻了不少高手的配置之後終於有所領悟,這裡整理出來,給 WordPress 新手做個參考。

一、robots.txt 是什麼

robots.txt(統一小寫)是放在網站根目錄下的一個 ASCII 編碼文本文件。它告訴搜索引擎的爬蟲,站點裡哪些內容可以抓取、哪些不可以。這個文件用來界定 spider 的抓取范圍,一定程度上保護站點的安全與隱私,同時也是優化利器——比如屏蔽重復內容頁面。

要注意的是,robots.txt 目前並非標准,只是一種協議,所以不同搜索引擎對裡面指令的解讀並不完全一致。

二、使用時的幾個要點

1、指令區分大小寫,未知指令會被忽略。下圖是本博客 robots.txt 在 Google 管理員工具裡的測試結果。

2、每行代表一條指令,空行與隔行會被忽略。

3、「#」號後面的內容會被忽略。

4、有獨立 User-agent 的規則,會被排除在通配「*」User agent 規則之外。

5、可以寫入 sitemap 文件鏈接,方便蜘蛛抓取全站內容。

6、盡量少用 Allow 指令,因為不同搜索引擎對不同位置的 Allow 解讀不一。

三、WordPress 的 robots.txt 配置

1、User-agent: *

一般博客的規則面向所有爬蟲,用通配符「*」即可。若有針對特定 User-agent 的規則,盡量放在通配規則的上方。

2、Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

屏蔽程序文件目錄,同時節省蜘蛛抓取資源。

3、Disallow: /*/trackback

默認的文章頁代碼裡都有一段 trackback 鏈接,不屏蔽的話會產生重復頁面內容問題。

4、Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

頭部的 feed 鏈接本意是提示浏覽器用戶可以訂閱,但一般站點都有 RSS 輸出和網站地圖,屏蔽掉這些鏈接可以節省蜘蛛資源。

5、Disallow: /?s=*

Disallow: /*/?s=*

屏蔽站內搜索結果頁。站內沒出現這類鏈接不代表站外沒有,一旦被收錄,內容會與 TAG 等頁面高度相近。

6、Disallow: /?r=*

屏蔽留言鏈接插件產生的變形留言鏈接(沒裝相關插件則不需要這條)。

7、Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

屏蔽各類圖片文件,主要是為了省點帶寬,管理員可按自身需求取捨。

8、Disallow: /?p=*

屏蔽短鏈接。默認頭部裡的短鏈接,百度等搜索引擎的蜘蛛會嘗試抓取,雖然最終會 301 跳到固定鏈接,但這份抓取資源終究是浪費。

9、Disallow: /*/comment-page-*

Disallow: /*?replytocom*

屏蔽留言相關鏈接。一般不會被收錄,但為了節省蜘蛛資源也一并屏蔽。

10、Disallow: /a/date/

Disallow: /a/author/

Disallow: /a/category/

Disallow: /?p=*&preview=true

Disallow: /?page_id=*&preview=true

Disallow: /wp-login.php

屏蔽其他各類雜項鏈接,避免重復內容與隱私問題。

11、Sitemap: https://***.com/sitemap.txt

網站地圖地址,主流是 txt 和 xml 兩種格式。告訴搜索引擎地圖在哪,方便抓取全站內容,也可以設置多個地址。注意 Sitemap 的 S 要大寫,地址要用絕對路徑。

上面這些 Disallow 都不是強制要求,可按需寫入。也建議開通 Google 管理員工具,順手檢查一下站點的 robots.txt 是否規范。

以上就是用 robots.txt 優化 WordPress 博客的具體做法,希望能幫到剛接觸 WordPress 的同學。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved