DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
WordPress 站長必備:一份規範的 robots.txt 寫法
編輯:SEO優化集錦     

身邊玩 WordPress 的朋友越來越多,這是好事。但不論水平高低,只要你是站長,就有必要搞清楚 robots.txt 的寫法與作用。

我最近遇到一個具體困擾:站點的 ?p=XX 形式頁面老是出現在百度收錄裡。雖然表面上看是增加了收錄量,但這類重複頁面實際上會攤薄站點權重。為了解決它,我做了一系列限制重複抓取的調整。

說來慚愧,我一開始就做了 robots 優化,只是搬遷主機時忘了帶上那個文件……結果收錄掉了不少。

客觀講,WordPress 本身的優化基礎相當不錯,有些地方只需要掌握一點 HTML 基礎就能調整到位,完全不妨礙把它打磨成一個結構標準的站點。

我的 robots.txt 配置

User-agent: *

Disallow: /comments/feed/
Disallow: /*/trackback
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /*?replytocom=
Disallow: /*/comment-page-*
Disallow: /?r=*
Disallow: /?p=*
Disallow: /page/

Allow: /wp-content/uploads/

Sitemap: https://***.me/sitemap.xml
Sitemap: https://***.me/sitemap_baidu.xml

User-agent: * 表示規則對所有蜘蛛生效。

Disallow 的含義比較直白,稍微懂點英文都能理解。比如 Disallow: /page/ 就是不通過抓取 /page/ 下的頁面,避免分頁內容造成權重分散。

這裡最需要強調的一條是:屏蔽 /wp-content/uploads/ 之外資源目錄的同時,記得用 Allow 把上傳目錄單獨放行,否則圖片可能無法被正常抓取。

一個容易忽略的語法細節

我看到有站長把 Disallow: /*?replytocom= 寫成了 Disallow: *?replytocom=,把 Disallow: /*/comment-page-* 寫成了 Disallow: */comment-page-*。

依百度官方說明,Disallow 後的地址必須以斜槓 / 開頭。去掉這個斜槓,某些情況下也能生效,但不符合標準——而標準存在的意義,就是讓你不必去賭不同引擎的寬容度。

我的態度很簡單:半懂不懂的僥僥倖倖不應該有,有標準就照標準寫。

最後

如果你在配置過程中發現問題,歡迎及時指正,我也在持續學習。祝各位用 WordPress 的朋友技術越來越順——這套系統值得長期堅持,希望陸續能看到更多人的「建站一週年」總結。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved