身邊玩 WordPress 的朋友越來越多,這是好事。但不論水平高低,只要你是站長,就有必要搞清楚 robots.txt 的寫法與作用。
我最近遇到一個具體困擾:站點的 ?p=XX 形式頁面老是出現在百度收錄裡。雖然表面上看是增加了收錄量,但這類重複頁面實際上會攤薄站點權重。為了解決它,我做了一系列限制重複抓取的調整。
說來慚愧,我一開始就做了 robots 優化,只是搬遷主機時忘了帶上那個文件……結果收錄掉了不少。
客觀講,WordPress 本身的優化基礎相當不錯,有些地方只需要掌握一點 HTML 基礎就能調整到位,完全不妨礙把它打磨成一個結構標準的站點。
User-agent: * Disallow: /comments/feed/ Disallow: /*/trackback Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /*?replytocom= Disallow: /*/comment-page-* Disallow: /?r=* Disallow: /?p=* Disallow: /page/ Allow: /wp-content/uploads/ Sitemap: https://***.me/sitemap.xml Sitemap: https://***.me/sitemap_baidu.xml
User-agent: * 表示規則對所有蜘蛛生效。
Disallow 的含義比較直白,稍微懂點英文都能理解。比如 Disallow: /page/ 就是不通過抓取 /page/ 下的頁面,避免分頁內容造成權重分散。
這裡最需要強調的一條是:屏蔽 /wp-content/uploads/ 之外資源目錄的同時,記得用 Allow 把上傳目錄單獨放行,否則圖片可能無法被正常抓取。
我看到有站長把 Disallow: /*?replytocom= 寫成了 Disallow: *?replytocom=,把 Disallow: /*/comment-page-* 寫成了 Disallow: */comment-page-*。
依百度官方說明,Disallow 後的地址必須以斜槓 / 開頭。去掉這個斜槓,某些情況下也能生效,但不符合標準——而標準存在的意義,就是讓你不必去賭不同引擎的寬容度。
我的態度很簡單:半懂不懂的僥僥倖倖不應該有,有標準就照標準寫。
如果你在配置過程中發現問題,歡迎及時指正,我也在持續學習。祝各位用 WordPress 的朋友技術越來越順——這套系統值得長期堅持,希望陸續能看到更多人的「建站一週年」總結。