織夢 DEDECMS 默認 robots.txt 較為簡單,難以滿足所有站點的抓取管理需求。合理配置 robots,可以引導蜘蛛抓取重要頁面,屏蔽後台、程序目錄與重複分頁。
User-agent: * Disallow: /dede Disallow: /include Disallow: /member Disallow: /plus Disallow: /templets Disallow: /data Disallow: /uploads Disallow: /images Disallow: /404.html Allow: /plus/search.php
以上配置適用於未偽靜態的 DEDECMS 站點。實際使用時,可根據目錄用途開放少數必要文件,例如搜索頁。
後台目錄改名後,為避免在 robots 中暴露真實名稱,可使用通配符表達,例如以類似 /d*ms 的形式屏蔽。欄目分頁若存在重複首頁鏈接,可屏蔽帶分頁參數的頁面,只保留規範首頁。
配置前應確認目錄權限與站點結構,後台目錄命名避免與其他目錄混淆。完成後,建議使用站長工具測試 robots 是否生效,並定期檢查抓取狀態。