robots.txt是網站與爬蟲溝通的重要文件。雖然寫法看似簡單,但若配置不當,可能影響收錄、抓取與站點安全。以下六個細節值得注意。
一般情況下,robots.txt中一個user-agent記錄即可。若沒有特定需求,不必寫入多組規則,以免造成理解混亂。
多數蜘蛛會忽略大小寫,但為了兼容性,部分網站會針對不同蜘蛛分別配置。實際操作時應以清楚、可讀為原則。
順序可能影響匹配結果。若希望只允許某個文件被收錄,應把允許規則放在合適位置,避免被上層禁止規則提前攔截。
Disallow: / 代表禁止抓取所有內容。若缺少斜線,含義可能完全不同。配置前務必確認語法。
#符號通常表示注釋,可用於說明規則。但要避免在指令前多餘加入空格,否則部分爬蟲可能無法正確理解。
robots.txt不是越複雜越好,而是越清晰越好。站長應根據自身站點結構,寫出真正適用的規則。