在編寫 robots.txt 協定檔時,有一個常被忽略卻十分關鍵的細節:Disallow 與 Allow 這兩類規則的「先後順序」會直接影響搜尋引擎蜘蛛的判斷結果。蜘蛛在讀取檔案時,會採用「第一條命中即停止」的邏輯,也就是說,只要有一條 Allow 或 Disallow 規則率先匹配上某個網址,它就會依據那條規則決定是否放行,後續寫了什麼都不再理會。
用一個例子說明:
假設我們希望蜘蛛能夠進入 /cgi-bin/ 目錄下、路徑中含有 see 的資料夾或網址,可以這樣寫:
User-agent: *
Allow: /cgi-bin/see
Disallow: /cgi-bin/
由於 Allow 規則寫在前面,蜘蛛會先命中 /cgi-bin/see 而獲得通行權。
然而,一旦把兩行對調:
User-agent: *
Disallow: /cgi-bin/
Allow: /cgi-bin/see
結果就完全相反了。蜘蛛最先匹配到的是 Disallow: /cgi-bin/,於是整個 /cgi-bin/ 目錄(包含 see 相關的內容)都被一併封鎖,後面的 Allow 規則形同虛設。
關於 Disallow 與 Allow 的寫法補充
這兩類規則後面既可以填寫一條完整路徑,也可以只寫路徑的非空前綴,而前綴的精確程度會帶來截然不同的效果。舉例來說,「Disallow: /help」會一併禁止蜘蛛訪問 /help.html、/helpabc.html 以及 /help/index.html;但如果改成「Disallow:/help/」,那麼 /help.html 與 /helpabc.html 反而得以放行,僅有 /help/index.html 被擋下。可見一個斜線之差,就能讓規則的作用範圍天差地別。