DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt裡Disallow與Allow的排列次序為何至關重要
編輯:SEO優化集錦     

在編寫 robots.txt 協定檔時,有一個常被忽略卻十分關鍵的細節:Disallow 與 Allow 這兩類規則的「先後順序」會直接影響搜尋引擎蜘蛛的判斷結果。蜘蛛在讀取檔案時,會採用「第一條命中即停止」的邏輯,也就是說,只要有一條 Allow 或 Disallow 規則率先匹配上某個網址,它就會依據那條規則決定是否放行,後續寫了什麼都不再理會。

用一個例子說明:

假設我們希望蜘蛛能夠進入 /cgi-bin/ 目錄下、路徑中含有 see 的資料夾或網址,可以這樣寫:

User-agent: *

Allow: /cgi-bin/see

Disallow: /cgi-bin/

由於 Allow 規則寫在前面,蜘蛛會先命中 /cgi-bin/see 而獲得通行權。

然而,一旦把兩行對調:

User-agent: *

Disallow: /cgi-bin/

Allow: /cgi-bin/see

結果就完全相反了。蜘蛛最先匹配到的是 Disallow: /cgi-bin/,於是整個 /cgi-bin/ 目錄(包含 see 相關的內容)都被一併封鎖,後面的 Allow 規則形同虛設。

關於 Disallow 與 Allow 的寫法補充

這兩類規則後面既可以填寫一條完整路徑,也可以只寫路徑的非空前綴,而前綴的精確程度會帶來截然不同的效果。舉例來說,「Disallow: /help」會一併禁止蜘蛛訪問 /help.html、/helpabc.html 以及 /help/index.html;但如果改成「Disallow:/help/」,那麼 /help.html 與 /helpabc.html 反而得以放行,僅有 /help/index.html 被擋下。可見一個斜線之差,就能讓規則的作用範圍天差地別。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved