DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt 的細節陷阱(下):大小寫、meta 與規則衝突
編輯:SEO優化集錦     

上一篇談完 robots 的六個基本細節——user-agent 數量、蜘蛛名稱大小寫、allow 與 disallow 的順序、反斜槓、註釋符號、多餘空格,這次把剩下的幾個容易踩雷的地方補完。

目錄與檔案名的大小寫

robots 協定本身忽略大小寫,但目錄與檔案名稱是大小寫敏感的。user-agent 和 Disallow 這兩個指令怎麼寫都可以,後面接的路徑卻必須精確。

也就是說,寫成 Disallow: /abc.htm,攔截的是 abc.htm 這個位址,而 Abc.htm 依然放行。在 IIS 這類對大小寫處理不一致的伺服器上,這個差異很容易造成該屏蔽的沒屏蔽、該收錄的沒收錄。

同類 meta 標籤會被累加

如果同一個頁面出現多個同類型的 meta 標籤,搜尋引擎會把內容合併取值,而不是只取其中一個。這在多人協作維護的大型站台上特別容易發生,最好定期檢查頁面原始碼。

參數衝突時取限制最強的

當 meta 標籤的值互相矛盾時,搜尋引擎會採納限制性最強的那一個作為最終結果。這類似於優先級規則。多數情況下可以事先避免,但頁面模板一改再改,很容易殘留多餘標籤。

robots.txt 與 meta 同時存在時

兩者衝突時,Google 會服從較嚴格的規則。如果 robots.txt 已經禁止抓取某個頁面,Google 根本不會進入,自然也就讀不到頁面上的 meta 標籤;反之,若 robots.txt 允許抓取而 meta 設為禁止,Google 會進入頁面、讀到 meta 後立即停止並不予索引。

這些細節單看都不難,但堆疊起來就足以讓收錄出現無解的異常。SEO 是個漫長的過程,願意把這些小地方一個個確認清楚,本身就是一種積累。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved