DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> CSS入門知識 >> CSS進階教程
揭開搜尋引擎蜘蛛人(Robot)的秘密
編輯:CSS進階教程     

揭開搜尋引擎蜘蛛人(Robot)的秘密

搜尋引擎都擁有各自的「搜尋機器人」(Robot),它們沿著網頁上的連結不斷抓取資料,建立自己的索引資料庫。然而,網站管理者有時會有不想被公開抓取的內容,這時就必須透過特定機制來告知 Robot。

robots.txt 是什麼?

robots.txt 是一個純文字檔,透過在檔案中宣告網站中不希望被 Robot 拜訪的部分,就能讓該網站的部分或全部內容不被搜尋引擎收錄,或反过来指定只收錄特定內容。當 Robot 拜訪一個站點時,會先檢查根目錄下是否存在 robots.txt,若有則依內容決定抓取範圍。這個檔案必須放在網站根目錄下,且檔名須全部小寫。

語法結構

檔案由一條或多條記錄組成,每條記錄以空行分隔,格式為「欄位:值」。主要包含兩種欄位:

  • User-agent:描述 Robot 的名稱,設為 * 時對所有機器人有效。
  • Disallow:描述不希望被拜訪的 URL 路徑,可為完整或部分路徑。

常見用法

  • 禁止所有搜尋引擎抓取全站:User-agent: * 搭配 Disallow: /。
  • 允許所有 Robot:設一條空的 Disallow,或直接建立一個空的 robots.txt。
  • 禁止特定目錄:分別列出 Disallow: /cgi-bin/、Disallow: /tmp/ 等。
  • 只允許特定 Robot:先為該 Robot 設允許規則,再用 User-agent: * 搭配 Disallow: / 封鎖其餘。

常見錯誤

最典型的錯誤是把順序顛倒——例如寫成 User-agent: * 卻接著 Disallow: GoogleBot,正確的應是把要限制的名稱放在 User-agent、把 * 放在特定規則之下。另一個錯誤是把多個禁止路徑寫在同一行,而正確做法是每個路徑各自一行。

常見的搜尋引擎 Robot 名稱包括 Baiduspider、Googlebot、MSNBOT、Slurp、Scooter 等,可作為進階設定時的參考。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved