robots.txt是網站用來告知搜尋引擎哪些內容可被抓取、哪些內容應被忽略的純文字檔案。當它設定得當,可以減少無效抓取;但若設定錯誤,也可能導致重要頁面無法被收錄。
搜尋引擎會透過蜘蛛程式自動抓取網頁。網站可在根目錄建立robots.txt,並透過User-agent與Disallow等規則,指定不同搜尋引擎的抓取範圍。若設定為禁止某個目錄,理論上該目錄下的內容便不會被正常抓取。
不過,robots.txt的效果會因搜尋引擎、網址結構與頁面層級而異。例如,禁止某個目錄,可能只影響該目錄下的頁面,而不一定影響同名的檔案或其他子域名。
在一些討論中,外界會透過Disallow規則推測某個目錄是否被封鎖。若網站的主要首頁位於某個子目錄,而該目錄又被禁止抓取,就可能造成搜尋引擎無法取得核心頁面。
然而,判斷是否真的「有錯」,不能只看單一行規則,還要確認該目錄下是否存在可訪問的首頁、是否有其他入口、是否透過轉址處理,以及不同搜尋引擎的實際抓取情形。
有些網站會把首頁放在根目錄,有些則放在特定路徑。若robots.txt禁止的是目錄而非單一檔案,且該目錄沒有可讀首頁,就可能造成抓取異常。反之,若其他入口仍可正常訪問,影響可能沒有想像中大。
因此,檢視robots.txt時,應同時查看伺服器狀態、網址結構與搜尋引擎實際收錄結果。只有把技術規則與現場現象結合,才能做出較準確的判斷。