DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO基礎教程
robots.txt 怎麼寫?語法規則與五個該屏蔽的目錄一次講透
編輯:SEO基礎教程     

對很多新手來說,robots 檔是個看不懂的神秘檔案:不知道它有何用、也不知道該怎麼寫。實際上,寫好 robots 能讓網站更快被收錄,進而更快取得排名,是 SEO 中相當關鍵的一大利器。

它是做什麼的

robots 檔本質上是一種協議。所有搜尋引擎的爬蟲進入你的網站時,最先訪問的就是這個檔案。它的作用可以一句話概括:告訴爬蟲哪些路徑可以抓取、哪些路徑不能抓取。

四個基本指令

  • User-agent:定義適用的搜尋引擎類型。
  • Disallow:定義禁止抓取的位址。
  • Allow:定義允許抓取的位址。
  • Crawl-delay:定義抓取延遲秒數。

五條必須牢記的書寫規則

  • 每行規則的第一個英文字母必須大寫。
  • 規則中的冒號只能使用英文半形冒號。
  • 冒號後必須且只能跟隨一個空格。
  • 路徑部分需注意大小寫區分。
  • 路徑中只要包含該關鍵詞,整個路徑就會被屏蔽。

最後一點特別容易誤傷。例如寫成 Disallow: /t,代表屏蔽站內所有包含「/t」的路徑——像 /tools/、/tags/ 這種不以 t 開頭但內含 t 的目錄,都會被一併擋掉。因此規則寫完務必逐條驗證,一個錯誤的 robots 檔,輕則排名下滑,重則整站從索引中消失。

為什麼它對優化這麼重要

屏蔽低品質與重複頁面

網路上每天有大量內容被發布,搜尋引擎只能透過內容本身判斷品質。有些人為了省工,用工具自動生成文章,效率確實高,但爬蟲抓取後與既有資料比對,相似度過高、頁面價值低,就不會被收錄。既然已收錄的頁面品質更好,就沒理由再收進一批更差的。用 robots 把這些無用且大量重複的路徑擋掉,是合理的做法。

屏蔽模板與樣式目錄

搜尋引擎偏愛原創內容,而這裡的「原創」不只指文章,也包含網站模板。如果站點是直接套用的公開模板,建議用 robots 把 CSS 目錄與模板目錄一併屏蔽,避免被抓取判定為重複內容。

屏蔽後台與隱私目錄

後台頁面、圖片目錄、資料庫備份等隱私路徑,建議一起屏蔽。一方面這些內容對搜尋引擎沒有價值,另一方面從安全角度出發,把敏感路徑改掉並屏蔽,能降低被入侵的風險。

屏蔽改版後的死鏈

網站改版或刪除垃圾連結後留下的頁面,一定要處理。只有把這些路徑屏蔽並主動提交給搜尋引擎,才不會被算成大量死鏈。實務上的做法是:屏蔽路徑、製作 404 頁面、再把死鏈清單提交至站長平台。

提升抓取效率

回到最初那句話——robots 的作用是指引爬蟲。透過這個檔案,能讓爬蟲把有限的抓取配額集中到真正重要的頁面上,原理與內鏈布局相似:都是在告訴搜尋引擎「哪些才是這個站最重要的內容」,而不是把資源浪費在無用頁面上。

寫完之後一定要驗證

robots 的設定雖是優化中的一個細節,但設定好壞會直接影響整體成效。建議每次修改後,都到站長平台的 robots 測試工具跑一遍,確認鎖定的路徑與預期一致,並留意是否有重要目錄被誤鎖。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved