DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO技巧
robots.txt 怎麼寫?五分鐘搞懂語法與設定策略
編輯:SEO技巧     

對很多新手來說,robots.txt 是個看不懂的神秘檔案——不知道有什麼用,也不知道該怎麼寫。事實上,把它設定好能讓網站更快被收錄,是相當基礎卻常被忽略的一項優化。

一、它是什麼

robots.txt 是一種協定。所有搜尋引擎的爬蟲進入你的網站時,第一個讀取的就是這個檔案。它的作用只有一句話:告訴爬蟲哪些路徑可以抓、哪些路徑不要抓。

二、四個基本指令

User-agent:  定義適用的爬蟲類型
Disallow:    定義禁止抓取的路徑
Allow:       定義允許抓取的路徑
Crawl-delay: 定義抓取間隔

三、五個必須記住的寫作規則

  1. 每行規則的第一個英文字母必須大寫。
  2. 冒號只能使用英文半形冒號。
  3. 冒號後必須且只能跟一個空格。
  4. 注意大小寫,路徑比對是區分大小寫的。
  5. 路徑中只要包含該字串,整個路徑就會被屏蔽。

例如 Disallow: /t 會屏蔽所有包含「/t」的路徑——注意,這不只屏蔽 /tag/,凡是路徑裡出現 t 的都會中。這也是為什麼寫規則時要精確,別用太短的字串。

一個常見的正例寫法:

User-agent: *
Disallow: /admin/
Disallow: /data/
Disallow: /templets/
Allow: /uploads/
Sitemap: https://www.example.com/sitemap.xml

寫錯 robots.txt 的後果不輕:輕則排名下滑,重則整站從索引中消失。這份檔案值得多花五分鐘確認。

四、為什麼它值得認真設定

1. 屏蔽低品質重複頁面。網路上每天有大量自動生成或低品質的內容產生。這些頁面若被抓取,只會與既有內容高度重複,對索引品質沒有幫助。用 robots.txt 把它們擋掉,能讓爬蟲把抓取預算留給真正重要的頁面。

2. 屏蔽樣板與樣式目錄。搜尋引擎重視原創,而這裡的「原創」不只指文章,也包括模板。若你的站是套用現成模板,建議把 css、模板目錄一并屏蔽,避免被抓取歸檔。

3. 屏蔽後台與敏感目錄。後台頁面、圖片目錄、資料庫備份檔這類內容,對搜尋引擎沒有價值,從網站安全角度也應該屏蔽。更嚴謹的做法是先改掉這些目錄的預設名稱,再用 robots.txt 屏蔽。

4. 屏蔽改版後的死連結。網站改版或大量刪除連結後,產生的舊路徑必須屏蔽。這樣搜尋引擎不會誤判你的站存在大量死連結;同時把死連結清單提交給站長平台,讓它明確知道這些頁面已經作廢。

5. 提升抓取效率。回到最開始那句話——robots.txt 的作用是指引爬蟲。它的邏輯與內部連結佈局其實相似:讓爬蟲清楚知道哪些內容才是重點,不要把抓取資源浪費在無意義的頁面上。

結語

robots.txt 看似只是優化中的一個小細節,但設定得好不好,會直接反映在收錄效率上。把每個環節都做扎實,搜尋引擎才有足夠理由給你的站點一個好位置。

設定後請務必用站長平台的 robots 測試工具驗證一次,確認沒有誤屏蔽重要目錄。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved