
robots.txt 可以理解為你與搜索引擎之間約定的一套索引規則。藉由這份文件,搜索引擎便能清楚哪些文件允許被抓取、哪些被拒絕索引,從而能讓我們從容地掌控站點內容的收錄範圍。
它是一個純文本文件,也是搜索引擎爬蟲訪問站點時優先查看的文件。你可以借此告知搜索引擎哪些文件可讀、哪些禁止。當搜索機器人(也稱搜索蜘蛛)造訪一個站點時,會先檢查根目錄下是否存在 robots.txt:有則依此確定抓取範圍,沒有則按鏈接順序抓取。
我們之所以要用它勸阻機器人爬取部分網頁,是因為像後台管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表、模板文件、導航與背景圖片等等,即便被收錄,用戶也看不到,多數需要口令才能進入或純屬數據文件。既然如此,讓蜘蛛去爬這些內容無非是浪費服務器資源、加重服務器負擔。因此,用 robots.txt 引導機器人把精力集中到文章頁面上,既能提升收錄效率,也有助於改善用戶體驗。
1. 用 robots 屏蔽重複頁
不少網站為同一內容提供多種瀏覽版本,這對用戶固然方便,卻讓蜘蛛為難——它分不清哪個是主、哪個是次,一旦誤判你在惡意重複,後果就很嚴重。
User-agent: *
Disallow: /sitemap/ (禁止蜘蛛抓取文本網頁)
2. 用 robots 保護網站安全
有人會疑惑,robots 怎麼還和網站安全扯上關係了?其實關聯不小,不少初級黑客正是通過搜索默認後台登錄入口,進而入侵網站。
User-agent: *
Disallow: /admin/ (禁止蜘蛛抓取 admin 目錄下所有文件)
3. 防止盜鏈
一般盜鏈也就零星幾個,可一旦遭遇搜索引擎「盜鏈」,你 100M 寬帶也扛不住。如果你做的不是圖片站,又不想被搜索引擎「盜鏈」站點圖片,可以:
User-agent: *
Disallow: .jpg$
4. 提交網站地圖
如今做優化的人都知道要做網站地圖,卻很少有人真正去提交,多數只是隨手在網頁上加個鏈接。其實 robots 本身就支持這個功能:
Sitemap: https://bbs.moonseo.cn/sitemaps/sitemaps_1.xml
5. 禁止某二級域名被抓取
有些網站會為 VIP 會員提供特殊服務,卻不希望這部分內容被搜索引擎檢索到:
User-agent: *
Disallow: /
掌握這五招,你對搜索引擎蜘蛛的駕馭能力便會提升不少。正如百度所言:我們和搜索引擎本該是朋友,多一分溝通,才能少一分隔閡。
1. 關鍵語法
a. User-agent: 應用下述規則的漫遊器,如 Googlebot、Baiduspider 等。
b. Disallow: 要攔截的網址,不允許機器人訪問。
c. Allow: 允許訪問的網址。
d. 「*」:通配符,匹配 0 或多個任意字符。
e. 「$」:匹配行結束符。
f. 「#」:註釋,用於說明,不寫也可。
g. Googlebot: 谷歌搜索機器人。
h. Baiduspider: 百度搜索機器人。
i. 目錄、網址的寫法:均以正斜線(/)開頭。
例如:
Disallow:/
Disallow:/images/
Disallow:/admin/
Disallow:/css/
2. 具體用法
a. 允許所有 robot 訪問:
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者直接建一個空的 robots.txt 文件即可。
b. 僅禁止某個機器人訪問,如 Baiduspider:
User-agent: Baiduspider
Disallow: /
c. 僅允許某個機器人訪問,如 Baiduspider:
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
d. 禁止訪問特定目錄:
User-agent: *
Disallow: /admin/
Disallow: /css/
Disallow:
若要攔截所有包含問號(?)的網址(即域名開頭、後接任意字符串、再接問號、後又接任意字符串的網址),使用:
User-agent: Googlebot
Disallow: /*?
若要匹配某網址的結尾字符,用「$」。例如攔截所有以 .xls 結尾的網址:
User-agent: Googlebot
Disallow: /*.xls$
你也可以把這種模式匹配與 Allow 指令配合使用。例如「?」代表會話 ID,你可能想排除所有含「?」的網址,避免 Googlebot 抓取重複網頁;但以「?」結尾的網址又可能是你希望收錄的版本。此時可如此設置:
User-agent: *
Allow: /*?$
Disallow: /*?
其中,Disallow: /*? 會阻止所有含「?」的網址;而 Allow: /*?$ 則允許所有以「?」結尾的網址。
一般查看 robots.txt 的方法就是在主頁地址後加上 robots.txt,例如淘寶網的就是 https://www.taobao.com/robots.txt。請注意:只有當你的網站確有不希望被收錄的內容時,才需要使用 robots.txt;若你希望搜索引擎收錄全站內容,反而不要建立這個文件。