DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO相關 >> SEO技術
SEO實戰:手把手教你寫好robots.txt
編輯:SEO技術     

robots.txt 可以理解為你與搜索引擎之間約定的一套索引規則。藉由這份文件,搜索引擎便能清楚哪些文件允許被抓取、哪些被拒絕索引,從而能讓我們從容地掌控站點內容的收錄範圍。

一、什麼是 robots.txt?

它是一個純文本文件,也是搜索引擎爬蟲訪問站點時優先查看的文件。你可以借此告知搜索引擎哪些文件可讀、哪些禁止。當搜索機器人(也稱搜索蜘蛛)造訪一個站點時,會先檢查根目錄下是否存在 robots.txt:有則依此確定抓取範圍,沒有則按鏈接順序抓取。

二、robots.txt 有何用處

我們之所以要用它勸阻機器人爬取部分網頁,是因為像後台管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表、模板文件、導航與背景圖片等等,即便被收錄,用戶也看不到,多數需要口令才能進入或純屬數據文件。既然如此,讓蜘蛛去爬這些內容無非是浪費服務器資源、加重服務器負擔。因此,用 robots.txt 引導機器人把精力集中到文章頁面上,既能提升收錄效率,也有助於改善用戶體驗。

1. 用 robots 屏蔽重複頁

不少網站為同一內容提供多種瀏覽版本,這對用戶固然方便,卻讓蜘蛛為難——它分不清哪個是主、哪個是次,一旦誤判你在惡意重複,後果就很嚴重。

User-agent: *

Disallow: /sitemap/ (禁止蜘蛛抓取文本網頁)

2. 用 robots 保護網站安全

有人會疑惑,robots 怎麼還和網站安全扯上關係了?其實關聯不小,不少初級黑客正是通過搜索默認後台登錄入口,進而入侵網站。

User-agent: *

Disallow: /admin/ (禁止蜘蛛抓取 admin 目錄下所有文件)

3. 防止盜鏈

一般盜鏈也就零星幾個,可一旦遭遇搜索引擎「盜鏈」,你 100M 寬帶也扛不住。如果你做的不是圖片站,又不想被搜索引擎「盜鏈」站點圖片,可以:

User-agent: *

Disallow: .jpg$

4. 提交網站地圖

如今做優化的人都知道要做網站地圖,卻很少有人真正去提交,多數只是隨手在網頁上加個鏈接。其實 robots 本身就支持這個功能:

Sitemap: https://bbs.moonseo.cn/sitemaps/sitemaps_1.xml

5. 禁止某二級域名被抓取

有些網站會為 VIP 會員提供特殊服務,卻不希望這部分內容被搜索引擎檢索到:

User-agent: *

Disallow: /

掌握這五招,你對搜索引擎蜘蛛的駕馭能力便會提升不少。正如百度所言:我們和搜索引擎本該是朋友,多一分溝通,才能少一分隔閡。

三、robots.txt 基本語法

1. 關鍵語法

a. User-agent: 應用下述規則的漫遊器,如 Googlebot、Baiduspider 等。

b. Disallow: 要攔截的網址,不允許機器人訪問。

c. Allow: 允許訪問的網址。

d. 「*」:通配符,匹配 0 或多個任意字符。

e. 「$」:匹配行結束符。

f. 「#」:註釋,用於說明,不寫也可。

g. Googlebot: 谷歌搜索機器人。

h. Baiduspider: 百度搜索機器人。

i. 目錄、網址的寫法:均以正斜線(/)開頭。

例如:

Disallow:/

Disallow:/images/

Disallow:/admin/

Disallow:/css/

2. 具體用法

a. 允許所有 robot 訪問:

User-agent: *

Disallow:

或者

User-agent: *

Allow: /

或者直接建一個空的 robots.txt 文件即可。

b. 僅禁止某個機器人訪問,如 Baiduspider:

User-agent: Baiduspider

Disallow: /

c. 僅允許某個機器人訪問,如 Baiduspider:

User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /

d. 禁止訪問特定目錄:

User-agent: *

Disallow: /admin/

Disallow: /css/

Disallow:

若要攔截所有包含問號(?)的網址(即域名開頭、後接任意字符串、再接問號、後又接任意字符串的網址),使用:

User-agent: Googlebot

Disallow: /*?

若要匹配某網址的結尾字符,用「$」。例如攔截所有以 .xls 結尾的網址:

User-agent: Googlebot

Disallow: /*.xls$

你也可以把這種模式匹配與 Allow 指令配合使用。例如「?」代表會話 ID,你可能想排除所有含「?」的網址,避免 Googlebot 抓取重複網頁;但以「?」結尾的網址又可能是你希望收錄的版本。此時可如此設置:

User-agent: *

Allow: /*?$

Disallow: /*?

其中,Disallow: /*? 會阻止所有含「?」的網址;而 Allow: /*?$ 則允許所有以「?」結尾的網址。

一般查看 robots.txt 的方法就是在主頁地址後加上 robots.txt,例如淘寶網的就是 https://www.taobao.com/robots.txt。請注意:只有當你的網站確有不希望被收錄的內容時,才需要使用 robots.txt;若你希望搜索引擎收錄全站內容,反而不要建立這個文件。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved