robots.txt 這個文件因為平時少被提及,又與用戶的直接瀏覽無關,常常遭到忽略。然而它與搜索引擎的關係其實至關重大——一旦疏忽,搜索引擎可能根本不收錄你的網站,此前的所有SEO心血都會付諸東流。下面,吉安SEO就帶你把 robots 文件徹底弄明白。
什麼是 robots.txt 文件?
吉安SEO:robots.txt 本質上是一份協議文件,以純文本形式放在網站根目錄下,作用是告訴互聯網上的網絡爬蟲哪些內容可以抓取。站長可以藉由它來指揮搜索引擎如何爬取自己的站點,例如哪部分允許收錄、哪部分需要保密。
問題在於,有些網站後台程序自動生成的 robots.txt,會把互聯網上的所有機器人一併屏蔽,其中自然也包含了各大搜索引擎。
如何檢查 robots.txt 文件?
檢查方法很簡單,由於它位於域名根目錄,只要在瀏覽器地址欄輸入「你的域名+/robots.txt」即可查看。
如果返回 404 錯誤,
說明網站並沒有 robots 協議文件,此時默認允許所有搜索引擎訪問收錄;
如果出現:
User-agent: *
Disallow: /
那就意味著你的網站正在禁止所有搜索引擎訪問收錄任何頁面。
如何使用 robots.txt 文件?
編寫之前,有幾點必須牢記,否則可能無法生效:
►robots.txt 文件必須放在網站根目錄下。
►文件名必須全部小寫。
►所有標點符號都要使用英文格式。
1. 若想讓搜索引擎收錄全部網頁:
不設 robots.txt 文件:沒有該文件時,默認抓取收錄所有網頁。
設置一個空白的 robots.txt 文件:同樣默認收錄所有頁面。
或在文件中編寫:
User-agent: *
Disallow:
(其中 User-agent: * 代表所有搜索引擎,Disallow: 後不填內容表示沒有禁止收錄的網頁)
2. robots.txt 指令說明:
User-agent: 後面填寫要指示的搜索引擎名稱(填「*」代表所有搜索引擎)。
這裡列出谷歌的不同爬蟲名稱:
Googlebot:谷歌網頁爬蟲
Googlebot-news:谷歌新聞爬蟲
Googlebot-image:谷歌圖片爬蟲
Googlebot-video:谷歌視頻爬蟲
Googlebot-mobile:谷歌移動爬蟲
Mediapartners-google 或 Mediapartners(googlebot):谷歌廣告爬蟲。
Disallow: 後面填寫禁止收錄的內容(填的是路徑而非完整網址,例如想禁止收錄照片目錄,就寫 Disallow: /photos)。
舉例:
「Disallow: /」禁止收錄所有頁面。
「Disallow: /*?*」禁止收錄所有動態頁面。
「Disallow: .png$」禁止收錄 png 格式圖片。
robots.txt 實用技巧
以下幾類頁面通常都應屏蔽:
屏蔽站點中自動生成的類似「搜索結果頁」這種對用戶毫無價值的頁面。用戶每次搜索都會生成新的結果頁,這些頁面充斥大量重複內容,若不屏蔽,搜索引擎會判定你的站點存在大量重複頁,進而拖累權重。
屏蔽因某種原因而保留的內容重複頁,搜索引擎向來不看好大量複製的頁面,這類重複內容同樣需要屏蔽。
此外,還應屏蔽那些主要由附屬數據庫拼湊而成的頁面。這些信息並非網站原創,而是從外部資源引入,無法保證準確性,理應屏蔽。
想了解更多SEO優化乾貨,敬請關注吉安SEO:https://www.jaseo6.com