先說清楚 robots.txt 是什麼:它是搜尋引擎拜訪網站時會查看的第一個檔案,用來告訴蜘蛛伺服器上哪些內容可以被讀取。
當搜尋蜘蛛造訪一個站點,它會先檢查根目錄下是否存在 robots.txt。如果存在,蜘蛛就依檔案內容決定抓取範圍;如果不存在,所有蜘蛛都能訪問站上沒有密碼保護的頁面。另外要記住:這個檔案必須放在站點根目錄。
想直接看範例的話,可以參考幾家大型網站的寫法:
https://www.google.com/robots.txt
https://www.baidu.com/robots.txt
https://www.qq.com/robots.txt
了解之後,它能幫你做什麼?
搜尋引擎收錄網頁後會做「審核」,當兩頁相似度過高,通常只會保留其中一個,同時對站點評價扣分。
假設這兩個連結內容幾乎一樣:
/XXX?123
/123.html
那麼第一個就該被屏蔽。這類帶參數的網址往往成千上萬,好消息是不必逐一列舉——只要屏蔽前綴即可:
Disallow: /XXX?
同理,沒有實質內容的頁面也能用相同方式處理。
站內常有兩個不同網址指向同一頁,這會降低搜尋引擎對站點的友善度評價。避免方式就是把非主要入口屏蔽掉,一般保留 HTML、htm、shtml 這類靜態形式:
Disallow: /OOO?123
死連結指的是曾經存在、因改版等原因失效的頁面——看起來正常,點下去卻打不開。
例如原本 /seo/ 目錄下的所有連結因為目錄調整全部失效,就可以這樣處理:
Disallow: /seo/
用 robots.txt 直接宣告 sitemap 位址,不必在網站上加任何可見連結:
Sitemap: 你的 sitemap 網址
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback/
Sitemap: https://rainjer.com/sitemap.xml
以上就是 robots.txt 的基本用法。一個健康的網站通常都有一份寫得清楚的 robots.txt,因為它是搜尋引擎理解你站點的第一個入口。若想更深入了解,可以查閱百度與谷歌官方提供的說明文件。