答應寫這篇很久了。前幾天看到有人問起robots的相關問題,索性把常見用法一次整理清楚。
robots.txt放在網站根目錄,是爬蟲訪問站點時查看的第一個文件。當蜘蛛到達一個站,它會先檢查根目錄下有沒有這個文件:存在,就按裡面的規則決定抓取範圍;不存在,那麼所有未被密碼保護的頁面都會被視為可抓取。每個站都該有這份文件,它明確告訴搜尋引擎:哪些內容歡迎抓取,哪些不歡迎。
如果你的站純屬私人用途,不想被檢索到,可以全部擋掉:
User-agent:*
Disallow: /
例如只允許百度抓取:
User-agent: Baiduspider
Allow:
User-agent: *
Disallow: /
不想讓圖片被抓取時,可用通配符匹配副檔名:
User-agent: *
Disallow: /.bmp$
Disallow: /.jpg$
Disallow: /.gif$
Disallow: /.jpeg$
動態網址通常帶問號,可利用這個特徵匹配:
User-agent: *
Disallow: /*?*
例如ab目錄已隨改版刪除:
User-agent: *
Disallow: /ab/
ab目錄整體不開放,但裡面的cd可以抓:
User-agent: *
Disallow: /ab/
Allow:/ab/cd
sitemap:<網站地圖的位置>
這是常見誤解。蜘蛛是靠URL爬到頁面的,Google抓取這類URL時通常不帶標題和描述,而百度會帶上。所以你看到的往往是「抓取了這個鏈接,但沒有收錄頁面內容」,兩件事並不相同。設定生效了,只是表現形式和你想的不一樣。
最後說個底層邏輯:首頁權重最高,而權重靠鏈接傳遞。設定robots的真正目的,是把權重導引到真正需要它的頁面上,同時把不需要被索引的部分隔離出去。