站點能不能被收錄,除了看是否主動提交、是否與其他站交換鏈接,還要看根目錄下的 robots.txt 有沒有把蜘蛛擋在門外。這份文件寫錯,前面所有努力都白搭。以下把常用寫法和注意事項整理清楚。
搜尋引擎通過爬蟲程序(spider / robot)自動抓取網頁。基於安全與隱私考量,業界遵循 robots 協議:站點可以在根目錄放一個純文本文件 robots.txt,聲明哪些部分不希望被抓取。
當爬蟲訪問一個站點時,它會先檢查根目錄下是否存在這個文件。不存在,就沿著鏈接全站抓取;存在,就按文件中的規則確定訪問範圍。
兩個硬性要求:必須放在站點根目錄,文件名必須全部小寫。
只有三個核心指令:
User-agent: 定義適用的搜尋引擎類型
Disallow: 定義禁止收錄的地址
Allow: 定義允許收錄的地址
常見蜘蛛名稱:Googlebot(谷歌)、baiduspider(百度)、slurp(Yahoo / Inktomi)、ia_archiver(Alexa)、msnbot(MSN)、scooter(AltaVista)、fast-webcrawler(AllTheWeb)。
User-agent: * 中的星號是通配符,代表所有搜尋引擎。
Disallow: /admin/ 禁止抓取 admin 目錄下的全部內容
Disallow: /ABC 禁止抓取整個 ABC 目錄
Disallow: /cgi-bin/*.htm 禁止訪問 /cgi-bin/ 及其子目錄下所有以 .htm 結尾的 URL
Disallow: /*?* 禁止訪問站內所有帶參數的動態頁面
Disallow: *.jpg$ 禁止抓取所有 jpg 格式圖片
Disallow: /ab/adc.html 禁止抓取該具體文件
Allow 的用法完全對稱:Allow: /cgi-bin/ 允許抓取該目錄,Allow: *.htm$ 僅允許以 .htm 結尾的 URL。
禁止所有搜尋引擎訪問全站:
User-agent: *
Disallow: /
允許所有爬蟲(或建一個空的 robots.txt):
User-agent: *
Disallow:
只允許特定蜘蛛:先針對該蜘蛛單獨寫一組 Allow 規則,再用 User-agent: * 配 Disallow: / 攔截其餘。注意 Googlebot 只跟隨指向自己名稱的那幾行,不會理的通用規則。
禁止多個目錄:每個目錄必須分開聲明,不能寫成 Disallow: /cgi-bin/ /tmp/。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
另外,當文件中出現 User-agent: * 時,不應再出現 Disallow: /tmp/* 或 Disallow: *.gif 這類寫法。
用 * 匹配字符序列:攔截所有以 private 開頭的目錄,寫 Disallow: /private*/;攔截所有含問號的網址,寫 Disallow: /*?*。
用 $ 匹配結尾:攔截以 .asp 結尾的網址,寫 Disallow: /*.asp$。
Allow 與 Disallow 組合:若問號代表會話 ID,可排除所有含該參數的網址以避免重複抓取,同時保留以問號結尾的版本:
User-agent: *
Allow: /*?$
Disallow: /*?
前者允許所有以問號結尾的網址,後者攔截其餘含問號的網址。
robots.txt 管的是整站或目錄級別,而 Robots Meta 標籤針對單個具體頁面,放在頁面 head 中。寫法為 <meta name="Robots" content="...">,name 不區分大小寫,寫 "Robots" 代表所有搜尋引擎,也可指定為 "BaiduSpider"。
content 有四個指令:index(抓取該頁)、noindex(不抓取)、follow(沿鏈接繼續抓取)、nofollow(不跟隨鏈接)。預設值是 index 和 follow。
需要清楚的是:這兩種手段本質上都是「君子協議」,依賴搜尋引擎自覺遵守,並非強制技術封鎖。目前絕大多數主流蜘蛛都遵守 robots.txt,而對 Meta 標籤的支持相對有限,不過正在逐步增加。此外 Google 還擴展了一個 archive 指令,可用來控制是否保留快照。
現在可以直接在 robots.txt 中聲明 sitemap 位置:
Sitemap: https://www.example.com/sitemap.xml
支持這種方式的搜尋引擎包括 Google、Yahoo 與 MSN。不過更穩妥的做法,仍然是在各平台官方資源提交入口單獨提交一次,因為那裡通常還附帶鏈接狀態分析等實用功能。