robots.txt是一種抓取協議,用來告訴搜尋引擎哪些頁面可以抓取,哪些頁面不希望被抓取。當蜘蛛拜訪網站時,通常會先檢查這個檔案。
它的作用類似門口的提示牌,可引導搜尋引擎進入可公開的內容,並避免抓取部分大檔案或無意義頁面,進而節省資源與頻寬。
不過,robots.txt不是命令,也不是防火牆。它適合管理抓取範圍,但不能作為保護機密資料的最終手段。