當搜尋引擎蜘蛛拜訪網站時,通常會先檢查根目錄是否有robots.txt。若存在,蜘蛛會依內容決定抓取範圍;若不存在,則可能抓取所有未被密碼保護的頁面。百度官方建議,只有在網站含有不希望被收錄的內容時,才需要建立robots.txt;若希望全站被收錄,則不必建立。
可以把網站想成一間旅館,robots.txt就像門口掛著的「請勿打擾」或「歡迎打掃」提示牌。它告訴搜尋引擎哪些區域可以參觀,哪些區域暫不開放。但它不是防火牆,也無法阻擋惡意入侵。