
robots.txt是搜索引擎訪問網站時要查看的第一個文件,它告訴蜘蛛程序伺服器上哪些內容是可以被抓取的。
當一個搜索蜘蛛拜訪某個站點時,它會先檢查該站根目錄下是否存在robots.txt:如果存在,搜索機器人就會依照文件中的規則來確定自己的抓取範圍;如果該文件不存在,那麼所有蜘蛛將能夠訪問網站上所有未被口令保護的頁面。
需要特別注意的是,robots.txt必須放置在站點的根目錄下,而且文件名必須全部小寫。正是這個小小的文本文件,在很大程度上決定著蜘蛛在你網站上的爬行邊界,是每個站長都應了解並善加利用的基礎配置。