Robots協議是網站與搜索引擎蜘蛛溝通的重要方式。透過合理設定,可以引導蜘蛛抓取重要內容,避免其浪費資源在無意義頁面上。
例如,若希望只允許特定蜘蛛訪問,可先對所有蜘蛛設定禁止規則,再針對允許的蜘蛛單獨開放:
User-agent:*
Disallow:/
User-agent:Googlebot
Disallow:
另外,要注意目錄寫法的差異。Disallow:/folder/ 通常表示攔截該目錄下的內容,而 Disallow:/folder 的匹配範圍可能更廣。若網站有偽靜態頁面,也要避免動態與靜態內容重複被抓取。
此外,可善用星號匹配任意字元,或用美元符號匹配網址結尾。例如限制某些動態參數或特定副檔名,都能讓抓取更精準。
Robots.txt 不是越複雜越好,而是要符合網站實際結構。寫得清楚、準確,才能讓蜘蛛把時間花在真正有價值的頁面上。