搜索引擎蜘蛛,是一個自動抓取互聯網網頁內容的程序,每個搜索引擎都有屬於自己的蜘蛛。它也被稱為搜索引擎爬蟲或搜索引擎 robot。
國內各大搜索引擎的蜘蛛名稱如下:
如果你的網站不希望被某些蜘蛛抓取,可以通過 robots.txt 文件對爬蟲的抓取行為進行限制。