搜尋引擎蜘蛛,也稱爬蟲或Robot,是搜尋引擎用來抓取網頁內容的程式。若網站沒有被蜘蛛訪問,內容就很難被收錄,因此了解蜘蛛行為對SEO很重要。
常見蜘蛛名稱包括Googlebot、Baiduspider、Yahoo Slurp、YodaoBot、sogou spider與Msnbot等。站長可以透過伺服器日誌觀察蜘蛛抓取頻率、抓取頁面與狀態碼,進而判斷網站健康度。