DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO進階教程
什麼是搜索引擎蜘蛛
編輯:SEO進階教程     

搜索引擎蜘蛛,是一個自動抓取互聯網網頁內容的程序,每個搜索引擎都有屬於自己的蜘蛛。它也被稱為搜索引擎爬蟲或搜索引擎 robot。

國內各大搜索引擎的蜘蛛名稱如下:

  • 百度:百度 spider
  • 谷歌:googlebot
  • 搜狗:sogou spider
  • 搜搜:Sosospider
  • 360 搜索:360Spider
  • 有道:YodaoBot
  • 雅虎:YahooSlurp
  • 必應 / Msn:msnbot

如果你的網站不希望被某些蜘蛛抓取,可以通過 robots.txt 文件對爬蟲的抓取行為進行限制。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved