DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt文件是什麼?一圖看懂它的作用
編輯:SEO優化集錦     

robots.txt是搜索引擎訪問網站時要查看的第一個文件,它告訴蜘蛛程序伺服器上哪些內容是可以被抓取的。

當一個搜索蜘蛛拜訪某個站點時,它會先檢查該站根目錄下是否存在robots.txt:如果存在,搜索機器人就會依照文件中的規則來確定自己的抓取範圍;如果該文件不存在,那麼所有蜘蛛將能夠訪問網站上所有未被口令保護的頁面。

需要特別注意的是,robots.txt必須放置在站點的根目錄下,而且文件名必須全部小寫。正是這個小小的文本文件,在很大程度上決定著蜘蛛在你網站上的爬行邊界,是每個站長都應了解並善加利用的基礎配置。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved