DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO基礎教程
網站加上robots.txt有什麼作用?
編輯:SEO基礎教程     

robots.txt是一種抓取協議,用來告訴搜尋引擎哪些頁面可以抓取,哪些頁面不希望被抓取。當蜘蛛拜訪網站時,通常會先檢查這個檔案。

它的作用類似門口的提示牌,可引導搜尋引擎進入可公開的內容,並避免抓取部分大檔案或無意義頁面,進而節省資源與頻寬。

不過,robots.txt不是命令,也不是防火牆。它適合管理抓取範圍,但不能作為保護機密資料的最終手段。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved