DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO高級教程
robots.txt是什麼?寫法與禁止收錄用法解析
編輯:SEO高級教程     

robots.txt 是放在網站根目錄的純文字檔案,用來告知搜尋引擎蜘蛛哪些內容可以抓取、哪些不建議抓取。它常被視為網站與爬蟲之間的溝通協議。

常見用途

可用來阻擋後台、暫存頁面、下載檔案或較大資源,節省抓取與頻寬負擔;也可用來排除不希望对外的路徑。若希望全站被收錄,則不一定要建立此檔案。

基本寫法

最常見的設定是透過 User-agent 指定蜘蛛,再用 Disallow 限制路徑。例如,若要禁止所有蜘蛛抓取全站,可將 Disallow 設為根目錄;若空白,則代表允許抓取。

補充標籤

除了 robots.txt,頁面也可使用 meta robots 標籤控制是否索引與跟隨連結。真正靈活運用這些工具,才能兼顧抓取效率與內容管理。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved