DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> HTML基礎知識 >> HTML和Xhtml
robots.txt 設定與搜尋引擎抓取規則
編輯:HTML和Xhtml     

robots.txt 是放在網站根目錄的文字檔,用來告訴搜尋機器人哪些路徑可抓取、哪些不可抓取。當機器人拜訪網站時,通常會先讀取這個檔案。

基本寫法如 User-agent: * 與 Disallow: 可允許所有機器人;若要禁止全部抓取,可寫成 Disallow: /。此外,頁面也可使用 meta robots 控制單頁索引與跟隨。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved