DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt 入門指南:網站與搜尋引擎的規則協定
編輯:SEO優化集錦     

robots.txt 是網站與搜尋引擎蜘蛛溝通的基礎協定。蜘蛛造訪網站時,會先檢查根目錄是否存在這個檔案;若存在,便依指示決定抓取範圍,若不存在,則可能沿連結自行抓取。

使用時務必將檔案放在網站根目錄,檔名需全小寫,且冒號要使用英文格式。User-agent 用來指定蜘蛛名稱,例如「User-agent:*」代表所有蜘蛛;Disallow 則用來限制不希望被抓取的目錄或路徑。

常見寫法包括禁止全部抓取、允許全部抓取、僅限制特定蜘蛛,或禁止特定目錄與檔案類型。例如要禁止某目錄,可寫成「Disallow: /admin/」;若要放行某頁面,可搭配 Allow 使用。初學者應先理解基本語法,再逐步調整規則,避免誤將重要內容擋住。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved