DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO高級教程
SEO必備知識:Robots協議是什麼?怎麼設定才正確
編輯:SEO高級教程     

Robots協議簡介

當搜尋引擎蜘蛛拜訪網站時,通常會先檢查根目錄是否有robots.txt。若存在,蜘蛛會依內容決定抓取範圍;若不存在,則可能抓取所有未被密碼保護的頁面。百度官方建議,只有在網站含有不希望被收錄的內容時,才需要建立robots.txt;若希望全站被收錄,則不必建立。

形象比喻

可以把網站想成一間旅館,robots.txt就像門口掛著的「請勿打擾」或「歡迎打掃」提示牌。它告訴搜尋引擎哪些區域可以參觀,哪些區域暫不開放。但它不是防火牆,也無法阻擋惡意入侵。

建立原則與功能

  • 尊重資訊提供者與使用者隱私。
  • 告知搜尋引擎哪些頁面可抓取、哪些不可抓取。
  • 可減少圖片、音訊、視訊等大檔案被反覆抓取,節省頻寬。
  • 可輔助屏蔽死連結,並設定網站地圖路徑,引導蜘蛛抓取。
XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved