DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
用 robots.txt 與 Meta 標籤控制搜尋引擎的索引範圍
編輯:SEO優化集錦     

常被問到一個問題:搜尋引擎怎麼知道網站的哪些部分該出現在搜尋結果裡?站主能不能指定某些內容不要被搜尋?好消息是可以,而且方法不只一種。

robots.txt 是主角

這個純文字檔已經是業界標準多年,讓站主得以控制爬蟲的存取範圍,而且能做到不同層級的控制:整個網站、單一目錄、特定類型的頁面,或某個網頁。

運作原理是這樣的:搜尋引擎的電腦持續抓取網路上的站點,讀取每個頁面的內容並建立索引,這樣使用者查詢時才能拿到匹配的結果。一般來說你會希望爬蟲能進來,否則你的頁面不會被搜到。但有些內容你並不想被索引,例如內部日誌目錄,或需要付費才能閱讀的文章。這時只要在根目錄放一個名為 robots.txt 的檔案,列出不希望被抓取的頁面清單即可。

一個簡單的例子

User-Agent: Googlebot
Disallow: /logs/

User-Agent 行表示底下的規則只適用於指定的爬蟲;主要搜尋引擎都會讀取並遵守 robots.txt 中的指示,你也可以為不同引擎分別設定規則。Disallow 行則告訴爬蟲不要進入日誌子目錄,放在那裡的內容不會出現在搜尋結果中。

更精細的控制

除了用 robots.txt 一次為大批檔案下達簡潔指令,你還可以用 robots META 標籤精確控制單一頁面。做法是直接在該頁的 HTML 中加上指定標籤:

<html>
<head>
<meta name="googlebot" content="noindex">
...

這段程式碼會阻止該檔被索引。META 標籤特別有用的一點是:如果你只被允許編輯單一檔案,而無法改動全站的 robots.txt,它就是唯一可行的手段;同時它也讓你能逐頁設定較複雜的存取規則。

兩者搭配使用,就能相對從容地面對各種索引需求。更詳細的語法說明,可在各搜尋引擎的官方說明文件中查閱。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved