DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt 使用教學:網站優化的第一道閘門
編輯:SEO優化集錦     

先說清楚 robots.txt 是什麼:它是搜尋引擎拜訪網站時會查看的第一個檔案,用來告訴蜘蛛伺服器上哪些內容可以被讀取。

當搜尋蜘蛛造訪一個站點,它會先檢查根目錄下是否存在 robots.txt。如果存在,蜘蛛就依檔案內容決定抓取範圍;如果不存在,所有蜘蛛都能訪問站上沒有密碼保護的頁面。另外要記住:這個檔案必須放在站點根目錄。

想直接看範例的話,可以參考幾家大型網站的寫法:

https://www.google.com/robots.txt

https://www.baidu.com/robots.txt

https://www.qq.com/robots.txt

了解之後,它能幫你做什麼?

一、屏蔽相似度高的頁面

搜尋引擎收錄網頁後會做「審核」,當兩頁相似度過高,通常只會保留其中一個,同時對站點評價扣分。

假設這兩個連結內容幾乎一樣:

/XXX?123

/123.html

那麼第一個就該被屏蔽。這類帶參數的網址往往成千上萬,好消息是不必逐一列舉——只要屏蔽前綴即可:

Disallow: /XXX?

同理,沒有實質內容的頁面也能用相同方式處理。

二、屏蔽多餘連結,保留靜態網址

站內常有兩個不同網址指向同一頁,這會降低搜尋引擎對站點的友善度評價。避免方式就是把非主要入口屏蔽掉,一般保留 HTML、htm、shtml 這類靜態形式:

Disallow: /OOO?123

三、屏蔽死連結

死連結指的是曾經存在、因改版等原因失效的頁面——看起來正常,點下去卻打不開。

例如原本 /seo/ 目錄下的所有連結因為目錄調整全部失效,就可以這樣處理:

Disallow: /seo/

四、告訴搜尋引擎你的 sitemap 在哪

用 robots.txt 直接宣告 sitemap 位址,不必在網站上加任何可見連結:

Sitemap: 你的 sitemap 網址

一個適合 WordPress 的範例

User-agent: *

Disallow: /wp-

Disallow: /feed/

Disallow: /comments/feed

Disallow: /trackback/

Sitemap: https://rainjer.com/sitemap.xml

以上就是 robots.txt 的基本用法。一個健康的網站通常都有一份寫得清楚的 robots.txt,因為它是搜尋引擎理解你站點的第一個入口。若想更深入了解,可以查閱百度與谷歌官方提供的說明文件。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved