當多個不同網址最終指向的頁面,內容卻大同小異,這種情況在搜尋領域被稱為「重複內容」。一旦站內此類頁面堆積過多,搜尋引擎對整體站點的評價就會隨之下降,認為它缺乏獨特價值。因此,如何系統性地收斂重複內容,是站長必須正視的功課。
動態網站的重複內容,多半源自 URL 參數。有意思的是,URL 重寫反而會讓問題變得更棘手。使用原始參數時,搜尋引擎往往能自行判斷出「這些頁面差異只在參數」,進而自動合併處理;可一旦把參數藏進重寫規則裡,這種線索就被掩蓋了。舉例來說:
重寫前的原始網址:
https://www.freeflying.com/articles.aspx?id=231&catelog=blog
https://www.freeflying.com/articles.aspx?id=231&catelog=news
重寫之後的網址:
https://www.freeflying.com/blog/231.html
https://www.freeflying.com/news/231.html
這兩個網址背後其實是同一篇 id=231 的文章,只是同時被 blog 與 news 兩個欄目引用。基於欄目規劃等現實考量,最終仍舊保留了兩條並存的路徑。
一是透過 robots 協議把其中一個網址「排除」在索引之外;二是用 301 永久重定向,把其中一個網址指向另一個。本文先談前者。
簡單說,robot 指的就是搜尋引擎的抓取程式,在 Google 體系裡我們習慣稱它為「蜘蛛(spider)」。蜘蛛相當有禮貌,抓取內容前會先來徵求你的意見,而溝通的語言就是 robots 協議。落地實作有兩種方式。
例如:
#static content, forbid all the pages under the "Admin" folder
User-agent: *
Disallow: /Admin
幾個要點:以 # 起頭的行是註解;User-agent 用來指定對象,* 代表所有搜尋引擎,也可以寫成 User-agent: googlebot 只針對單一引擎;Disallow 用來宣告禁止存取的目錄或頁面。特別注意兩件事:這份檔案是大小寫敏感的,而且路徑必須以「/」開頭,代表從站點根目錄起算。
更多 robots.txt 的細節,可參考 https://www.googlechinawebmaster.com/2008/03/robotstxt.html 。
那麼,能不能讓這份檔案依需求動態產生呢?直覺反應大概是檔案 I/O,在根目錄寫一個 txt 檔。但其實還有更漂亮的做法——一般處理程序:
<%@ WebHandler Language="C#" Class="Handler" %>
using System;
using System.Web;
public class Handler : IHttpHandler {
public void ProcessRequest (HttpContext context) {
HttpResponse response = context.Response;
response.Clear();
//response.ContentType = "text/plain"; 若要讓 IE6 直接檢視,這行需註解掉
//以下兩句實務上應由資料庫動態產生
response.Write("User-agent: * \n");
response.Write("Disallow: /news/231.html \n");
//載入靜態 robots 檔,存放固定不變的屏蔽規則
response.WriteFile("~/static-robots.txt");
response.Flush();
}
public bool IsReusable {
get { return false; }
}
}
一般處理程序實作了 IHttpHandler。前面談 URL 重寫時提過 HttpModule,其實 ASP.NET 的請求生命週期裡有個「管道(pipeline)」的概念:一個 HTTP 請求先經過一連串 HttpModule 的過濾與處理,最後抵達 HttpHandler 這個「處理器」,兩者合起來構成一條完整的管道。這個比喻相當傳神:

如果你對它還不熟悉,不妨翻開 Page 的原始碼,你會發現 Page 本身也實作了 IHttpHandler,這正是 *.aspx 成為最常見 HttpHandler 的原因。但 Page 不只是個 handler,它還包裝了一整套複雜的頁面生命週期事件。從節省資源的角度出發,許多時候我們其實可以改用自訂、更輕量的 *.ashx 來完成簡單任務。除了產生 txt,同樣的手法也能用來動態輸出驗證碼圖片、XML 檔等等。
接著還需要在 Global.asax 裡做一次導向:
void Application_BeginRequest(object sender, EventArgs e)
{
HttpContext context = HttpContext.Current;
string currentLocation = context.Request.Url.LocalPath;
if (currentLocation.ToLower() == "/website1/robots.txt")
{
context.RewritePath("~/Handler.ashx");
}
}
如此一來,蜘蛛便會認為根目錄下確實存在一份 robots.txt。
在需要屏蔽的頁面 head 中加入:
<meta id="meta" name="robots" content="noindex,nofollow" />
noindex 表示該頁不應被建立索引;nofollow 表示不要沿著該頁的連結繼續「跟隨」抓取。靜態頁面直接寫死即可,若要動態產生也很容易:
protected void Page_Load(object sender, EventArgs e)
{
HtmlMeta meta = new HtmlMeta();
meta.Name = "robots";
meta.Content = "noindex,nofollow";
this.Header.Controls.Add(meta);
}
同樣的寫法也能用來動態輸出 description、keywords 等 meta 資訊。
1. 優先採用 robots.txt。它能降低伺服器負載(幅度雖小),因為蜘蛛讀完 robots.txt 之後,根本不會再對被屏蔽的頁面發出請求;而 meta 方式必須先真的請求該頁,才判斷出不索引,這時 HTTP 請求已經消耗掉伺服器資源了。此外,meta 屏蔽用得太兇,也容易讓蜘蛛對站點留下負面印象,進而減少甚至放棄抓取。
2. 但 robots.txt 的比對是由左至右的字串匹配,沒有正則那種彈性。所以有些情境下不得不退回 meta 方案,例如本文開頭那兩個網址:
https://www.freeflying.com/blog/231.html
https://www.freeflying.com/news/231.html
1. 別讓所有頁面共用同一組 keyword 與 description。這是很容易犯下的錯誤:articles.aspx 看似只有一個頁面,加上參數後卻會衍生出成千上萬個網址,若標籤寫死在版型裡,這成千上萬頁就會共用同一組關鍵詞與描述。
2. 盡量別依賴基於 URL 的 SessionID。ASP.NET 在客戶端停用 cookie 時可啟用這種模式,成果長得像這樣:
https://www.freeflying.com/(S(c3hvob55wirrndfd564))/articles.aspx
這類網址會製造出大量同內容的變體,顯然不利於索引集中。