DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
ASP.NET 的 SEO 實戰:用 .ashx 動態產生 robots.txt,化解重複內容難題
編輯:SEO優化集錦     

當多個不同網址最終指向的頁面,內容卻大同小異,這種情況在搜尋領域被稱為「重複內容」。一旦站內此類頁面堆積過多,搜尋引擎對整體站點的評價就會隨之下降,認為它缺乏獨特價值。因此,如何系統性地收斂重複內容,是站長必須正視的功課。

動態網站的重複內容,多半源自 URL 參數。有意思的是,URL 重寫反而會讓問題變得更棘手。使用原始參數時,搜尋引擎往往能自行判斷出「這些頁面差異只在參數」,進而自動合併處理;可一旦把參數藏進重寫規則裡,這種線索就被掩蓋了。舉例來說:

重寫前的原始網址:
https://www.freeflying.com/articles.aspx?id=231&catelog=blog
https://www.freeflying.com/articles.aspx?id=231&catelog=news

重寫之後的網址:
https://www.freeflying.com/blog/231.html
https://www.freeflying.com/news/231.html

這兩個網址背後其實是同一篇 id=231 的文章,只是同時被 blog 與 news 兩個欄目引用。基於欄目規劃等現實考量,最終仍舊保留了兩條並存的路徑。

兩種處理思路

一是透過 robots 協議把其中一個網址「排除」在索引之外;二是用 301 永久重定向,把其中一個網址指向另一個。本文先談前者。

簡單說,robot 指的就是搜尋引擎的抓取程式,在 Google 體系裡我們習慣稱它為「蜘蛛(spider)」。蜘蛛相當有禮貌,抓取內容前會先來徵求你的意見,而溝通的語言就是 robots 協議。落地實作有兩種方式。

方式一:在根目錄放置 robots.txt

例如:

#static content, forbid all the pages under the "Admin" folder
User-agent: *
Disallow: /Admin

幾個要點:以 # 起頭的行是註解;User-agent 用來指定對象,* 代表所有搜尋引擎,也可以寫成 User-agent: googlebot 只針對單一引擎;Disallow 用來宣告禁止存取的目錄或頁面。特別注意兩件事:這份檔案是大小寫敏感的,而且路徑必須以「/」開頭,代表從站點根目錄起算。

更多 robots.txt 的細節,可參考 https://www.googlechinawebmaster.com/2008/03/robotstxt.html 。

方式二:用一般處理程序(.ashx)動態產生

那麼,能不能讓這份檔案依需求動態產生呢?直覺反應大概是檔案 I/O,在根目錄寫一個 txt 檔。但其實還有更漂亮的做法——一般處理程序:

<%@ WebHandler Language="C#" Class="Handler" %>

using System;
using System.Web;

public class Handler : IHttpHandler {
    public void ProcessRequest (HttpContext context) {
        HttpResponse response = context.Response;
        response.Clear();
        //response.ContentType = "text/plain"; 若要讓 IE6 直接檢視,這行需註解掉
        //以下兩句實務上應由資料庫動態產生
        response.Write("User-agent: * \n");
        response.Write("Disallow: /news/231.html \n");
        //載入靜態 robots 檔,存放固定不變的屏蔽規則
        response.WriteFile("~/static-robots.txt");
        response.Flush();
    }
    public bool IsReusable {
        get { return false; }
    }
}

一般處理程序實作了 IHttpHandler。前面談 URL 重寫時提過 HttpModule,其實 ASP.NET 的請求生命週期裡有個「管道(pipeline)」的概念:一個 HTTP 請求先經過一連串 HttpModule 的過濾與處理,最後抵達 HttpHandler 這個「處理器」,兩者合起來構成一條完整的管道。這個比喻相當傳神:

如果你對它還不熟悉,不妨翻開 Page 的原始碼,你會發現 Page 本身也實作了 IHttpHandler,這正是 *.aspx 成為最常見 HttpHandler 的原因。但 Page 不只是個 handler,它還包裝了一整套複雜的頁面生命週期事件。從節省資源的角度出發,許多時候我們其實可以改用自訂、更輕量的 *.ashx 來完成簡單任務。除了產生 txt,同樣的手法也能用來動態輸出驗證碼圖片、XML 檔等等。

接著還需要在 Global.asax 裡做一次導向:

    void Application_BeginRequest(object sender, EventArgs e)
    {
        HttpContext context = HttpContext.Current;
        string currentLocation = context.Request.Url.LocalPath;
        if (currentLocation.ToLower() == "/website1/robots.txt")
        {
            context.RewritePath("~/Handler.ashx");
        }
    }

如此一來,蜘蛛便會認為根目錄下確實存在一份 robots.txt。

方式三:頁面層級的 meta 標籤

在需要屏蔽的頁面 head 中加入:

<meta id="meta" name="robots" content="noindex,nofollow" />

noindex 表示該頁不應被建立索引;nofollow 表示不要沿著該頁的連結繼續「跟隨」抓取。靜態頁面直接寫死即可,若要動態產生也很容易:

    protected void Page_Load(object sender, EventArgs e)
    {
        HtmlMeta meta = new HtmlMeta();
        meta.Name = "robots";
        meta.Content = "noindex,nofollow";
        this.Header.Controls.Add(meta);
    }

同樣的寫法也能用來動態輸出 description、keywords 等 meta 資訊。

該怎麼選?

1. 優先採用 robots.txt。它能降低伺服器負載(幅度雖小),因為蜘蛛讀完 robots.txt 之後,根本不會再對被屏蔽的頁面發出請求;而 meta 方式必須先真的請求該頁,才判斷出不索引,這時 HTTP 請求已經消耗掉伺服器資源了。此外,meta 屏蔽用得太兇,也容易讓蜘蛛對站點留下負面印象,進而減少甚至放棄抓取。

2. 但 robots.txt 的比對是由左至右的字串匹配,沒有正則那種彈性。所以有些情境下不得不退回 meta 方案,例如本文開頭那兩個網址:

https://www.freeflying.com/blog/231.html
https://www.freeflying.com/news/231.html

最後幾個提醒

1. 別讓所有頁面共用同一組 keyword 與 description。這是很容易犯下的錯誤:articles.aspx 看似只有一個頁面,加上參數後卻會衍生出成千上萬個網址,若標籤寫死在版型裡,這成千上萬頁就會共用同一組關鍵詞與描述。

2. 盡量別依賴基於 URL 的 SessionID。ASP.NET 在客戶端停用 cookie 時可啟用這種模式,成果長得像這樣:

https://www.freeflying.com/(S(c3hvob55wirrndfd564))/articles.aspx

這類網址會製造出大量同內容的變體,顯然不利於索引集中。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved