谷歌等搜索引擎有個老大難問題,它們稱之為「重複內容」——當你的同一份內容展示在網站多個不同頁面上時,它們就不知道該展示哪個地址。尤其是當人們紛紛鏈向你各個不同版本的內容時,重複內容問題會變得更加棘手。本文旨在幫你理清造成重複內容的種種原因,並逐一找出對應的解法。
1、對URL概念的誤解
2、Session ID
3、URL跟蹤參數
4、內容搜刮與內容聚合
5、參數順序
6、評論分頁
7、打印頁面
8、www與非www
1、識別重複內容
2、借助谷歌網站管理員工具
3、用搜索指令查詢title
1、避免重複內容
2、301重定向
3、使用rel="canonical"標籤
4、鏈向原始內容
總結:重複內容既能解決,也應該解決。
你可以把重複內容想象成站在一個十字路口,路標上有兩個不同方向都指向同一個目的地——究竟該走哪一條?更糟的是,當你的目的地並不一致時,情況會雪上加霜。作為讀者,不會在意內容從哪兒來;但搜索引擎卻不得不挑選一個展示在結果中,因為它們不願把同樣的內容呈現兩次。
比方說,關於關鍵詞X的內容展示在 https://www.example.com/keyword-x/ 這個URL上,同樣的內容又出現在 https://www.example.com/article-category/keyword-x/ 上——這種情況可不是虛構,很多CMS系統都存在這個問題。假如文章已被網友收藏轉載,有人鏈向你的第一個URL,有人鏈向第二個,重複內容問題就來了。反之,如果所有關於這個關鍵詞的鏈接都指向同一個URL,關鍵詞排上首頁的概率就會高很多。
導致重複內容的因素有很多,絕大多數都是技術性的。一個人主動把同樣的內容放到兩個地方、又不指明原始出處,這種情況其實不常見,多數人反倒會覺得彆扭。技術上的理由往往很充分:問題的根源,通常是程序員沒有站在瀏覽器或用戶的角度,也沒考慮搜索引擎蜘蛛,只按程序員的思維行事。就拿前面那篇文章來說,它同時出現在兩個URL上,可你若去問程序員,他會理直氣壯地說「它只出現了一次啊」。
誤解URL的概念
那程序員是瘋了嗎?沒有,他只是和你說著「另一種語言」。你看到的整個網站,背後可能都是數據庫驅動的。在數據庫裡,那篇文章只有一篇,而網站程序允許它被多個不同URL訪問到——因為在程序員眼裡,唯一的標識是數據庫裡文章的唯一ID,而非URL。可對搜索引擎來說,URL才是一篇文章的唯一標識。當你這麼跟程序員解釋,他才會意識到問題所在,接著又會像大多數程序員那樣,反過來抱怨「搜索引擎怎麼這麼笨,為什麼它不解決這個問題」——於是又走向了另一種思維誤區。
Session ID
你常常想追蹤訪客的軌跡,比如記錄他們購物車裡的物品。要做到這一點,就得給他們一個session(會話)。session基本上就是訪客在你網站上的簡短歷史,可能包含購物車裡的商品等信息。為了讓訪客從一個頁面跳到另一個頁面時會話得以保持,就得把session存在某處。最常見的方案是cookies,然而搜索引擎通常不會存儲cookies。問題就出在這裡:一些網站系統會把session ID放進URL裡返回,於是站內每一條鏈接都被追加了唯一的session ID,生成一個又一個新URL,重複內容也就隨之產生了。
用於跟蹤和排序的URL參數
另一個引起重複內容的原因,是URL參數的使用。雖然參數並不改變頁面內容(比如用於跟蹤鏈接的參數),你會看到 https://www.example.com/keyword-x/ 和 https://www.example.com/keyword-x/?source=rss 對搜索引擎來說並非同一個URL。後者可能是為了讓你追蹤流量來源,卻會給排名帶來負面影響,效果適得其反。這不僅適用於跟蹤參數,也適用於任何附加在URL後、並不改變網頁實際內容的參數。凡是會改變產品排列順序、或展示另一個側邊欄的參數,都可能導致重複內容。
內容搜刮與內容聚合
雖然引起重複內容的原因大多出在你自己、或至少是你網站的疏漏上,但有時候是別的網站未經允許使用了你的內容。它們並不總是鏈向你的原文,搜索引擎無從辨別,只好去處理你文章的另一個版本。你的網站越來越受歡迎,遭遇的搜刮也會越來越多,問題便越發嚴重。
參數順序
另一個常見原因是CMS不使用簡潔乾淨的URL,而是採用諸如 /?id=1&cat=2 這樣的形式,其中id指示文章、cat指示分類。在大多數建站系統裡,/?cat=2&id=1 也會渲染出同樣的內容,但對搜索引擎來說,它們是完全不同的兩個URL。
評論分頁
在WordPress或其他程序裡,有個「評論分頁」選項。一旦開啟,文章內容就會在「文章本身的URL」以及「文章URL+/comment-page-1/、/comment-page-2/」等多處重複出現。
打印頁面
如果你的CMS會生成打印頁面,而且文章頁上還留有鏈接,那在大多數情況下谷歌都會發現這些頁面,除非你特別屏蔽。那谷歌究竟該展示哪個版本呢——一個帶廣告和周邊內容的頁面,還是一個只有正文的頁面?
WWW與非WWW
最後,帶www與不帶www的兩個版本,若沒有做統一處理,也會被搜索引擎當作兩個不同的站點,從而造成內容重複,同樣建議通過301重定向加以規範。