DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
過濾條件產生的無效URL,怎麼擋住蜘蛛
編輯:SEO優化集錦     

雲晨守望同學貼了個帖子:透過京東商城看國內一線B2C網站SEO通病。建議先看那篇再回來看這裡,不然不容易明白下文。

問題很現實:很多網站,尤其是B2C,產品的條件過濾系統(按品牌、價格、尺寸、性能、參數篩選)會生成大量無效URL。所謂「無效」只是從SEO角度看——這些頁面產生不了正面作用,反倒有負面影響,不收錄反而更好。原因有五點:

1、大量過濾頁內容重複或極為相似,複製內容拉低整站質量;

2、大量過濾頁沒有對應產品,頁面近乎空白(比如「100元以下42寸LED電視」);

3、絕大部分過濾頁沒有排名能力,卻要消耗一定權重;

4、它們也不是產品頁收錄的必要通道,產品頁本該有其他內鏈幫助爬行;

5、爬大量過濾頁極大浪費蜘蛛時間,直接壓低有用頁面的收錄機會——這些頁面的組合數量驚人。

那怎麼讓它們不被爬、不被索引?可惜我目前想不出完美方案。雲晨守望提了兩招,我覺得都解決不徹底。

一是讓不想收錄的URL保持動態,甚至越動態越好。但搜索引擎現在爬動態URL毫無障礙,四五個參數通常照收,而且到底多少參數才會阻擋收錄無從確認,靠不住。加上這些URL還在接內鏈卻沒排名能力,權重照樣浪費。

二是robots禁止。同樣的問題:URL接收了內鏈就接收了權重,robots一禁,搜索引擎不爬,也就不知道它有哪些導出連結,頁面成了權重只進不出的黑洞。

給這些連結加nofollow也不完美。在谷歌的效果是這些URL不接收權重,但權重也沒有轉移到其他連結上,等於白白浪費。百度據稱支持nofollow,具體怎麼處理未知。

把連結藏進Flash或JS也沒用,搜索引擎早就能爬Flash、JS裡的連結,而且越來越擅長。很多SEO忽略了一點:JS裡的連結不僅能爬,也能傳遞權重,和正常連結一樣。

改成AJAX形式也不行。用戶點擊不跳新URL,只在後面加#,確實不會被當成不同頁面,但搜索引擎正在積極嘗試抓取AJAX內容,這條路同樣不保險。

在head裡加noindex+follow可以解決複製內容和權重黑洞兩個問題——權重能順著導出連結傳出去,但浪費蜘蛛時間的問題依舊存在:蜘蛛必須先爬到頁面、讀到HTML裡的標籤才知道不該索引。對過濾頁數量龐大的站來說,爬完這些就沒時間爬有用的了。

隱藏頁面(cloaking)是比較理想的做法:用程序判斷訪客,是蜘蛛就返回拿掉過濾條件的版本,是用戶才給完整頁面。唯一的問題是可能被當作作弊。搜索引擎判斷作弊的最高原則是:如果沒有搜索引擎,你會不會這麼做?顯然這種cloaking是為搜索引擎做的。目的雖無惡意,風險仍在,膽大的可以試。

canonical標籤的問題是百度是否支持未知,而且它只是建議而非指令,搜索引擎可以不理,等於沒用。另外canonical本意是指定規範化網址,過濾頁的內容經常不同,是否適用也有點存疑。

目前相對可行的是iframe+robots禁止:把過濾部分放進iframe,對搜索引擎而言這部分不屬於當前頁面,內容等於被隱藏。但不屬於當前頁面不等於不存在,蜘蛛仍可能發現並爬行其中的連結,所以還要配robots禁止。iframe中的內容會有少量權重流失,但因為流失是從被調用文件那邊分流的,總量不大。除了排版和瀏覽器兼容的麻煩,潛在風險同樣是被認為作弊。目前搜索引擎一般不把iframe當作弊,很多廣告就放在裡面,但隱藏一堆連結和隱藏廣告之間有微妙區別。回到那條總原則上,很難說這不是專門為搜索引擎做的。Matt Cutts說過,谷歌以後可能改變處理iframe的方式,他們仍希望在頁面上看到普通用戶能看到的所有內容。

總之,這個現實又嚴重的問題,我暫時沒有自己滿意的答案。不能完美解決不等於不能做——不同站點重點不同,具體問題具體分析,用上以上一種或幾種,通常能解決主要矛盾。

而最大的問題其實還不是這些,而是有些時候你偏偏想讓這些過濾頁被爬、被收錄,那才是真正的杯具。以後再說。

版權所有,轉載時必須以連結形式注明作者和原始出處及本聲明。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved