DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO高級教程
巧用robots避免蜘蛛黑洞
編輯:SEO高級教程     

蜘蛛黑洞是什麼

蜘蛛黑洞通常指網站製造大量參數複雜、內容雷同的動態URL,讓蜘蛛陷入無限抓取,浪費抓取配額。

篩選頁為何容易失控

很多網站有價格、地區、排序等篩選功能,但部分組合並無真實用戶需求。若全部允許抓取,會擠佔重要頁面的抓取資源。

用robots屏蔽低價值頁面

可以只讓搜索引擎抓取篩選結果頁,而把帶參數的排序頁通過robots規則屏蔽。例如禁止訪問帶問號的動態地址。

這樣既能保留有效頁面,又能避免低質量組合頁消耗蜘蛛資源。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved