蜘蛛黑洞通常指網站製造大量參數複雜、內容雷同的動態URL,讓蜘蛛陷入無限抓取,浪費抓取配額。
很多網站有價格、地區、排序等篩選功能,但部分組合並無真實用戶需求。若全部允許抓取,會擠佔重要頁面的抓取資源。
可以只讓搜索引擎抓取篩選結果頁,而把帶參數的排序頁通過robots規則屏蔽。例如禁止訪問帶問號的動態地址。
這樣既能保留有效頁面,又能避免低質量組合頁消耗蜘蛛資源。