有些網頁設計技術對搜索引擎很不友好,會阻礙蜘蛛爬行與抓取,這類技術被統稱為「蜘蛛陷阱」。以下六種最常見。

用JS生成的導航或鏈接,蜘蛛在解析時可能完全看不到目標地址。如果全站導航都靠JS渲染,等於把整個站藏了起來。
典型寫法如 flashObject('index.swf')。Flash 內容無法被文本索引,整頁以Flash呈現的站點,搜索引擎幾乎抓不到任何有效信息。
為了跟蹤用戶訪問而在URL中生成會話參數,例如:
https://fengchao.baidu.com/nirvana/main.html?userid=2473126#/manage/plan~_r=iwqk6gnq1y
https://fengchao.baidu.com/nirvana/main.html?userid=2473126#/manage/plan~_r=3br2o0us12
其中 userid 之後的部分即為 Session ID 值。同一個頁面因為會話不同而產生無限多個URL,會造成嚴重的重複收錄與抓取資源浪費。
用框架把多個頁面拼在一起展示,會讓搜索引擎分不清哪個才是真正的主內容。上例中百度音樂盒即以框架結構調用內容。
例如:https://list.tmall.com/search_product.htm?spm=3.54626.101437.97&navlog=1&nav=spu-cat-qp&style=g&sort=s&q=%BF%C6%B1%A6&n=40&s=0&cat=50030199&is=cate#J_crumbs
參數堆疊到這種程度,蜘蛛抓取時容易出錯或中途放棄。
蜘蛛和人一樣,遇到需要權限的頁面就進不去。但它不會去註冊賬號,所以凡是必須登錄才能看到的內容,基本不會被收錄。
做SEO時盡量避開以上幾類代碼與結構,讓搜索引擎更容易看懂你的網站——這是所有技術優化的起點。