「蜘蛛陷阱」這個詞,很多剛入門的朋友沒聽過。它是什麼?簡單說,就是阻礙搜尋引擎蜘蛛爬行、抓取網站的障礙物或干擾項。有些是人為刻意造成,更多是無意中留下的坑。
之所以叫「陷阱」,是因為它只困住蜘蛛,對真實用戶毫無影響——頁面看著一切正常,後台卻讓爬蟲寸步難行。清掉這些障礙,蜘蛛才能順暢走完站內的路徑。下面九種,是最常見的幾類。

蜘蛛讀不懂Flash。很多站喜歡在首頁放一段開場動畫,播完再跳轉到HTML頁面——用戶沒問題,蜘蛛卻跟不下去,鏈路就斷在這裡。如果動畫實在不能省,至少在Flash之外提供一個通往HTML版本的普通鏈接,讓蜘蛛有路可走。
JS能做出很漂亮的視覺效果,也有人用它生成整個導航系統,這同樣是相當嚴重的陷阱。需要被抓取的鏈接絕對不要放進JS,否則蜘蛛直接停在原地。JS本身不是問題,特效可以留,但別讓它承載爬行的責任;數量上也別堆太多,抽成獨立文件更清爽。
蜘蛛能抓一部分動態鏈接,但帶問號、等號、多層參數的網址,不僅不利於爬行,還可能把蜘蛛帶進死循環。這是最致命的一類。所以絕大多數情況下,都建議做網址靜態化處理。
有些站為了追蹤用戶,給每個訪客生成唯一的Session ID並附加在URL後。問題是蜘蛛每次拜訪都會被當成新訪客,同一個頁面因此有了無數個不同網址,最終產生大量高度重複的內容頁。
框架結構對蜘蛛來說,和Flash、JS一樣是一堵牆,會直接阻斷爬行與抓取。
內容必須登錄後可見,這在站長圈裡太常見了。有的站甚至全站都要賬號才能進。對用戶無妨,對蜘蛛是死路——它不會填表、不會註冊。除非是真正的付費內容,否則應該對蜘蛛開放。
有些站為了記住登錄狀態或追蹤路徑,強制依賴Cookies,用戶禁用後頁面就顯示異常。蜘蛛相當於一個禁用Cookies的瀏覽器,這道強制門檻會讓它根本進不來。
目前比較建議的只有301和302重定向。其他跳轉方式,蜘蛛非常敏感——畢竟黑帽最愛用這招,入侵別人的站再掛一個指向自己的跳轉。JS跳轉、代碼跳轉都別隨便用;實在做404頁面必須用代碼跳轉,建議延時設在五秒以上。
把網站想成一棟房子,鏈接是門,蜘蛛是你請來的朋友。結構一亂,朋友進門連東南西北都分不清,找不到入口也找不到出口,談何抓取。鏈接結構應該保持扁平的樹狀形態,層層分明、四通八達。
知道這些坑之後,不妨現在就去檢查一遍自己的站,看看有沒有不知不覺給蜘蛛設好了路障。