「蜘蛛陷阱」這個詞,很多新手沒聽過。它指的是那些阻礙蜘蛛爬行或干擾其判斷的障礙物。
值得注意的是,多數蜘蛛陷阱是無意造成的,而非人為設置。這也解釋了一個常見困惑:頁面在人眼看來完全正常,但蜘蛛就是進不去。

以下九種,是實踐中最常見的類型。
蜘蛛無法解析Flash。很多站點習慣在首頁放一段動畫,播放完畢後再跳轉到HTML頁面。用戶沒問題,但蜘蛛跟著這個路徑走會直接斷線——它讀不懂Flash,也就找不到後面的HTML版本。
如果Flash效果確有必要,請在動畫之外單獨提供一個通往HTML版本的普通鏈接,讓蜘蛛有路可走。
JavaScript能做出豐富的視覺效果,因此常被用來生成導航系統。但蜘蛛讀不懂JS,一旦導航鏈接藏在腳本裡,整站的內部鏈路就斷了。
原則是:需要被抓取的鏈接絕不能放進JS;不需要被抓取的可以放。同時JS代碼應盡量外置為獨立文件,控制總量。
蜘蛛能抓取部分動態URL,但由數據庫直接生成、帶有多個參數與問號等號的長URL有兩個問題:不利於抓取,且容易造成無限循環——不同參數組合指向同一內容,蜘蛛會陷入死循環。這是相當致命的一類陷阱,所以普遍建議做URL靜態化。
部分站點為跟蹤用戶會在URL中附加唯一的 Session ID。問題在於:蜘蛛的每次訪問都會被當作一個新用戶,於是同一個頁面每次都以不同的URL出現。
結果就是產生大量高度重複的內容頁,站點的內容指紋被無限稀釋。
框架對蜘蛛而言與Flash、JS類似,都是一道牆。它會阻礙蜘蛛對內部內容的抓取與索引。
把內容放在登錄之後才能查看,對用戶可能合理,但對蜘蛛是死路——它不會註冊,也無法填寫表單。
原則很簡單:除非是真正的付費或會員專屬內容,其餘內容都應對蜘蛛開放。
有些站點為實現記住登錄狀態、跟蹤訪問路徑等功能,強制依賴 Cookies,用戶禁用後頁面顯示就會異常。
而蜘蛛的行為相當於一個禁用Cookies的瀏覽器。強制依賴只會導致它無法正常訪問。
目前被廣泛接受的跳轉方式只有301與302重定向。其他形式的跳轉,蜘蛛都非常敏感——因為黑帽手法最愛用這一招:入侵他人站點後掛上指向自己站的跳轉。
JS跳轉、代碼跳轉都不建議隨意使用。如果做404頁面時確實需要延遲跳轉,建議把時間設置在5秒以上。
把站點想像成一棟房子:鏈接是門,蜘蛛是你請來的客人。
如果門的位置毫無規律,客人進來之後分不清東南西北,找不到入口也找不到出口,他自然也就逛不完這個房子。
所以鏈接結構應保持扁平的樹狀形態:層級淺、路徑清晰、每個重要頁面都能在兩三次點擊內到達。
知道這些陷阱之後,最值得做的一件事是拿自己的站點逐條對照。多數問題都能在幾分鐘內確認,而它們對收錄的影響往往比關鍵詞密度大得多。