所謂蜘蛛陷阱,指的是站長在設計站點時用了搜索引擎不喜歡、不利於其抓取的手法。要避開它們,得先知道它們長什麼樣。
很多動態網址由程序自動調用數據庫生成,帶著一串參數。蜘蛛普遍不喜歡這種形式——參數太多會大幅降低爬行效率。做好 URL 靜態化是最直接的處理方式。
用戶訪問時被莫名帶到別的頁面,體驗極差。若是依據用戶資訊做的合理跳轉,影響還算可控;若是隨意跳轉,會造成大量反感與客戶流失。JS 跳轉、Flash 跳轉、302 跳轉都屬於容易惹麻煩的類型,能不用就不用。
用 JS 做導航是為了視覺效果,但搜索引擎目前無法可靠識別 JS 內部的鏈接。把爬行的難度降低,才有機會被青睞。
把內容鎖在登錄牆後,等於同時對用戶和蜘蛛關門。蜘蛛不會去填寫帳號密碼,這部分內容基本無法被抓取。
框架結構便於維護更新頁面,但搜索引擎訪問框架站時通常只抓取 HTML 框架代碼,拿不到實際文字資訊,也就無法識別站點內容。不要等搜索引擎來適應你,應該反過來。
有些站每次訪問都會在 URL 中生成會話 ID。蜘蛛每次抓取都會拿到不同網址,同一頁內容對應多個 URL,在搜索引擎眼裡就是重複內容。累積多了,離降權也就不遠。
用一小段 Flash 做局部效果、增加美觀,沒問題。但整站都是 Flash,收錄基本無望——目前最強的搜索引擎也無法可靠解析其中的內容,這樣的站談不上優化。如果非要靠 Flash 來展示實力,那大概也不需要做SEO了。
這一條在用戶和搜索引擎兩邊都不受歡迎。是否收藏本該由用戶自主決定,強行添加只會招致反感;一旦添加失敗,還可能導致站點無法正常訪問。
避開這八個陷阱其實不難:不要用這些技術去搭站點就行。但新手必須知道它們的存在,這份認知會在後續成長中發揮很大作用。