網站想通過 SEO 從搜索引擎獲得排名與流量,前提是被蜘蛛青睞。退一步說,即便做不到讓蜘蛛「喜歡」,至少不能讓它討厭。
我們常聽到「某某站對搜索引擎不友好」這類說法。那麼,究竟哪些設計會讓蜘蛛反感?以下十點是最常見的問題。

1、動態 URL
資料庫驅動的站點常生成帶參數符號與隨機字串的網址。相比靜態 URL,這類地址不利於蜘蛛爬行與抓取。這也是站內優化需要做靜態化或偽靜態化的原因。
2、死鏈
通俗講就是打不開的連結。蜘蛛在站內爬行時反覆撞到無法訪問的頁面,站點的信任度會一點點被消耗掉。
3、各種跳轉
通過技術或指令把一個頁面自動導向另一個頁面。目前搜索引擎比較支持 301 跳轉,但正因為它常被濫用,蜘蛛對跳轉行為整體偏敏感,使用時要格外謹慎。
4、Flash 動畫
蜘蛛本質上是程式,無法像人一樣觀看 Flash 內容。雖然搜索引擎在這方面持續改進,但目前仍難以有效解析。如果站內確有必要使用,建議同時提供文字描述,幫助蜘蛛理解內容。
5、大量 JS 代碼
蜘蛛解析 JS 的能力有限,大量腳本會明顯拖慢抓取速度。優化時應盡量精簡,或把非必要腳本延後加載。
6、框架結構
Frame 設計流行於互聯網早期,因不適合蜘蛛抓取而逐漸被淘汰。做優化時應完全避免,甚至不必去研究它。
7、必須登錄才能瀏覽
不少站點將部分甚至全部內容設為登錄後可見,部分社群平台也是如此。但要清楚:蜘蛛不會填寫帳號密碼,也不會註冊。關鍵內容放在登錄牆後,等於主動放棄這部分被抓取的機會。
8、Session ID
為了追蹤訪客而生成唯一 Session ID 並附加在 URL 中,會導致大量實質內容相同、僅 ID 不同的網址,從而造成重複收錄。
9、強制依賴 Cookies
蜘蛛實際上是禁用 Cookies 的。如果必須啟用 Cookies 才能正常顯示內容,蜘蛛看到的就是一片空白。
10、不穩定的伺服器
站點若因伺服器問題頻繁無法訪問,蜘蛛反覆「碰壁」,自然會判定這個站不靠譜,信任度隨之下降。空間穩定性是所有優化的地基,這一點怎麼強調都不過分。
以上十點是較常見的減分項。優化時把它們逐一避開,站點就不至於被蜘蛛排斥。基礎打牢之後,再談排名與流量的提升才有意義。