想把一個頁面做到有排名,路徑其實很清楚:選對關鍵詞,讓站點被蜘蛛正常抓取,然後持續積累。方法沒錯,但很多站點卡在了第二步——蜘蛛來了,卻不願意進去。
這有點像追求一個人:如果做的全是對方反感的事,結果只會越推越遠。那麼,站點上有哪些東西會讓蜘蛛繞道?
為了視覺效果堆動畫的站並不少見。問題在於蜘蛛抓到頁面後,預處理階段會發現幾乎提取不到可讀文字,也就無法判斷內容主題。更危險的是把導航做成 Flash,那等於把整站的入口關上。
啟用 Session ID 後,每個訪客都會拿到不同的識別碼,蜘蛛也不例外。第一次抓取之後,蜘蛛再次到訪時 URL 已經變了,於是反覆抓取同一批內容,卻被記錄成大量重複頁面。時間久了,蜘蛛對站點的興趣自然下降。若技術上必須使用,應讓開發人員針對蜘蛛做獨立識別,把索引與使用者會話區分開。
蜘蛛對跳轉高度敏感,因為黑帽手法最愛用它——入侵他人站點後掛上指向自己站點的轉址。過多跳轉會直接拉低信任度。
框架會把頁面切成幾個獨立區域,蜘蛛往往只抓到其中一部分,容易造成內容理解偏差,不利於收錄。
參數冗長、帶有問號與等號的動態地址,容易讓蜘蛛爬進去卻找不到出口。能靜態化的,優先做靜態化處理。
有些站為了收集會員資料,把內容全部鎖在登錄之後。但蜘蛛不會註冊也不會登錄,它進不來,收錄自然無從談起。若確實需要會員機制,至少應該對關鍵內容開放可索引的入口。