很多網站在視覺上做得很用心,卻在搜索引擎那裡吃了虧。原因往往不是內容不好,而是實現方式與爬虫的取食習慣相沖。下面從規劃和技術兩個層面梳理幾個要點。
主題不宜過於分散。主題越集中,站長在這個方向上投入的精力通常越多,能提供的信息質量也越高。搜索引擎的目標是給用戶返回高質量結果,因此那些能提供有價值信息的站點自然會被排在更前面。
如果業務確實覆蓋面很廣,又必須保留眾多主題,也不必強行砍掉。只要把內容分門別類地組織清楚,自然就會形成若干個相對聚焦的主題群,排名同樣不會差。
內容豐富與受歡迎程度是相互促進的。這裡說的「豐富」不是繁雜,而是深度。搜索引擎排序時除了看信息相關度,也會參考站點聲望——外鏈數量、頁面點擊率等都是變量。內容扎實的站點,排名一定在內容貧乏的站點之前。
框架結構(Frame Sets)
部分搜索引擎(如 FAST)不支持框架,它們的「蜘蛛」根本讀不懂這類頁面。
圖象區塊(Image Maps)
除 AltaVista、Google、Northern Light(後者已停止公共搜索服務)明確支持圖像區塊鏈接外,多數引擎並不支持。爬虫遇到這種結構往往無從下手,因此盡量不要設置 Image Map。
特效鏈接
不少站點喜歡給導航加特效,比如點擊後展開二級鏈接,通常靠 JavaScript 實現。視覺上確實新穎,但在爬虫眼裡不具吸引力,因為它無法解讀這種鏈接。想讓內容被順利收錄,該犧牲的花哨還是得犧牲。
FLASH
Flash 頁面的視覺表現力很強,但搜索引擎對此並不買賬,實踐表明這類站點很難被百度索引。比較明智的做法是同時提供 Flash 版與非 Flash 版,既保留觀賞性,也不得罪搜索引擎。
動態網頁(Dynamic Pages)
凡是 URL 中帶「?」號、「&」號或類似符號的頁面,都容易把爬虫擋在門外。這類頁面多由 CGI、PHP、ASP 等程序生成,技術上更先進,卻不適合爬虫抓取。目前部分大型搜索引擎(如 Google)已具備抓取動態頁面的能力,但仍有相當一部分引擎不支持;即便是 Google,也在多個場合明確表示不保證收錄全部動態頁面。
因此,除非是超大型站點出於維護便利不得不採用動態生成技術,否則優先選擇靜態頁面更為穩妥。