自從某搜索引擎在收錄指南裡寫下「spider 更喜歡設計簡單的 HTML 頁面」,很多站長就把這句話當成最高信條,卯足勁讓網站 HTML 化。常見的三種做法是:全站生成純 HTML、用服務器 rewrite 改寫 URL、或用程序做偽靜態。
但這句話常被讀錯了。
在 CMS 與服務端語言還不成熟的年代,網頁多半是手工寫的 HTML。這些頁面內容獨一無二,對搜索引擎來說是新穎的內容——受歡迎的是「獨一無二」,不是「.html」這三個字母。
搜索引擎聲明偏好 HTML,真正指的是那種結構簡單的頁面:沒有連接數據庫、源碼不臃腫,爬蟲抓取速度快。這並不意味著它只爬 HTML 而不爬動態頁,也不意味著 HTML 有優先權。實質上它偏好的是乾淨、輕量的標記,不喜歡裡面塞滿 Flash、大量 DOM 操作與 JavaScript 特效。
今天多數站長用 CMS,數據庫結構與頁面結構大同小異。除了正文內容不同,其餘部分幾乎一致——別說換模板了,同一站內的模板本來也差不多。由模板生成的靜態頁因此難免臃腫,還帶著一堆交換式功能,結果變成「結構複雜、代碼繁重、部分內容爬蟲讀不懂的 HTML 頁面」。
偽靜態化的頁面,請求時仍然要查數據庫,抓取速度並不會比動態頁快,等於什麼都沒改善,反而增加了開發與維護上的不便利,緩存問題就是典型例子。
我拿幾套常見的論壇與 CMS 系統做過對照測試,生成純靜態、偽靜態、動態調用,在收錄效果上看不出差異。
與其糾結 URL 長什麼樣,不如把力氣花在真正影響抓取與理解的地方:頁面結構清楚、代碼精簡、關鍵內容以原生 HTML 輸出、加載速度夠快。URL 保持簡潔可讀、目錄層級合理,對用戶和爬蟲都友好,這比後綴是什麼重要得多。