先說谷歌。對谷歌而言,動態網頁容易讓爬蟲望而卻步,因而很難拿到排名。原因在於這類頁面的信息存在數據庫裡,只有用戶帶著參數來訪問時才會被調取。用戶知道怎麼選參數,但爬蟲不是人,它並不喜歡充斥著大量變量的URL——那可能是一個陷阱,也可能是一段死循環。
百度的立場稍微不同。百度站長優化指南裡明確說過蜘蛛不會拋棄動態網頁,但後文仍然建議做靜態化處理,因為這能大幅提高爬蟲的工作效率。
不過搜索引擎發展這麼多年,對動態頁早已有自己的一套抓取方式。論壇裡經常能看到有人爭論「動態網頁更好,讓蜘蛛每次來都看到不同內容」。這種討論到處都有。我以前在一家公司時還是個懵懂的菜鳥,老大的想法是:把首頁內容用PHP隨機調用,讓每次刷新顯示不同結果。當時我說不清為什麼不妥,現在的解釋很簡單——那只是換了順序,鏈接指向的內容並沒有變。搜索引擎看的是內容,不是你的程序和排列順序。
至於動態靜態化的具體實現,涉及服務器配置知識,這裡暫不展開。
Flash能讓網站更精彩,遺憾的是搜索引擎讀不懂這份精彩,它只認文字。所以網頁設計中盡量不要用大面積Flash承擔主要內容。
小範圍使用則無妨。比如一些社區站頂部放一段小動畫,能增加情趣;又如電商站用Flash做首頁logo,也有助於呈現品牌調性。
如果業務上非用Flash不可,可以考慮兩個折中方案:另做一個不含Flash的文字版頁面並與之互鏈,或者在Flash旁邊補一段文字介紹。
URL過長通常意味著目錄層級過深,這屬於結構優化範疇。盡量避免多層嵌套,把網頁集中度提高。一般認為目錄不超過三層比較合適,太深的目錄讓爬蟲格外吃力,很多內容會因此不被收錄。像一些老牌的站長社區,文章URL就是三級目錄,很少超過四層。
圖片方面,記得給每一張用到的圖加上alt標籤——那是寫給搜索引擎看的說明。另外把logo設置為指向首頁的鏈接,因為很多人都習慣點logo回首頁。
網頁設計中出現錯誤頁面是正常的。當用戶訪問的URL不存在時——可能是網站本來就沒有這個頁面,也可能是頁面已被刪除——服務器就該返回404。在靜態網站中,這類缺失頁面通常會自動生成。
搜索引擎拿到404狀態碼,就知道這個頁面不存在,會相應地把它從索引中清理掉。所以千萬別讓404變成一片空白,只寫一句「對不起,您訪問的頁面不存在」。
更好的做法是把404頁做成一個真實的信息頁:放上返回首頁的入口、熱門欄目鏈接,甚至搜索框。這樣既留住流量,也給爬蟲一條繼續往下爬的路。每一個頁面都值得被充分利用。