網站結構優化大致可以拆成兩塊:一是目錄布局,二是 URL 層次結構。
做結構優化的價值在於雙贏。對使用者來說,代碼精簡、載入變快、找頁面更順手;對搜尋引擎來說,層次清晰的站點更容易被完整抓取。同時,站外連結為網站帶來權重,而站內連結則決定這些權重如何在各個頁面之間分配。內鏈梳理得當,隨著收錄量上升,整站權重會穩步累積,流量自然跟著上來。
目錄層級不宜過深,結構盡量簡單,一般控制在三層以內對使用者和蜘蛛都比較友善。大型站點內容量龐大,全部放在根目錄下確實難以管理,需要兩三層甚至更多子目錄才能維持秩序,這種樹狀結構維護起來方便,但會增加搜尋引擎抓取的難度。
我建議採用「/欄目名/內容頁」這種形式。目錄命名會直接影響搜尋引擎對內容的識別判斷,比如圖片統一放進 /images/,樣式檔放進 /css/。這裡有兩個細節要注意:不要使用中文目錄名,目錄名也不宜過長。

URL 越短越好,除 & 與 ? = 這類必要符號外,避免出現其他特殊字元,路徑建議使用英文或全拼。站點內應配置網站地圖,方便蜘蛛爬到每一個頁面;格式上可以準備兩種,Google 建議用 XML 地圖,百度則適合 HTML 地圖。
盡量少用 Flash、session id、帶參數的動態 URL 以及 JS 連結。內容頁中可以加入有實際意義的錨文本,指向其他相關頁面,但要注意同一篇文章裡,相同錨文本不要指向不同目標。用描述性的文字包裹關鍵詞做成超連結,既利於 SEO,也讓使用者預先知道點進去會看到什麼。
另外,在文章結尾加上上一篇、下一篇連結,或是欄目相關內容、推薦閱讀、點擊排行等區塊,有兩個好處:一是替蜘蛛鋪出更多爬行路徑,二是延長使用者在站內的停留時間。

一般來說,把上面兩點做扎實,中型規模的站點在抓取層面就不會有太大問題。