想把一個網站做好,最應該在起步階段就把結構規劃清楚。如果一開始沒定好骨架,後期再推倒重來,代價會非常大。網站結構大致可以分成以下兩大類。
物理結構指的是網站的目錄組織形式,通常有兩種:扁平與從屬。扁平結構把所有頁面都放在根目錄下;從屬結構則讓每個內容頁歸屬於上級目錄,層次更清晰。
在物理結構上,很多人誤讀了一句話:"目錄越少,蜘蛛越好抓取。"這句話的真正含義是:在同一網站內部相比,目錄層次越淺的頁面會被蜘蛛優先抓取。比如下圖:

蜘蛛會按從上到下的順序抓取,因為搜索引擎的資源有限,抓取必然有先後之分——目錄淺的頁面優先,目錄深、URL參數多的排在後面。假設蜘蛛一次只能抓100個頁面,那麼排在後面、目錄很深的頁面就可能顧不上。這就要求我們依據頁面重要程度合理安排結構。
而把所有頁面都塞進根目錄,看似減少了層次,實際上讓所有頁面對蜘蛛而言毫無差別,也就失去了主次之分。小站或許可以這樣湊合,但對中大型網站顯然不合理——大量頁面堆在根目錄,管理極其混亂,也沒必要如此。
如今物理結構對抓取的影響已相對有限,URL層次結構反而更值得重視。大家都知道,一個網站的頁面從首頁點擊最多四次就該能到達,更深蜘蛛就很難抓到。中小網站通常不必糾結這點,因為無論怎麼設計,四次點擊都綽綽有餘。
但對中大型網站而言,欄目繁多,欄目下還有子欄目,每個欄目的頁面數量可觀,這時就必須把內鏈做紮實。內鏈的重點在於內容頁的鏈接分布:
1、鏈接到首頁與頂級欄目的導航
2、鏈接到上級欄目
3、麵包屑導航
4、鏈接到相關內容
5、隨機鏈接當前欄目的其他內容
對於中型網站,內容頁做到這幾點,蜘蛛的抓取基本就不成問題了。