有個朋友負責的站點收錄一直上不去,他很困惑——站點數據量並不算小,可大量頁面就是不被收。做過的人都知道,這牽涉的面向很多,簡單講就是站內加站外。想拿到最好的排名、最大的流量、最高的權重,兩邊都得做紮實。他說外部優化沒問題,那問題自然出在站點本身。
站內優化包含很多面向,但其中有一項屬於「先天條件」,對頁面收錄數量與頁面權重影響極大——就是網站結構。我把他的站從頭看了一遍,果然發現問題:首頁結構還算合理,一到內容頁就崩了,大量 iframe 框架嵌套。這種結構蜘蛛根本爬不進去,更別提收錄。

要理解這件事,得先知道蜘蛛是怎麼工作的。爬行和抓取是它的第一步,而超鏈接就是它行走的道路。為了抓到盡可能多的頁面,它會沿著每一個發現的鏈接一直往下走。理論上,從任意一個頁面出發,沿著鏈接就能抵達整個互聯網——但現實中網站結構極其複雜,於是工程師給蜘蛛設計了兩種策略:深度優先與廣度優先。
深度優先是指蜘蛛沿著發現的鏈接一直向前爬,直到前面再也沒有鏈接,然後回退到起點,換另一條鏈接繼續向前。

廣度優先是指蜘蛛在一個頁面上發現多個鏈接時,不沿著單條一直走,而是先把這一層的所有鏈接都爬一遍,再進入下一層。

實務中兩者是混用的:廣度優先保證覆蓋面,深度優先保證內頁被抓到。但即便如此,蜘蛛也沒那麼輕鬆。小站還好,數據量大的站點,總有一部分內容抓不到。這時候,一個對蜘蛛友好的結構就成了關鍵。
網站結構一般從兩層面理解:物理結構與邏輯結構(鏈接結構)。小型站點做到扁平化就夠用;數據量大的站點,則需要樹形物理結構與清晰的邏輯結構相結合。
核心思路是把首頁、欄目頁、內容頁之間的鏈接關係理清,讓蜘蛛能輕易發現下一個頁面。具體可以這樣設計:
按上面的方式設計完,無論蜘蛛怎麼爬,你的頁面都有充分被抓到的機會。站內優化到這一步,已經完成了九成五。
好的結構不只是為了收錄。它同時能減少大量外部優化的工作量,也是衡量用戶體驗的重要指標——結構清晰,用戶能快速拿到想要的東西;結構混亂,蜘蛛爬得吃力會直接放棄,用戶在有限耐心裡找不到答案,也會直接關掉頁面。