搜尋引擎是網站流量的主要來源,收錄量自然是運營人員最關心的指標之一。
先把基本邏輯擺清楚。一個網頁是否被收錄,取決於兩個因素:
是否被爬蟲爬過
頁面品質是否過關
我之前提過「收錄率」這個指標。很多站懶得算它,理由是「我看看 site 出來的數字不就完了」。事實是,沒有這個指標,後續很多工作根本無從下手。從數據裡找問題,用數據指導方案,再用數據驗證成果——這才是閉環。
最近看了《深入淺出數據分析》,它把方法講得很生動,推薦給做數據分析的同業。任何一次分析都由四個環節構成:目標 → 分析 → 評估 → 決策。
第一輪循環
目標:看看站點的收錄情況如何,在SEO上還有沒有提升空間。
分析:收錄好不好,總得有標準。整體看太籠統了,是不是該拆到各個頁面層級去看?
評估:於是我們需要下面幾組數據。
> 網站的頁面層級關係

> 各個層級頁面帶來的SEO流量
> 各個層級頁面的收錄情況

SEO流量占比可以從 Google Analytics 裡過濾出來;頁面數量可以從資料庫取,或用火車頭、自寫小腳本抓取統計;收錄率則是把抓到的頁面清單丟進工具批量查詢,火車頭也能勝任。
問題立刻浮出來了:
一、二級目錄頁帶來了大量流量,但收錄率並不理想——這就是優化收錄、進而提升流量的突破口。

產品頁數量龐大,收錄也不算理想,但帶來的流量有限。除了收錄,這裡還摻著頁面內容本身的問題,本文先擱置。
決策:立刻對目錄頁展開收錄專項優化。
到這裡,最初的目標「通過優化收錄提升流量」,已經收窄成了新目標「如何提高目錄頁面的收錄量」。能不能再用一次數據分析的方法往下鑽?當然可以。
第二輪循環
目標:提高目錄頁面的收錄量。
分析:回到開頭那兩個因素——網頁有沒有被爬過,品質是否過關。
爬蟲情況只能從日誌裡讀。於是我們把日誌拆開,看頁面是否真的被爬行過。
頁面品質是個難量化的值,於是我們用一個替代指標:同一套模板下,「已被爬行的頁面數 ÷ 已被爬行且被收錄的頁面數」。如果被爬的頁面基本都收了,至少說明這套頁面的內容搜尋引擎是認可的。(真實情況更複雜,收錄後也可能因品質問題被刪,但總比沒有參照要好。)
評估:(敏感資訊以編號代替,以下均為真實數據)
先看爬蟲日誌。通過 Shell 腳本,我們分析出:
目錄累計被爬行約 13000 次
去重後的目錄爬行約 5500 次
頻道A下的目錄幾乎100%被抓取過至少一次,頻道B約70%被抓過至少一次
其餘頻道的目錄抓取覆蓋率不到30%

別急著驚嘆。很多站都面臨同樣糟糕的問題,只要把數據不斷細分——細分、再細分——總能看出端倪。
關於日誌分析,不要迷信任何現成的日誌分析軟件,那些是給圖省事的人準備的。自寫腳本加 Excel 才是王道,能拆出任何你想要的維度,甚至連 Excel 都可以省掉。
接著,我們統計了被抓最頻繁的頻道A和頻道B,其目錄頁的收錄率:

頻道A和B的表現令人放心,說明頁面品質沒問題。但剩下那些頻道的收錄情況就相當吃緊了。
決策:數據給出的結論很明確。
頁面品質並不是影響收錄的原因。
頻道A、B的抓取量異常地高,追查後發現原因:首頁上的目錄頁展示的全部是頻道A的內容,而首頁擁有全站最高權重;頻道B則擁有比其他頻道更強的外鏈資源,權重同樣出眾。
換句話說,除A、B之外的頻道,抓取情況都不樂觀——抓取入口太少、層級太深,直接拖累了他們的收錄表現。
很明顯,頻道A從站內結構的角度已經佔盡優勢,而問題的解法也隨之浮現:把站內入口的權重分配重新調整,讓深層頻道也有可達的路徑。