搜索引擎是網站流量的主要來源,而想要讓流量穩定增長,收錄是最基礎也最關鍵的一環。很多站長提到收錄,第一反應就是「我看看site命令的數據不就知道了」,卻忽略了收錄率這個更細顆粒度的指標。沒有它,後續很多優化工作根本無從下手。
先厘清一個基本前提:一個網頁能否被收錄,取決於兩個因素——它是否被爬蟲抓取過,以及它的頁面質量是否過關。
數據分析的方法其實很有借鑑價值,它遵循「目標→分析→評估→決策」四個環節,形成一個完整的閉環。用它來指導收錄優化,思路會清晰很多。
目標:摸清網站目前的收錄狀況,判斷在SEO上是否還有提升空間。
分析:收錄「好」與「壞」該如何衡量?整體收錄是不是太籠統,是否需要按不同層級的頁面細分來看?
評估:要回答這些問題,我們需要幾組關鍵數據。
> 網站的頁面層級結構

> 各層級頁面分別帶來了多少SEO流量
> 各層級頁面的收錄情況

其中,SEO流量占比可以從Google Analytics中過濾統計;頁面數量能從數據庫導出,也能用腳本抓取計算;收錄率則可借助工具批量查詢。數據一攤開,問題往往立刻浮出水面。

一、二級目錄頁貢獻了大量流量,但收錄率並不理想——這正是提升流量的突破口。產品頁數量龐大,收錄卻一般,帶來的流量也有限,這裡除了收錄,還有內容本身的問題,本文暫不展開。
決策:立即行動,針對目錄頁展開收錄優化。
於是原本的目標「通過優化收錄提升流量」,細化成了新目標「如何提高目錄頁面的收錄量」。這個新問題,同樣可以用數據分析的方法再走一遍閉環。
目標:提高目錄頁的收錄量。
分析:回到收錄的兩個前提,我們要檢查頁面是否被抓取過、質量是否達標。抓取情況需要通過分析服務器日志判斷;質量則難以直接衡量,於是可以用「已被抓取的頁面數 / 已被抓取且被收錄的頁面數」這個比值,來評估同模板頁面的質量水準。如果抓過的頁面基本都被收錄,至少說明搜索引擎對這套內容是認可的。
評估:通過Shell腳本分析日志(敏感信息以編號代替),我們得到:目錄頁累計被抓取約13000次,去重後約5500次。頻道A下的目錄幾乎100%被抓取過至少一次,頻道B也有約70%的覆蓋率,而其余頻道的抓取覆蓋率不足30%。

這個結果並不稀奇,很多網站都會遇到類似問題,關鍵是敢於把數據不斷細分,總能從中看出端倪。順帶一提,做日志分析不必迷信各類第三方軟件,自制腳本配合Excel往往更靈活,能拆出任何你想要的維度。

接著統計抓取最頻繁的頻道A、B的目錄頁收錄率,結果令人安心,說明頁面質量本身沒問題,反倒是其余頻道的收錄狀況令人擔憂。
決策:質量不是瓶頸,問題出在抓取分配上。頻道A、B抓取量異常高,原因在於首頁展示的目錄頁幾乎全來自頻道A,而首頁權重最高;頻道B則擁有更強的外鏈資源。其余頻道抓取入口太少、層級太深,直接拖累了收錄。
顯然,頻道A在站內「太強」,需要做一次「劫富濟貧」,把抓取份額轉移到其他頻道,同時為爬蟲提供更多入口。工作於是被拆成兩塊:增加入口,以及均衡資源。
提供入口方面:
1. 把目錄頁URL製作成sitemap提交給搜索引擎,並設置較高的抓取權重;
2. 完善並細化面包屑導航,創造更多抓取路徑;
3. 在其他相關產品頁面中推薦目錄頁。
均衡資源方面(任意頁面都可能成為爬蟲入口,且抓取深度有限,越淺的頁面被抓概率越高):
1. 首頁原本大量指向頻道A的目錄頁與產品頁,統一加上nofollow,引導爬蟲先進入頻道頁,再逐層深入;
2. 頻道頁指向自身產品頁的鏈接全部nofollow,讓爬蟲優先抓取目錄頁;
3. 目錄頁返回首頁的鏈接也加上nofollow;
4. 適度精簡頁面上與主題無關的鏈接。

改動一個月後,目錄頁的收錄率提升了整整100%!產品頁收錄率也有一定程度改善,這得益於目錄頁對產品的良好承載。目錄頁的SEO表現同樣亮眼:SEO流量占比上升15%,到訪關鍵詞數量增長10%(來自新頁面的收錄),整體SEO流量增長超過50%(其中也包含部分季節性因素)。
可見,把收錄問題拆細、用數據定位瓶頸,再針對性地調整站內抓取結構,往往能帶來立竿見影的效果。