近期百度搜尋最大的動靜,莫過於 Spider 3.0 升級。概括其特點就是三句話:抓取更即時、收錄效率更快、對原創優質內容更青睞。
這次升級把原本以離線、全量計算為主的系統,改造為即時、增量計算的全即時調度系統,對萬億規模數據進行即時讀寫,可收錄 90% 的網頁,速度提升 80%。
在連結發現環節,目前 Spider 每天發現的新連結約在 500 億量級。這意味著你的站點內容越來越容易被發現與抓取,而在百度站長平台提交連結是最有效率的途徑。不過工程師也提醒:不要過度提交,尤其不要提交低質連結,這樣才能達到更好、更即時的收錄效果。
在連結抓取與建庫方面,百度開發了更強大的機器學習模型來做連結質量預測,對庫中所有連結進行全局排序,有價值連結的召回率提高 95%;索引展現時效性也從原本約 10 天,提升 40%~80% 不等。
我們都知道,從用戶搜尋到結果展現要走四步:抓取、建庫、排序、展現。前兩步提速,意味著站點內容能比過去更快出現在使用者面前。
Spider 3.0 啟用了全新的死鏈識別模型,能辨識協議死鏈,以及大部分內容死鏈、跳轉死鏈等低質網頁。以前站點透過站長平台提交死鏈,處理速度可能很慢,甚至一段時間內快照仍在;升級後大約幾天內就能處理掉。若要追求最佳效果,協議死鏈仍是最優選擇。
在 2.0 時代,不少中小站長寫出的高質量文章,一旦被高權重站點轉載,自己的原創帶來的流量反而遠不如對方的轉載頁。3.0 時代這種情況會明顯好轉:配合主動提交等連結提交方式,文章發布後第一時間推送,一旦被收錄,即便其他大站轉載,你的原文在搜尋結果中依然能拿到更好位置。更多高質量內容被展示給搜尋用戶,本身就是更健康的網路生態。
時效性這件事其實可以自己驗證:搜尋某個關鍵詞時會發現,收錄時間越近的結果排名往往越靠前,這主要集中在新聞類內容。這對站點的更新頻率提出了更高要求。當然排名不只取決於發布時間,還有很多維度,但對新聞類內容而言,隨時跟進進度非常重要。
這裡必須再提一次站長平台連結提交中的主動推送功能——它是時效性內容提交的唯一入口。
主動推送的原理是:工具取得一組 16 位英文數字組合的字串,據此製作數據推送介面,實現最快路徑的數據傳送。該功能開放半年來,參與提交的站點近 10 萬,日提交數據 5000 萬,提交數據平均被抓取的時間比爬蟲自行發現早約 4 小時;提交數據的當天收錄量達 60%~100%。也就是說,大多數站點用這個功能的效果都不錯。
另外,現在開始使用主動推送的站點還能獲得百度站長平台的特享權限與實物獎品,有興趣可參考:https://bbs.zhanzhang.baidu.com/thread-113258-1-1.html