近期百度搜索最大的動作,應該就是 Spider 3.0 的升級。一句話概括它的特點:抓取更即時、收錄效率更快、對原創優質內容更青睞。
這次升級把原本以離線、全量計算為主的系統,改造成即時、增量計算的全實時調度系統,能在萬億規模的數據上做即時讀寫,可收錄九成的網頁,速度提升 80%。
鏈接發現方面,目前 spider 每天發現的新鏈接量級在 500 億左右。這代表你的站點內容越來越容易被發現和抓取,而在站長平台提交鏈接是最有效率的方式。不過工程師也提醒,不要過度提交,尤其別送低品質鏈接,這樣才能拿到更好更及時的收錄效果。
鏈接抓取與建庫方面,官方開發了更強的機器學習模型做鏈接品質預測,對庫中所有鏈接做全局排序,有價值鏈接的召回率提高 95%;索引展現的時效性也從原本約 10 天,提升到 40%~80% 不等。搜尋引擎從用戶搜尋到結果呈現的步驟是抓取、建庫、排序、展現,前兩環加快,代表站點內容能比以前更快出現在用戶面前。
Spider 3.0 啟用了全新的死鏈識別模型,能辨識協議死鏈,以及大部分內容死鏈、跳轉死鏈等低品質網頁。以往透過站長平台提交死鏈,處理速度可能很慢,甚至快照還會存在一段時間;更新後大約幾天就能處理掉。若要追求最佳效果,協議死鏈仍是最理想的選擇。
過去在 2.0 時代,中小站長寫出的高品質文章一旦被高權重站點轉載,自己的原創帶來的流量往往還不如對方。3.0 時代這種情況會明顯好轉:搭配主動提交等鏈接提交方式,文章發布後第一時間推給百度,一旦被收錄,即使大站轉載,你的原文在搜尋結果中仍然排得更前。更多高品質內容被看見,整個生態也會更健康。
我們現在自己搜尋某個關鍵詞也能發現,收錄時間越近的結果排名越靠前,這主要集中在新聞類文章上,這就是時效性。它對站點的更新頻率提出了更高要求。當然排名不會只取決於發布時間,還有許多維度,但對新聞類內容來說,隨時跟進進度確實很重要。而要做好時效性頁面,站長平台的鏈接提交中的主動推送功能幾乎是唯一的入口。
主動推送的原理是取得一串 16 位英文數字組合的字串,做成數據推送接口,以最快速度把數據送出去。這功能開放半年來,參與提交的站點接近 10 萬個,日提交數據量 5000 萬;提交數據平均被抓取的時間比爬蟲自行發現早約 4 小時,當天收錄率達到 60%~100%。也就是說,多數站點用這個功能的效果都不錯。