蜘蛛是搜索引擎的信息來源,站長總希望它多在自己站上待一會兒、多抓幾頁。其實蜘蛛也想多抓——只是互聯網的信息量實在太大,它有時候確實力不能及。這就引出了對蜘蛛本身的一套考核機制。蜘蛛每天也在埋頭幹活,也需要被評價,其中最主要的標準有三條:抓取覆蓋率、抓取時效性、抓取重要性。
到今天為止,沒有任何搜索引擎能抓取互聯網上的全部網頁,所有引擎索引的都只是其中一部分。這裡有個概念叫「暗網」——指蜘蛛按常規方式很難抓到的頁面。蜘蛛依賴頁面中的鏈接去發現新頁面,但大量內容存放在數據庫裡,只能通過檢索交互才能呈現,蜘蛛拿不到入口,用戶自然也就搜不到。
覆蓋率指的是蜘蛛抓取的頁面數佔全網頁面總量的比例。這個比例越高,搜索引擎能納入索引排名的內容量級越大,可參與比較的搜索結果越多,用戶的搜索體驗也越好。所以為了讓搜索結果更精準、更全面,提升覆蓋率至關重要;而除了改進抓取技術本身,如何進入暗網數據已是各大引擎的重要研究方向。
可見覆蓋率是一個基數指標,往後的索引量、排序量、展現量全都建立在它之上。
說到用戶體驗,時效性比覆蓋率更直觀。搜索到一條結果,點進去發現頁面不存在——什麼感受?搜索引擎一直在努力避免這種情況,所以時效性同樣是核心考核點。
互聯網信息量龐大,蜘蛛跑完一輪需要不短的週期。在這段時間內,此前建庫的很多頁面可能已經變動甚至刪除,結果就是索引庫中積壓了一批過期數據。
一句話概括:蜘蛛無法在頁面變化後第一時間把變化同步進網頁庫。由此連帶出三類問題——其一,頁面內容已更新,搜索引擎不及時重新比對,就給不出更合理的排名;其二,排在前列的頁面已被刪除,卻因為沒被抓取更新仍佔據顯要位置,對用戶是實打實的傷害;其三,有人會在收錄之後往頁面裡塞入不良信息,靠舊排名繼續騙取展現,直到下次蜘蛛更新才會被處理。
所以搜索引擎必然希望庫內頁面能及時更新,過期數據越少,時效性越好,對體驗的作用不言自明。
抓得多、更新得快,但如果抓回來的都是低質量內容,一樣不合格。每個網頁的重要性差異很大,這裡存在天然的矛盾:蜘蛛既要幹得多、幹得快,還得幹得好。
的解辦法只能是優先照顧那些能持續產出高質量內容的站點,尤其是定時定量更新的站點,以此盡量避免優質內容被漏掉。如果抓回的頁面大多屬於重要內容,就可以說它在「重要性」這一項上做得不錯。
受限於種種現實條件,搜索引擎蜘蛛只能抓取互聯網的一部分頁面。所以它會在盡可能多抓的同時,優先選擇更重要的那批,並對已入庫的頁面盡快更新——注意,這一切都是「盡可能」,也因此成為各大引擎持續投入的方向。三項都做得出色,用戶體驗必然更好。
這套考核並不是搜索引擎單方面的事,它同時在號召站長協作:主動提交數據能有效擴大蜘蛛的抓取覆蓋率,提交 sitemap 則為抓取更新提供便利。
蜘蛛的工作確實不輕鬆:要多、要快、還要好。所以站長該做的很明確——把鏈接路徑理順、結構做扁平,讓蜘蛛在有限時間內抓到更多有效內容;同時有規律地更新高質量內容,讓它在你的站上幹得好。長期堅持,蜘蛛自然會願意在你這裡花更多時間。反過來,結構混亂、要麼堆垃圾內容要麼乾脆不更新,蜘蛛也只能走走停停——它也有自己的任務要完成。