搜索引擎每天處理數以億計的查詢,每一次查詢背後都是一個具體的信息需求。多數時候,返回的結果滿足了這些需求——這意味著結果中的某些頁面,對特定用戶的特定需求產生了價值。那麼,頁面價值具體指什麼?為什麼值得研究?技術上如何判斷?
對搜索引擎而言,所有可能對用戶產生價值的頁面都是它有價值的,把它們建入索引能滿足檢索到它們的用戶需求——這種價值稱為「檢索價值」。判斷標準有兩條:能否解決某個特定需求,以及能否通過常規搜索方式抵達。
舉個例子。小學生張三在空間裡寫日記,記錄前天吃了什麼、今天玩了什麼。這些內容對他的家人、同學、老師,以及對小學生日記感興趣的人來說是有價值的,「張三」這個名字就是檢索的關鍵詞。
反過來看,一張百度大廈附近的地圖,從瀏覽角度有價值,但如果周圍沒有任何文字說明或鏈接錨文本,就幾乎不具備檢索價值。若哪天圖像識別技術能自動讀出「百度大廈附近地圖」以及圖中的街道、餐館名稱,這張圖的檢索價值就會出現。
那麼沒有檢索價值的頁面對搜索引擎毫無意義嗎?也不是。索引只是搜索系統的一個環節。對負責抓取的爬蟲而言,某些頁面本身沒有檢索價值,但通過抓取與分析能幫助系統更快確認「這一類頁面沒有檢索價值」,從而節省抓取資源用於更有效的目標。這算是一種間接價值,本文不再展開,後文所稱「頁面價值」特指檢索價值。
原因有四,對應搜索系統的四個關鍵場景。
收錄控制。互聯網頁面近乎無窮,而硬件資源有限。用有限資源覆蓋無限內容,就必須做取捨:不收錄無檢索價值的頁面,少收錄價值低的頁面。
爬蟲調度。出於訪問友好性考慮,對單一站點或IP的抓取速率存在上限。在這一約束下,抓取與更新必須排優先級,排序依據正是頁面價值(未抓取時則是對價值的預測)。
死鏈率與時效性。有些頁面內容變化後檢索價值從有到無,典型如死鏈與被入侵頁面,需要盡快移出索引或在檢索時屏蔽;另一些頁面價值高且時效性強,越快收錄對體驗提升越明顯。以多快的節奏收錄與更新,需要價值分析來指導。
排序。理想狀態下結果按相關性排序,但相關性相近時,用戶更青睞普遍意義上價值更高的頁面。
可以說,頁面價值研究是搜索技術中相當基礎的工作,判斷的準確程度直接影響覆蓋率、死鏈率、時效性等核心指標。
回到張三的例子。他的日記對同學家人有價值;而某位知名企業家在社區裡發佈的十幾字短文,對其上千萬關注者同樣有價值。雖然後者篇幅遠小於前者,但我們都會同意:從普遍意義上講,後者的價值更大(當然,對張三的媽媽而言結論可能相反)。
再舉一例。搜索某人的手機號碼,返回的是他在某論壇的一條回帖。關心這個號碼的人很少,但由於資源絕對稀缺,對這個查詢需求而言該頁面不可替代,因此價值極高。
此外,相似頁面在滿足需求上的表現差異很大——下載速度、頁面佈局、廣告數量,這些差異構成「頁面質量」。最後,有些內容具有明顯的公眾話題性質,產生時關注度極高,隨時間推移迅速降溫,具備「時效性」特徵。
綜合起來,一個頁面的檢索價值主要受四個要素影響:受眾、稀缺、質量、時效性。
受眾規模代表需求的規模,主要從信息發布源與內容本身兩方面評估。具體觀察維度包括:
站點忠實用戶群。擁有穩定用戶群的知名站點,其成功源於內容與服務更能滿足需求。因此可推論:忠實用戶更多的站點,其內容的既有與潛在受眾也更大。這個指標的優點在於動態性——站點變差,用戶會用實際行為投票。相比之下,外鏈存在過期與作弊問題,而虛假的用戶群體難以偽造。
資源分佈規律。以新聞門戶首頁的推薦位為例,編輯為什麼推這些內容?因為他們判斷這是用戶最感興趣的。從價值角度看,相當於有一支龐大的編輯團隊已經為這些內容打上了「符合大眾口味」的標籤。因此,資源相對於首頁、頻道頁等結構性頁面的鏈接深度,也可以作為受眾規模的衡量依據。
訪問熱門度。最直接的指標,但需要可靠的第三方數據支撐。通過這一途徑獲取的不僅是待入庫頁面,還有用戶的訪問模式。
外部鏈接。鏈接在某種程度上是受眾規模的映射——質量越高、接觸面越廣的資源,自然獲得的正常鏈接通常越多。
內容特徵。同樣的發布源,「傳言某相聲演員要上春晚」的潛在受眾必然高於「我今天吃了早飯」。即在來源相同時,具備公眾屬性的內容得分更高。
稀缺描述的是頁面在互聯網中的獨特性。提到稀缺容易聯想到重複,但兩者並不等價。
某人發佈了一篇原創評論,隨後被大型門戶轉載到新聞頻道。從內容主體看這是重複,但轉載帶來了訪問速度與穩定性的提升,且後續用戶可能用「事件關鍵詞+站點名」的形式檢索——這稱為站點增益。同時,轉載過程可能調整標題,依托更大的受眾還會積累更多有價值的評論與相關鏈接——這稱為內容增益。因此即使主體內容未變,這次轉載也是有價值的,稀缺度並不低。
反過來,若轉載方是不知名的站點,無法帶來任何增益,甚至在頁面裡塞滿干擾閱讀的廣告,或者只轉了不完整的一部分,那這種采集就是純重複,相對源頭沒有檢索價值。
結論是:對主體內容重複的頁面,應評估其是否存在站點增益與內容增益;只有大量完全無增益的重複頁面,才應判定為低稀缺。
質量體現的是頁面對需求的滿足程度,判斷應由基礎到高階遞進。
第一層:不能是死鏈,站點需具備基本穩定性,訪問速度要令人滿意。第二層:主體內容是否完整、版式與字體是否易讀、廣告是否過多。第三層:信息是否豐富、延伸的次級需求是否被滿足。
典型的低質量特徵包括:主需求未被滿足(過期分類信息、失效下載鏈接)、死鏈、虛假或詐騙信息、空白頁、站點不穩定、需要註冊或積分才能查看基本信息、內容不完整、瀏覽體驗差。
典型的高質量特徵則是:加載與下載速度快、頁面整潔且主體內容位置顯著、信息完整、頁面元素豐富(圖文、評論、相關推薦等)。
時效性一般體現在兩方面:一是頁面描述的對象本身具有較強的公眾話題性,易於傳播(本質上是受眾問題);二是僅在首發階段有較高熱度,隨時間顯著下降(即「新聞性」)。若爬蟲發現頁面的時間正處於該事物的爆發期或爆發前,可判定其具備時效性。
需要區分的是,廣義時效性指所有有價值新資源的及時收錄,但其中大部分(如知識科普、個人日記)的收錄速度對體驗改善意義有限。狹義的時效性特指那些最需要第一時間被檢索到的頁面。做這種判斷的目的,是把有限資源投入到邊際收益最高的地方。
判斷途徑主要有三:頁面自身受眾是否在短時間內突增(如外部鏈接爆發);描述相同事物的頁面是否在短時間內大量湧現;以及根據某個頁面集合是否具備上述特徵,推測該集合的時效性價值。
從技術角度看,這一方向的工作主要聚焦三處:
其一,價值體系本身的完善。現有的四維框架是否全面?在不斷變化的網絡環境與用戶需求下,這些維度應當如何擴展,才能更好地服務於整體搜索體驗。
其二,特徵提取。巧婦難為無米之炊,挖掘更多有效特徵、提升提取的準確性與合理性,是判定準確率提升的基礎。
其三,組合策略。針對不同應用場景,需要用合適的特徵通過高效策略擬合出最終的價值評價結果,這通常依賴機器學習方法。
對站長而言,這套框架的實踐含義很清晰:寫作時優先選擇有真實受眾的話題,避免製造無增益的重複內容,把頁面質量做紮實,並在熱點相關時把握時效窗口。