搜索引擎的工作可以拆成四個部分:抓取、過濾、索引、檢索。前面幾篇我們講了抓取與過濾,這次進入索引環節。索引的本質是「預處理」,核心命題只有一個——相關性。
理解這一步,後面所有的優化動作才有依據。以下十個環節按處理順序展開。
搜索引擎對文字內容的解析能力最強,對圖片、視頻的解析能力相對薄弱。這直接決定了一條基本原則:站內站外更新內容都應以文字為主,只有在確有必要時才補充其他形態。
「的」「了」「啊」「呀」「呢」這類詞語幾乎出現在每一個中文網頁中,區分度極低,因此不會被建立索引。這也解釋了為什麼關鍵詞堆砌裡摻入大量虛詞毫無意義。
搜索引擎在解析頁面時會區分區域權重:標題與正文區域獲得較高權重,導航、側欄、頁腳等非正文內容則被賦予較低權重。所以關鍵詞想拿到好位置,就應該出現在正文裡,而不是側邊欄或頁腳。
英文靠空格天然分詞,中文必須靠算法切分。常見策略包括:
同時搜索引擎依賴自有的詞庫來判斷詞語組合的合理性,最終得出內容的相關性與可讀性評估。這也提示我們: Cohérence 的寫作——句子通順、主題集中——本身就是一種可被機器識別的質量信號。
搜索引擎會把全網同主題頁面放在一起做橫向對比。信任度高、投票多、關鍵詞佈局合理且相關性強的頁面,自然會被排到更前面。
重複內容會被識別並過濾。人為堆砌、語句不自然的關鍵詞,屬於典型的高風險行為。
兩種索引結構各有用途:正排索引以網頁為主體、關鍵詞為集合,便於按頁取內容;倒排索引以關鍵詞為主體、網頁為集合,便於按詞找頁。檢索環節主要依賴倒排索引。
搜索引擎會計算鏈接的相關性與傳遞分值。站內鏈接與站外鏈接都應與所在內容主題相關,相關性越強,傳遞的分值越高。
搜索引擎會把新頁面與全網已有內容比對。抄襲或高度相似的頁面可能被直接過濾,不入庫;而信任度高的站點在相似度判定上通常會獲得更多寬容。
搜索引擎會對頁面內容做加密摘要(如 MD5)以快速比對,並進一步用向量方式衡量相似度:方向衡量主題是否一致,模長衡量內容份量與差異。兩者結合,判斷一篇內容相對於既有語料究竟有多原創。

把這十個環節串起來看,會發現所有優化要點其實都是同一件事的不同側面:讓內容更容易被讀懂、更容易被區分、更容易被信任。