1. 爬行與抓取
搜索引擎派出被稱為「蜘蛛」的程序去發現並抓取網頁。它從已知數據庫出發,像用戶瀏覽器一樣訪問頁面,並跟蹤頁內鏈接訪問更多網頁——這個過程就是爬行。正因為跟蹤鏈接是蜘蛛發現新網址的最基本方式,反向鏈接才成為 SEO 的核心因素之一。抓取到的頁面會原樣存入數據庫。
2. 索引
蜘蛛抓取的頁面會被分解、分析,並以巨大表格的形式存入數據庫,這一過程即索引。網頁的文字內容、關鍵詞位置、字體、顏色、加粗、斜體等信息,都會被記錄下來。
3. 搜索詞處理
用戶輸入關鍵詞並點擊搜索後,程序會對搜索詞做處理,如中文分詞、去除停止詞、判斷是否啟動整合搜索、檢查拼寫或錯別字等,且必須極快完成。
4. 排序
處理完搜索詞後,搜索引擎從索引庫中找出所有相關網頁,並依排名算法計算出先後順序,最後按一定格式返回搜索結果頁。
搜索引擎最核心的數據結構是倒排文件(倒排索引)。簡單說,就是「用文檔的關鍵詞作為索引、文檔作為索引目標」的結構,類似普通書籍末尾的索引——關鍵詞是條目,頁碼是目標。相比傳統 SQL 查詢,倒排文件能為海量數據提供高效的檢索服務。