一個稱職的SEO工程師,一定要理解搜尋引擎的工作原理。百度與 Google 的架構大致相似,細節各異(例如分詞技術),由於國內以百度為主,後續課程會以它為對象,但基礎觀念同樣適用於 Google。
整體架構可以拆成四個部分:爬蟲、數據分析系統、索引系統、查詢系統。
蜘蛛其實就是搜尋引擎的自動抓取程式。它的工作很單純:在網路上漫遊、發現資訊、把內容抓回伺服器並建立索引。你可以把它想像成一個訪客——它來拜訪你的網站,把內容複製一份帶走。
抓取流程大致是這樣一個迴圈:
發現連結 → 下載網頁 → 存入臨時庫 → 提取頁內連結 → 再下載 → 循環。
蜘蛛幾乎全天候運轉,抓回來的頁面則交由分析系統處理。
有。如果隨機亂抓,網路上每天新增的龐大頁面根本抓不完,所以必須有策略。

蜘蛛在一頁發現連結就沿著爬下去,在下一頁再發現連結又繼續往下,一路抓到底。如上圖所示,若 A 頁在演算法中的權威度最高、D 頁最低,採用深度優先時,抓取路徑會由 A 一路走到 D。

先把整個頁面的所有連結抓完一次,再進入下一層。這也就是大家常說的扁平化結構——那些提醒你「頁面層級不要太深」的文章,講的正是這個道理。
深度與寬度孰優並無絕對,實務上兩者併用:遇到權重不錯的連結走深度優先,權重低的則走寬度優先。而權重高低主要取決於兩點——層級的深淺,以及該連結的外鏈數量與質量。層級太深是否就一定不被抓?也不是絕對,還涉及更多邏輯層面的因素,進階課程再細談。
昨天蜘蛛來過,今天你在同一頁加了新內容,它就會再來抓一次。重訪分兩種:
全部重訪:在一段時間後,把上次抓過的連結整批重新訪問一次。
單個重訪:針對更新頻率高且穩定的頁面。如果某頁一個月都不動,蜘蛛第一次來是這個樣子,第二次還是這個樣子,第三次就不來了,改為間隔一段時間再訪,或等全部重訪時一併更新。
抓回來的網頁會進入分析階段,主要包括:
1. 網頁結構化:把 HTML 標籤剝除,只留下純內容。
2. 消噪:在結構化之後,進一步只留下主題內容,去掉版權、導航等雜訊。
3. 查重:比對重複頁面與重複內容,命中即刪除。
4. 分詞:把正文切成詞並排列,存入索引庫,同時統計該詞在此頁出現的次數。
5. 鏈接分析:統計此頁的反向連結、匯出連結與內部連結數量與質量,並據此為頁面計算權重分值——這一步,也正是我們日常做外鏈與內鏈時真正在影響的環節。