正如學 SEO 無法一蹴而就,搜尋引擎的智能化同樣任重道遠。它目前是網路上算法最複雜的系統之一,主流服務商雖有雄厚的人力財力,卻仍要面對諸多技術挑戰。十多年來技術雖大有長進,但這只是開始,未來還有許多創新與更精準的呈現空間。總體而言,搜尋引擎大致面臨五方面挑戰:
一、頁面抓取要快而全面。網路是動態的,每天都有海量頁面新增與更新。要找到最有用的內容,就得抓取最新頁面。但頁面數量龐大,蜘蛛每更新一次資料庫都要耗時良久——早期這個週期常以月計,如今主流引擎已能在幾天內更新重要頁面,高權重網站的新內容甚至幾分鐘就被收錄。但這種快速更新仍限於高權重站,許多頁面幾個月不被抓取也時有發生。此外,鏈接結構缺陷、大量使用 Flash 或 JavaScript、把內容藏在需登入才能訪問的頁面,都會增加抓取難度。
二、海量資料存儲。單是一個大型網站就可能有成千萬個頁面,全網加起來更是天文數字。抓取後還要有效存儲,資料結構要準確合理、具備擴展性,讀寫要求極高。此外還要存儲頁面間的連結關係與大量歷史資料。我們偶爾看到排名刷新後變動、甚至資料丟失,很可能都與大規模存儲的技術難題有關。
三、索引處理要快速有效且具可擴展性。抓取並存儲後,還要進行索引處理,包括連結關係計算與正向、倒排索引等。由於資料庫頁面龐大,PR 之類的計算既耗時又費力,而隨時都有新資料加入,因此索引處理必須具備良好的擴展性。
四、查詢返回要快速準確。查詢是用戶唯一能看到的環節——輸入關鍵詞、點擊搜索,通常不到一秒便出結果。這看似最簡單的背後,其實涉及極複雜的處理:要在不到一秒內,從數千萬包含該詞的頁面中,找出最合理、最相關的一千個,並按相關性與權威性排序。
五、判斷用戶意圖與人工智能。前四項如今已能較好解決,但判斷用戶意圖仍處初級階段。不同用戶搜同一關鍵詞,想要的東西可能完全不同——例如搜「小米」,究竟想要食物、手機,還是電影《手機》的資訊?缺乏上下文與對用戶習慣的了解,就無從判斷,也難以智慧呈現。
搜尋引擎正致力於依用戶搜索習慣與歷史資料,綜合判斷意圖、返回更精準的結果。至於能否真正達到人工智能般的意圖判斷,估計還有很長的路要走。SEO 實戰中也常見一些不可思議的現象,例如某些論壇資料量為零、關鍵詞設置也很差,快照卻更新及時、排名還穩居首頁——這不過是冰山一角。可見搜尋引擎要做到更準確、更相關、更智能,恐怕仍任重而道遠。
完成本課的 SEOer,也閱讀了 SEO 課程培訓免費教程系列。