多年來我們都知道 Google 的爬蟲具備閱讀 JavaScript 的能力,但一直不清楚它究竟是真理解了自己抓到的東西,還是僅僅在易於解析的結構裡做機械式的連結蒐集。週五,一位 Google 發言人向媒體確認:他們所做的工作遠超簡單的語法分析——「Google 能夠分析並理解某些 JavaScript」。

這句話的分量在於:爬蟲的工作可能不只是取得頁面裡的連結,而是能像使用者一樣與程式互動——發現其他搜尋系統看不到的內容。某種意義上,這重新定義了什麼叫「被抓取」。
當然,Google 對這項能力的說明一直相當保留。在它自家站點搜尋的文件中,曾明確表示無法索引帶 JavaScript 的內容;一些索引入門教材也寫著爬蟲「無法處理富媒體內容或動態網頁」。
但仔細檢查伺服器日誌就會發現,Google 現在確實能索引到那些並非直接寫在原始碼裡的連結。關鍵前提在於:爬蟲只有在確定自己能執行部分程式碼時,才能理解整段邏輯的意義。
一家獨立搜尋公司的執行長在受訪時表示,理解 JavaScript「是一個非常深刻、難度極大且極為經典的計算科學難題」。他進一步解釋,Google 的努力方向之一,是判斷程式碼在網頁中是否存在停止執行的情況——而「停止問題」在理論上是不可判定的。也就是說,迄今沒有已知演算法能在任意時間點告訴你一個程式是否陷入無限迴圈,這一點在數學上已有證明。
他的公司目前是以人工方式檢查索引,並標註哪些地方可能簡化這個複雜問題,同時判斷一個程式是否向另一個程式發起資料請求。這或許正是 Google 目前在做的事。
另一位熟悉 Google 的人士認同這個判斷:用一個程式去分析另一個程式本身就極其困難,能執行 JavaScript 幾乎是現階段的技術上限。
如果爬蟲真的開始執行部分程式碼,那麼幾個實務結論值得注意:
第一,靠 JavaScript 動態生成、使用者看不到的連結,不再安全——爬蟲有能力發現它。
第二,重要內容與主要導航應該寫在 HTML 裡,不要依賴腳本渲染。這不只是為了抓取,也是為了載入速度與可訪問性。
第三,頁面的實際呈現與原始碼之間的落差,會被越來越準確地識讀。試圖用腳本製造「給爬蟲看」和「給人看」兩套內容,風險只會越來越高。
技術在進步,但方向始終一致:讓頁面對人和對機器都同樣清晰。