DIV CSS 佈局教程網

讓搜尋引擎看懂 JavaScript:動態頁面的解析難題
編輯:JavaScript綜合知識     

過去很长一段时间,站長們用 JavaScript 來實作網頁的動態行為,理由五花鳥門:加快回應速度、降低流量、隱藏連結、嵌入廣告等等。但早期搜尋引擎並不具備執行腳本的能力,導致在索引這類網頁時經常出問題——可能漏掉有價值的資源,也可能把正常的動態手法誤判為作弊。

引入 JavaScript 解析的目的,正是為了同時解決這兩頭的困擾,讓搜尋引擎看到的內容更接近使用者實際打開頁面時的樣子。舉例來說,有些網站會把使用者評論、評分等資訊從 HTML 中抽離,改用 JavaScript 甚至 AJAX 在使用者開啟頁面時才動態載入。對早期搜尋引擎而言,這時候能取得的頁面內容是残缺的,進而影響它對該頁面索引價值的判斷。

要實作這樣一套解析系統,必須同時考慮設計與實作、解析速度,以及對系統其他部分的影響。以下透過幾個典型案例,說明該如何設計並實作網頁 JavaScript 解析,並簡述它對搜尋引擎其他環節的影響。

一、發現頁面連結

一般來說,頁面連結以 HTML 的 A 標籤形式存在,URL 寫在 href 屬性裡。但實際上有些網站會採取更「動態」的方式,常見的有兩種:動態寫入或調整 A 標籤;在使用者點擊時觸發事件,改變預設的連結開啟方式。

1. 動態寫入或調整連結標籤

抽象地說,網頁要達到這樣的效果(乃至後文描述的其他效果),跟「把大象放進冰箱」非常類似,都是三步:找到要寫入或修改的目標(找到大象)、準備好要寫入的內容(打開冰箱門)、執行寫入或修改(把大象放進去)。

這三步對應到 JavaScript,就是三組標準的瀏覽器功能:頁面元素定位、資料準備、頁面修改。那麼 JavaScript 解析要做的事,就是同樣提供這些函式,讓站長的腳本在執行過程中自然地暴露出它想做的內容與行為。

所需實作的函式大致如下,其中較簡單的包括:

document.getElementById                       // 定位
document.getElementsByTagName        // 定位
document.getElementsByClassName      // 定位
node.[firstChild/nextSibling/previousSibling/parentNode]  // 定位
document.[createElement/createTextNode]        // 建立連結
node.[appendChild/insertBefore/innerHTML = ?]      // 寫入內容
element.getAttribute, element.setAttribute       // 設定屬性
element.href = ?                              // 設定屬性

至於要寫入的內容,可能是以陣列等形式存在於 JavaScript 中,也可能是透過 AJAX 動態載入。前者屬於語言的內建功能,這裡不再贅述;後者是一個獨立話題,後文會專門討論。

2. 點擊時觸發事件改變連結行為

頁面這麼做的原因各異:有的是為了隱藏連結,有的是為了彈出視窗,有的是程式需要拼接 URL,還有的只是想先檢查一下該不該開啟。但這些原因對應的實作方法卻是同一個:添加 click 事件。

添加 click 事件有三種途徑:

1. 把 A 標籤的 href 設為 "javascript:func(...)" 的形式;
2. 設定 A 標籤的 onclick 屬性,寫成 onclick="js_code";
3. 呼叫事件綁定函式,例如 my_link_node.addEventListener('click', func, false)。

支援這三種寫法本身並不難,真正的難點在於如何觸發這些 click 事件,以及觸發之後如何攔截到最終的目標 URL。

就觸發而言,首先必須收集到所有可能的 click 事件,然後依序觸發。但對每一個要觸發的 click 來說,實際觸發之前都必須先確認它還存在——因為在它之前的那些 click,很可能已經把目前這個節點刪掉了。

就攔截而言,前提是要先實作相關的頁面跳轉函式,也就是 location.href = ?、window.open 這類。接著透過設定一系列標記,把這次點擊與後續的頁面跳轉關聯起來,如此就能取得目標 URL。

二、動態頁面內容

動態內容是一種提升載入速度、增強技術彈性的手段。把會變動的內容(評論、評分等)抽出來,頁面就分成靜態與動態兩部分:靜態內容可以用快取加速顯示、降低流量;動態內容則格式簡單、易於生成,同時也能節省頻寬。

但另一方面,動態內容也是載入廣告與進行內容作弊的重要手法,最常見的就是寫入 iframe——對早期搜尋引擎而言,這種做法隱蔽性極高。

在技術層次上,動態頁面內容所需的工作與前面「動態寫入或調整 A 標籤」在很大程度上相同,這裡要額外處理的是經典的 document.write。

這個方法是最早的 JavaScript 功能之一,用來直接往頁面寫入一段 HTML 程式碼,至今仍在廣泛使用。早期搜尋引擎對它多半有所支援,但手法基本停留在字串比對,只能處理「直接寫入一個 JavaScript 字串」這種最單純的形式,遇到稍微複雜的文字拼接就無能為力。而對 JavaScript 解析來說,這段程式碼終究必須符合語言規範,因此可以做到完整支援,包括文字拼接、條件判斷,甚至混淆過的程式碼。

這裡還有一個需要討論的情況:巢狀的 document.write,也就是用 document.write 寫入一個 SCRIPT 標籤,而該標籤內部又是另一段 document.write。這類寫法在跳轉作弊頁面中屢見不鮮。要支援它,光有 JavaScript 解析並不足夠,還需要 HTML 解析器本身能處理巢狀的 HTML 寫入,這裡就不深入了。

完成上述工作後,無論是網頁的主體資訊,還是廣告或其他輔助資訊,都會被完整暴露出來,搜尋引擎也就更能理解站長的真正意圖。

三、網頁跳轉

網頁跳轉在某些情境下是達成頁面效果的必要選擇,但同樣常被用於作弊。技術上多以下列兩種方式出現:

1. 直接呼叫頁面跳轉函式;
2. 針對搜尋引擎的 UA、referer 等,有條件地呼叫頁面跳轉函式。

要做到識別,最核心的就是實作頁面跳轉函式,也就是 location 物件。由於這是技術上唯一的 JavaScript 跳轉途徑,所以不管頁面的程式碼怎麼寫、怎麼混淆,最終都會呼叫到它。因此,儘管不同頁面的跳轉程式碼看起來五花八門,真正要識別出來反而簡單。

四、關於 AJAX

AJAX 是極為常見的網頁技術,本質上就是在頁面顯示期間,動態地從網路上取得一段資料(可能是 HTML,也可能是其他格式),處理後再呈現出來。

對這項技術而言,真正的工作重點並不在於 XMLHttpRequest 物件的實作,而在於它對搜尋引擎爬蟲架構的衝擊。爬蟲的設計是「抓取頁面、遍歷其中的連結、再依序抓取」,工作重心在於調度與控制抓取壓力,抓取器本身通常相當單純,不具備「抓完立刻執行 JavaScript 並回頭抓 AJAX 資料」的能力。要支援 AJAX,架構層面必須升級才行。對抓取器的分析已超出本文範圍,有興趣的讀者可以參考其他文獻。

總結

透過前面的案例分析,我們可以整理出實作 JavaScript 解析所需的基本工作,再加上一些基礎建設,就能構成一套較完整的系統。歸納起來是三部分:

1. 在 HTML 解析器中嵌入 JavaScript 語言引擎,引擎可以選用 V8、SpiderMonkey 等成熟開源方案。

2. 實作所需的功能函式,具體可參考 W3C 的 HTML 與 DOM 規範。

3. 作為一個直接推論:需要收錄所謂的 .js 檔案,這是 JavaScript 解析要「解析」的原始碼來源。

本文中介紹的功能只是一部分較常見的部分。要讓搜尋引擎真正看到實際的頁面,還需要進一步實作其他功能,並搭配對 HTML、CSS、圖片等資源的支援。

給站長的建議

1. 不要使用過於複雜的 JavaScript 技術。過度動態化的頁面不利於收錄,也讓內容的可理解性下降。

2. 不要阻擋 .js 檔案的收錄。一旦爬蟲拿不到外部腳本,解析能力就大打折扣。

3. 合理劃分靜態與動態部分。核心內容應該在原始 HTML 中就存在,動態腳本只用來處理真正需要即時性的部分。這條原則到今天依然是「可抓取性」的判斷基準。

by Lileding | 文章來源:百度搜索研發部官方博客

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved