學習 SEO 的人常在网上看到一句話:搜索引擎蜘蛛跟瀏覽器差不多,都是抓取頁面。那麼,它們到底哪些地方一樣、哪些地方不一樣呢?Ethan 就借助瀏覽器,帶大家理解搜索引擎蜘蛛究竟如何抓取頁面。
先來看一張圖,這是筆者用 firebug(Firefox 瀏覽器一款著名插件)記錄下的瀏覽器抓取本站的情況。



針對圖中標識,Ethan 解釋如下。
1. HTTP 協議開始。HTTP 是典型的請求/響應模式:客戶端向服務器發起請求,雙方建立臨時通道,服務器再返回響應。這裡,瀏覽器是一種客戶端程序,搜索引擎蜘蛛也是一種客戶端程序。客戶端先發送請求行,接著是請求頭信息。圖中左上角有「GET www.***.com」,反映了請求行的內容,而真正的請求行是下面這行,只是 firebug 沒有明示:
「GET / HTTP/1.1」
這行的格式為:
請求方法(get、post 等)+ 一個空格 + 請求的 URL(這裡「/」表示首頁)+ 一個空格 + HTTP 協議版本(現通常是 HTTP/1.1,即 1.1 版)
記住這個格式,我們在服務器日志裡還會看到同樣結構的數據。
請求行後面緊跟著請求頭信息,其中第一行是 host 字段,指明服務器是 www.***.com。這是個網域,透過 DNS 域名解析後變成 IP 地址,也就是服務器的物理地址。
2. IP 地址,後面冒號加 80,表明訪問的是服務器的 80 端口。服務器一直待命、偵聽 80 端口,一旦發現符合 HTTP 協議的頭信息傳來,便與客戶端建立臨時通道,進行內部處理,並把結果透過通道返回。在處理的同時,服務器還能接受其他 HTTP 請求。
3. 客戶端開始接收響應信息,最先到達的是狀態行,真正的狀態行是下面這行,firebug 未明示:
「HTTP/1.1 200 OK」
這裡的 200 就是狀態碼,表示網頁順利打開。
4. 接著,客戶端收到響應頭信息。
5. 最後,客戶端收到響應主體,也就是 HTML 代碼。
6. 注意,這裡正是瀏覽器與搜索引擎蜘蛛的分野:瀏覽器會處理 HTML 代碼,呈現出我們看得懂的網頁;而蜘蛛只負責抓取,把 HTML 代碼存進資料庫,便匆匆趕去抓下一個網頁。搜索引擎在各地都設有蜘蛛服務器,每個服務器同時放出大量蜘蛛,日夜不停地抓取網頁。
7. 注意響應頭信息裡有一行 gzip,表示 HTML 代碼經過了 gzip 壓縮。不過無妨,瀏覽器與搜索引擎蜘蛛都能解壓 gzip 文件。
8. HTML 代碼的大小,若不壓縮遠不止 6k。搜索引擎對網頁文件大小有上限,一種說法是 128k(未壓縮),超過 128k 的內容便不再抓取。
9. 注意 User-Agent,正是請求頭信息裡的這個字段,告訴服務器抓取網頁的是瀏覽器還是搜索引擎蜘蛛。有的服務器為阻止百度蜘蛛抓取,會封禁百度蜘蛛的 User-Agent,可參見百度站長俱樂部發布的百度 Spider User-Agent 字段更新通知。
本文為 www.seowlyx.com 站長梁波(Ethan)原創,轉載請註明,謝謝!