DIV CSS 佈局教程網

用 XMLHTTP 送出表單與 Cookie:ASP 抓取程式的關鍵細節
編輯:AJAX基礎知識     

用 XMLHTTP 製作抓取程式的細節已經被討論過很多次,但實作時許多人會發現:ASP 版本似乎不如 PHP 版本那麼靈活。原因通常在於,如果目標網站存在表單提交或 Cookie 驗證,ASP 若不借助基於 Socket 的元件就難以完成。而其實 XMLHTTP 另外兩個方法一直被忽略,那正是問題的關鍵。

一、.send():把表單送出去

由於早期流行的做法多用 GET 傳輸參數,許多人便忽略了 send()。用它送資料其實很簡單,就是 send("內容");但要送表單就沒這麼直觀,因為中文值牽涉到編碼問題。

首先在 open() 時要確定使用 POST:

.open("POST", 地址, 是否同步)

接著在 send() 裡放入表單內容。假設表單有三個欄位 A、B、C,對應值為 1、2、3,那麼:

.send("A=1&B=2&C=3")

這樣就能提交表單了。但別高興得太早——若欄位值含中文,直接這樣送會出錯。這裡要借助 escape() 函式,熟悉 JavaScript 的朋友應該都知道它的作用,而 VBScript 同樣支援這個函式:

.send("A=" & escape("值1") & "&B=" & escape("值2") & "&C=" & escape("值3"))

二、.setRequestHeader():補上缺少的標頭

接續上面的情況:資料已經送出去了,對方卻收不到,為什麼?因為 HTTP 標頭裡少了一個東西,用這個方法補上即可:

.setRequestHeader("Content-Type", "application/x-www-form-urlencoded")

這是在告訴對方:我送來的是一份 URL encoded 格式的表單。

三、傳送 Cookie 與 Session

說完表單提交,來看 Cookie。做法同樣是利用這個函式在 HTTP 標頭中加上內容。假設目前手上的 Cookie 字串是:

cdb_sid=ybBiK0; cdb_cookietime=315360000; cdb_oldtopics=D869008D;
cdb_visitedfid=1D45; cdb_auth=AQYHXVFDGERdsggVQA1VYUgxQDwFVV1dUAlwFAFRXVwU%2FbAIJB1lUCg;
cdb_fid45=1113370145

那麼直接這樣送即可:

.setRequestHeader("Cookie", "cdb_sid=ybBiK0; cdb_cookietime=315360000; ...")

有些網站的頁面還會檢查來源,這也不難:

.setRequestHeader("Referer", "來路的絕對位址")

四、把整個流程串起來

實作上通常分兩段:先登入取得 Cookie,再帶著 Cookie 送出後續請求。

Dim logxml, idpw, postxml, info, cookie

idpw = "id=abc&pw=pass"
Set logxml = Server.CreateObject("Microsoft.XMLHTTP")
logxml.Open "POST", "https://myserver/login", False
logxml.Send idpw
cookie = logxml.getResponseHeader("Set-Cookie")

info = "title=hello&content=world"
Set postxml = Server.CreateObject("Microsoft.XMLHTTP")
postxml.Open "POST", "https://myserver/post", False
postxml.setRequestHeader("Cookie", cookie)
postxml.Send info

這裡用到的是 getResponseHeader() 與 setRequestHeader() 一對方法:前者把伺服器回應中的標頭讀出來,後者把標頭寫進下一次請求。

幾個實務提醒

  • 這個方法本質上是在改寫 HTTP 標頭,因此無法變更既有的標頭欄位,只能新增。
  • 要把對方頁面的 Cookie 完整取出再轉送,需要逐標頭處理,Set-Cookie 只是一切的起點。
  • 抓取第三方網站前,請先確認對方的使用條款與 robots 規範,並控制請求頻率,避免對目標站造成負擔;涉及登入驗證或需授權的資料,更應取得明確同意。
XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved