在 Node.js 的生態裡,若要在伺服器端發送 HTTP 請求,request 模組絕對是許多人早期最愛用的利器。它把原本繁瑣的 http 操作包裝得相當直覺,幾行程式碼就能完成抓取網頁、上傳檔案、登入驗證等任務,同時原生支援 https 與自動重定向。

最簡單的用法只要三個步驟:引入模組、傳入網址、在回呼函式裡處理回應。
var request = require('request'); request('https://www.google.com', function (error, response, body) { if (!error && response.statusCode == 200) { console.log(body) // 印出 google 首頁 } })
request 天生就與 Node.js 的串流機制相輔相成。任何回應都能直接透過 pipe 輸出到檔案:
request('https://google.com/doodle.png').pipe(fs.createWriteStream('doodle.png'))
反過來,也能把本機檔案塞進 PUT 或 POST 請求中。若沒有自訂 header,request 會依副檔名自動判斷並設定對應的 content-type。
fs.createReadStream('file.json').pipe(request.put('https://mysite.com/obj.json'))
有趣的是,請求也能 pipe 給自己,這種情況下原始的 content-type 與 content-length 都會被保留下來。
request.get('https://google.com/img.png').pipe(request.put('https://mysite.com/img.png'))
request 同時支援 application/x-www-form-urlencoded 與 multipart/form-data 兩種表單格式。前者寫法相當簡潔:
request.post('https://service.com/upload', {form:{key:'value'}})
也可以拆成兩步來寫:
request.post('https://service.com/upload').form({key:'value'})
至於 multipart/form-data,你完全不必操心 header 的細節,request 會替你把一切安排妥當:
var r = request.post('https://service.com/upload') var form = r.form() form.append('my_field', 'my_value') form.append('my_buffer', new Buffer([1, 2, 3])) form.append('my_file', fs.createReadStream(path.join(__dirname, 'doodle.png')) form.append('remote_file', request('https://google.com/doodle.png'))
request.get('https://some.server.com/').auth('username', 'password', false);
或者採用物件寫法:
request.get('https://some.server.com/', { 'auth': { 'user': 'username', 'pass': 'password', 'sendImmediately': false } });
其中 sendImmediately 預設為 true,會直接送出基本的認證 header。設為 false 後,會等到收到 401 才重試(此時伺服器的 401 回應必須帶有 WWW-Authenticate 來指定認證方式)。而當 sendImmediately 為 true 時,則支援 Digest 認證。
// Twitter OAuth var qs = require('querystring') , oauth = { callback: 'https://mysite.com/callback/' , consumer_key: CONSUMER_KEY , consumer_secret: CONSUMER_SECRET } , url = 'https://api.twitter.com/oauth/request_token' ; request.post({url:url, oauth:oauth}, function (e, r, body) { // Ideally, you would take the body in the response // and construct a URL that a user clicks on (like a sign in button). // The verifier is only available in the response after a user has // verified with twitter that they are authorizing your app. var access_token = qs.parse(body) , oauth = { consumer_key: CONSUMER_KEY , consumer_secret: CONSUMER_SECRET , token: access_token.oauth_token , verifier: access_token.oauth_verifier } , url = 'https://api.twitter.com/oauth/access_token' ; request.post({url:url, oauth:oauth}, function (e, r, body) { var perm_token = qs.parse(body) , oauth = { consumer_key: CONSUMER_KEY , consumer_secret: CONSUMER_SECRET , token: perm_token.oauth_token , token_secret: perm_token.oauth_token_secret } , url = 'https://api.twitter.com/1/users/show.json?' , params = { screen_name: perm_token.screen_name , user_id: perm_token.user_id } ; url += qs.stringify(params) request.get({url:url, oauth:oauth, json:true}, function (e, r, user) { console.log(user) }) }) })
User-Agent 之類的標頭都能在 options 物件裡設定。以下範例呼叫 GitHub API 查詢某個儲存庫的收藏數與派生數,並自帶了自訂的 User-Agent 與 https:
var request = require('request'); var options = { url: 'https://api.github.com/repos/mikeal/request', headers: { 'User-Agent': 'request' } }; function callback(error, response, body) { if (!error && response.statusCode == 200) { var info = JSON.parse(body); console.log(info.stargazers_count +"Stars"); console.log(info.forks_count +"Forks"); } } request(options, callback);
預設情況下 cookie 是關閉的。只要在 defaults 或 options 中把 jar 設為 true,後續請求就會共用同一份 cookie。
var request = request.defaults({jar: true}) request('https://www.google.com', function () { request('https://images.google.com') })
若想使用自訂的 cookie 而非全域的 cookie jar,可以建立 request.jar() 的新實例:
var j = request.jar() var request = request.defaults({jar:j}) request('https://www.google.com', function () { request('https://images.google.com') })
也可以更細緻地逐筆設定:
var j = request.jar() var cookie = request.cookie('your_cookie_here') j.setCookie(cookie, uri, function (err, cookie){}) request({url: 'https://www.google.com', jar: j}, function () { request('https://images.google.com') })
要留意的是,setCookie 至少需要三個參數,最後一個是回呼函式。若想下載圖片檔案,用 pipe 就能輕鬆取得檔案串流:
var request = require('request'), fs = require('fs'); request('https://www.google.com.hk/images/srpr/logo3w.png').pipe(fs.createWriteStream('doodle.png'));
更多用法可參考官方專案頁面:https://github.com/mikeal/request/
這裡分享一個實際案例,用來抓取去哪兒網的酒店查詢資料,取得某段時間內各房型的價格排名:
var request = require('request'), fs = require('fs'); var reqUrl = 'https://hotel.qunar.com/price/detail.jsp?fromDate=2012-08-18&toDate=2012-08-19&cityurl=shanghai_city&HotelSEQ=shanghai_city_2856&cn=5'; request({uri:reqUrl}, function(err, response, body) { //console.log(response.statusCode); //console.log(response); //如果數據量比較大,就需要對返回的數據根據日期、酒店ID進行存儲,如果獲取數據進行對比的時候直接讀文件 var filePath = __dirname + '/data/data.js'; if (fs.exists(filePath)) { fs.unlinkSync(filePath); console.log('Del file ' + filePath); } fs.writeFile(filePath, body, 'utf8', function(err) { if (err) { throw err; } console.log('Save ' + filePath + ' ok~'); }); console.log('Fetch ' + reqUrl + ' ok~'); });
這個需求源自一位從事酒店業務的朋友,他想知道自家網站提供給客戶的價格究竟有沒有競爭力:
1、價格壓得太低,利潤自然變薄,因此當自家價格已經是最低時,就得關注次低的價格是多少,再決定是否調整;
2、價格定得太高,搜尋排名就會往後掉,客人不願下訂,生意也就跟著流失。
由於他手上合作的酒店超過兩千家,若全靠人工逐一比對排名,既被動又難以規模化。仔細評估後,這個需求不僅可行,還能做成一套即時預警系統(頁面每 5~10 分鐘會自動刷新一次資料),藉此保障利潤最大化、提升業務與客服部門的效率,並加速酒店合作數量與團隊的擴張:
1、絕不做賠本生意;
2、一旦偵測到價格過低或過高,需能呼叫平台 API 直接改價;
3、具備自動報表分析功能,用來追蹤對手在價格策略上的調整變化。