用 JavaScript 檢驗 url,最常見的做法是正則表達式:
/^https?:\/\//.test(url);
此外也有更嚴謹的選擇,例如依 RFC 3986、3966、4694、4759、4904 等標準實作的 valid-url 套件。
但無論格式多嚴密,都無法回答一個問題:這個 url 真的存在嗎?於是有了 url-valid——它基於實際的 HTTP 請求來驗證。
需求其實很單純:傳入一個 url,回呼告知是否可用。但網路請求容易產生未知錯誤,所以回呼多帶一個 error 參數,不為空即代表有錯誤發生。我們可能還希望取得網頁的相關資料,未來用在頁面資訊擷取上。最後,盡量支援鏈式操作。因此使用起來大概是這樣:
valid(url)
.on('check', function (err, status) {
if (err) throw err;
status ?
console.log('url 是可用的') :
console.log('url 是不可用的');
})
.on('data', function (err, data) {
console.log(data);
})
.on('end', function (err, data) {
console.log('請求結束');
})
HTTP GET 還是 HEAD?原本想用 HEAD,因為它只回傳標頭、能省下不少時間。但 HEAD 並非所有連結都支援,最後改用 GET,並在拿到正確的 statusCode 後立刻 abort() 掉請求,兼顧相容性與效能。
處理 301–303。這幾個狀態碼都代表重新導向,必須繼續檢查對應的 Location 是否依然存在,因此實作上會遞迴驗證新的位址。
用 process.nextTick 延後執行。為了確保監聽器註冊完成後才開始請求,把實際動作放進 process.nextTick。
/*!
* valid
* MIT Licensed
*/
module.exports = (function () {
'use strict';
var http = require('http')
, https = require('https')
, EventEmitter = require('events').EventEmitter
, URL = require('url')
, urlReg = /^(https?):\/\//;
/**
* Valid
* @class
*/
function Valid(url, callback) {
var that = this;
this.url = url;
this.emitter = new EventEmitter();
// 延後到監聽器註冊後才送出請求
process.nextTick(function () {
that.get(url);
});
this.fetch = false;
callback && this.emitter.on('check', callback);
}
Valid.prototype = {
constructor: Valid,
/**
* get
* @param {String} url
*/
get: function (url) {
var match = url.match(urlReg)
, that = this;
if (match) {
var httpLib = (match[1].toLowerCase() === 'http') ? http : https
, opts = URL.parse(url)
, req;
opts.agent = false;
opts.method = 'GET';
req = httpLib.request(opts, function (res) {
var statusCode = res.statusCode;
if (statusCode === 200) {
that.emitter.emit('check', null, true);
// 只有註冊了 data 監聽才實際讀取內容
that.fetch ?
(res.on('data', function (data) {
that.emitter.emit('data', null, data);
}) && res.on('end', function () {
that.emitter.emit('end');
})) :
(req.abort() || that.emitter.emit('end'));
} else if (300 < statusCode && statusCode < 304) {
// 重新導向:中斷目前請求,改驗證 Location
req.abort();
var emitter = that.emitter
, valid = one(URL.resolve(url, res.headers.location),
function (err, valid) {
emitter.emit('check', err, valid);
});
that.fetch && valid.on('data', function (err, data) {
emitter.emit('data', err, data);
});
valid.on('error', function (err) {
that.emitter.emit('error', err);
});
valid.on('end', function () {
that.emitter.emit('end');
});
} else {
that.emitter.emit('check', null, false);
}
res.on('error', function (err) {
req.abort();
that.emitter.emit('data', err);
});
});
req.on('error', function (err) {
req.abort();
return that.emitter.emit('check', null, false);
});
req.end();
} else {
// 非 http/https 開頭,直接判定不可用
return that.emitter.emit('check', null, false);
}
},
/**
* on
* @param {String} event
* @param {Function} callback
*/
on: function (event, callback) {
// 註冊 data 監聽代表需要實際抓取內容
(event === 'data') && (this.fetch = true);
this.emitter.on(event, callback);
return this;
},
/**
* destroy
*/
destroy: function () {
this.emitter.removeAllListeners();
this.url = undefined;
this.emitter = null;
this.fetch = undefined;
},
/**
* removeAllListeners
*/
removeAllListeners: function (event) {
event ?
this.emitter.removeAllListeners(event) :
this.emitter.removeAllListeners();
return this;
},
/**
* listeners
*/
listeners: function (event) {
if (event) {
return this.emitter.listeners(event);
} else {
var res = []
, that = this
, _push = Array.prototype.push;
Object.keys(this.emitter._events).forEach(function (key) {
_push.apply(res, that.emitter.listeners(key));
});
return res;
}
}
}
/**
* one
* @param {String} url
* @param {Function} callback
* @return {Valid}
*/
function one(url, callback) {
return (new Valid(url, callback));
}
one.one = one;
return one;
})();
幾處設計細節值得留意:opts.agent = false 關閉連線池,避免請求被 hold 住;fetch 旗標讓「只做可用性檢查」時能立刻切斷連線,不浪費頻寬;重新導向時用 URL.resolve 把相對路徑補成絕對位址再遞迴驗證;而 one 函數自我掛載 one.one = one,讓模組同時能作為建構器與工具函數使用。
最後要提醒的是,基於 HTTP 請求的可用性檢查會產生真實流量,大量使用時應加入逾時控制與並發限制,否則容易被目標站台視為異常請求。