DIV CSS 佈局教程網

NodeJS url 可用性驗證模組 url-valid 解析
編輯:JavaScript基礎知識     

用 JavaScript 檢驗 url,最常見的做法是正則表達式:

/^https?:\/\//.test(url);

此外也有更嚴謹的選擇,例如依 RFC 3986、3966、4694、4759、4904 等標準實作的 valid-url 套件。

但無論格式多嚴密,都無法回答一個問題:這個 url 真的存在嗎?於是有了 url-valid——它基於實際的 HTTP 請求來驗證。

介面設計

需求其實很單純:傳入一個 url,回呼告知是否可用。但網路請求容易產生未知錯誤,所以回呼多帶一個 error 參數,不為空即代表有錯誤發生。我們可能還希望取得網頁的相關資料,未來用在頁面資訊擷取上。最後,盡量支援鏈式操作。因此使用起來大概是這樣:

valid(url)
    .on('check', function (err, status) {
        if (err) throw err;
        status ?
            console.log('url 是可用的') :
            console.log('url 是不可用的');
    })
    .on('data', function (err, data) {
        console.log(data);
    })
    .on('end', function (err, data) {
        console.log('請求結束');
    })

幾個實作決策

HTTP GET 還是 HEAD?原本想用 HEAD,因為它只回傳標頭、能省下不少時間。但 HEAD 並非所有連結都支援,最後改用 GET,並在拿到正確的 statusCode 後立刻 abort() 掉請求,兼顧相容性與效能。

處理 301–303。這幾個狀態碼都代表重新導向,必須繼續檢查對應的 Location 是否依然存在,因此實作上會遞迴驗證新的位址。

用 process.nextTick 延後執行。為了確保監聽器註冊完成後才開始請求,把實際動作放進 process.nextTick。

完整實作

/*!
 * valid
 * MIT Licensed
 */

module.exports = (function () {
    'use strict';

    var http  = require('http')
      , https = require('https')
      , EventEmitter = require('events').EventEmitter
      , URL = require('url')
      , urlReg = /^(https?):\/\//;

    /**
     * Valid
     * @class
     */
    function Valid(url, callback) {
        var that = this;
        this.url = url;
        this.emitter = new EventEmitter();
        // 延後到監聽器註冊後才送出請求
        process.nextTick(function () {
            that.get(url);
        });
        this.fetch = false;
        callback && this.emitter.on('check', callback);
    }

    Valid.prototype = {
        constructor: Valid,

        /**
         * get
         * @param {String} url
         */
        get: function (url) {
            var match = url.match(urlReg)
              , that  = this;

            if (match) {
                var httpLib = (match[1].toLowerCase() === 'http') ? http : https
                  , opts = URL.parse(url)
                  , req;

                opts.agent  = false;
                opts.method = 'GET';

                req = httpLib.request(opts, function (res) {
                    var statusCode = res.statusCode;

                    if (statusCode === 200) {
                        that.emitter.emit('check', null, true);

                        // 只有註冊了 data 監聽才實際讀取內容
                        that.fetch ?
                            (res.on('data', function (data) {
                                that.emitter.emit('data', null, data);
                            }) && res.on('end', function () {
                                that.emitter.emit('end');
                            })) :
                            (req.abort() || that.emitter.emit('end'));

                    } else if (300 < statusCode && statusCode < 304) {
                        // 重新導向:中斷目前請求,改驗證 Location
                        req.abort();

                        var emitter = that.emitter
                          , valid = one(URL.resolve(url, res.headers.location),
                              function (err, valid) {
                                  emitter.emit('check', err, valid);
                              });

                        that.fetch && valid.on('data', function (err, data) {
                            emitter.emit('data', err, data);
                        });

                        valid.on('error', function (err) {
                            that.emitter.emit('error', err);
                        });

                        valid.on('end', function () {
                            that.emitter.emit('end');
                        });

                    } else {
                        that.emitter.emit('check', null, false);
                    }

                    res.on('error', function (err) {
                        req.abort();
                        that.emitter.emit('data', err);
                    });
                });

                req.on('error', function (err) {
                    req.abort();
                    return that.emitter.emit('check', null, false);
                });

                req.end();

            } else {
                // 非 http/https 開頭,直接判定不可用
                return that.emitter.emit('check', null, false);
            }
        },

        /**
         * on
         * @param {String} event
         * @param {Function} callback
         */
        on: function (event, callback) {
            // 註冊 data 監聽代表需要實際抓取內容
            (event === 'data') && (this.fetch = true);
            this.emitter.on(event, callback);
            return this;
        },

        /**
         * destroy
         */
        destroy: function () {
            this.emitter.removeAllListeners();
            this.url = undefined;
            this.emitter = null;
            this.fetch = undefined;
        },

        /**
         * removeAllListeners
         */
        removeAllListeners: function (event) {
            event ?
                this.emitter.removeAllListeners(event) :
                this.emitter.removeAllListeners();
            return this;
        },

        /**
         * listeners
         */
        listeners: function (event) {
            if (event) {
                return this.emitter.listeners(event);
            } else {
                var res = []
                  , that = this
                  , _push = Array.prototype.push;

                Object.keys(this.emitter._events).forEach(function (key) {
                    _push.apply(res, that.emitter.listeners(key));
                });
                return res;
            }
        }
    }

    /**
     * one
     * @param {String} url
     * @param {Function} callback
     * @return {Valid}
     */
    function one(url, callback) {
        return (new Valid(url, callback));
    }

    one.one = one;
    return one;
})();

幾處設計細節值得留意:opts.agent = false 關閉連線池,避免請求被 hold 住;fetch 旗標讓「只做可用性檢查」時能立刻切斷連線,不浪費頻寬;重新導向時用 URL.resolve 把相對路徑補成絕對位址再遞迴驗證;而 one 函數自我掛載 one.one = one,讓模組同時能作為建構器與工具函數使用。

最後要提醒的是,基於 HTTP 請求的可用性檢查會產生真實流量,大量使用時應加入逾時控制與並發限制,否則容易被目標站台視為異常請求。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved