DIV CSS 佈局教程網

用 Node.js 與 MongoDB 實作簡易日誌分析系統
編輯:JavaScript綜合知識     

本文將分享如何使用 Node.js 與 MongoDB 打造一個簡易的日誌分析系統,涵蓋服務器端、客戶端、圖表生成與 Shell 自動執行等功能,並附完整程式碼。

背景

在最近的專案中,為了便於分析,我把日誌都存成了 JSON 格式,並存入 MongoDB。日誌只存起來沒有意義,關鍵是從中發現業務趨勢與系統效能漏洞。過去用 Java 寫的分析模組運行在 Tomcat 下,顯得重量級,新增指標的流程也繁瑣。一直想改寫,最初想用 Ruby on Rails,卻遲遲沒有時間。後來接觸到 Node.js,便產生了用它實作日誌分析系統的想法——前端用 JS、服務器用 JS,連數據庫的 Shell 都是 JS,最關鍵的是程式碼量小。

一、用 Node.js 實作服務器端

為了快速開發,直接沿用官網聊天 Demo 的 fu.js(封裝了 URL 處理與回傳 JSON),重寫 server.js:

HOST = null; // localhost
PORT = 8001;
var fu = require("./fu"),
  sys = require("util"),
  url = require("url"),
  mongo = require("./request_handler");
fu.listen(Number(process.env.PORT || PORT), HOST);
fu.get("/", fu.staticHandler("index.html"));

處理請求的 request_handler.js 則負責查詢 MongoDB 並回傳 JSON:

fu.get("/userActionTop10", function(req, res){
  mongodb.connect('mongodb://localhost:27017/log', function(err, conn){
    conn.collection('action_count', function(err, coll){
      coll.find({"value.action":{$in:user_action}}).sort({"value.count":-1}).limit(10).toArray(function(err, docs){
        // 組裝 action 與 count 陣列後回傳
        res.simpleJSON(200, {action:action, count:count});
        conn.close(); // 記得關閉連線
      });
    });
  });
});

二、客戶端

日誌系統最重要的是可視化顯示,這裡使用 jQuery 的圖表外掛 jqPlot。先建立一個靜態 HTML 作為圖形容器,引入 jQuery、jqPlot 及相關外掛後,在 chart.js 中透過 AJAX 向服務器請求資料並繪製長條圖:

$.ajax({
  async:false,
  url: '/userActionTop10',
  dataType:'json',
  success:function(data){
    $.jqplot('userActionTop10Chart', [data.count], {
      title: "TOP 10 User Action",
      seriesDefaults:{ renderer:$.jqplot.BarRenderer },
      axes: { xaxis: { renderer: $.jqplot.CategoryAxisRenderer, ticks: data.action } }
    });
  }
});

並透過 window.setTimeout(drawAllCharts, 5 * 60 * 1000) 讓圖表每五分鐘自動刷新。

三、用 MongoDB 增量式 MapReduce 實現日誌分析

為了方便,把 MapReduce 寫在獨立的 stats.js 中,透過 crontab 定時執行:

var action_count_map = function(){
  emit(this.action, {action:this.action, count:1});
}
var action_count_reduce = function(key, values){
  var count = 0;
  values.forEach(function(value){ count += value.count; });
  return {action:key, count : count};
}
db.log.mapReduce(action_count_map, action_count_reduce, {query : {'action_count' : {$ne:1}},out: {reduce:'action_count'}});
db.log.update({'action_count':{$ne:1}}, {$set:{'action_count':1}}, false, true);

思路很簡單:map 中把每個 action 的訪問次數設為 1;reduce 中統計相同 action 的次數;執行 mapReduce 時指定查詢為未統計過的記錄,並以 reduce 選項將結果作為下次輸入;最後把已統計的記錄標記為 1。定時執行的 shell 為:

*/5 * * * * root cd /root/log; mongo localhost:27017/log stats.js

以上就是全部程式碼,沒有什麼玄妙之處,不過 Node.js 真的是個好用的工具。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved