本文將分享如何使用 Node.js 與 MongoDB 打造一個簡易的日誌分析系統,涵蓋服務器端、客戶端、圖表生成與 Shell 自動執行等功能,並附完整程式碼。
在最近的專案中,為了便於分析,我把日誌都存成了 JSON 格式,並存入 MongoDB。日誌只存起來沒有意義,關鍵是從中發現業務趨勢與系統效能漏洞。過去用 Java 寫的分析模組運行在 Tomcat 下,顯得重量級,新增指標的流程也繁瑣。一直想改寫,最初想用 Ruby on Rails,卻遲遲沒有時間。後來接觸到 Node.js,便產生了用它實作日誌分析系統的想法——前端用 JS、服務器用 JS,連數據庫的 Shell 都是 JS,最關鍵的是程式碼量小。
為了快速開發,直接沿用官網聊天 Demo 的 fu.js(封裝了 URL 處理與回傳 JSON),重寫 server.js:
HOST = null; // localhostPORT = 8001;var fu = require("./fu"), sys = require("util"), url = require("url"), mongo = require("./request_handler");fu.listen(Number(process.env.PORT || PORT), HOST);fu.get("/", fu.staticHandler("index.html"));
處理請求的 request_handler.js 則負責查詢 MongoDB 並回傳 JSON:
fu.get("/userActionTop10", function(req, res){ mongodb.connect('mongodb://localhost:27017/log', function(err, conn){ conn.collection('action_count', function(err, coll){ coll.find({"value.action":{$in:user_action}}).sort({"value.count":-1}).limit(10).toArray(function(err, docs){ // 組裝 action 與 count 陣列後回傳 res.simpleJSON(200, {action:action, count:count}); conn.close(); // 記得關閉連線 }); }); });});
日誌系統最重要的是可視化顯示,這裡使用 jQuery 的圖表外掛 jqPlot。先建立一個靜態 HTML 作為圖形容器,引入 jQuery、jqPlot 及相關外掛後,在 chart.js 中透過 AJAX 向服務器請求資料並繪製長條圖:
$.ajax({ async:false, url: '/userActionTop10', dataType:'json', success:function(data){ $.jqplot('userActionTop10Chart', [data.count], { title: "TOP 10 User Action", seriesDefaults:{ renderer:$.jqplot.BarRenderer }, axes: { xaxis: { renderer: $.jqplot.CategoryAxisRenderer, ticks: data.action } } }); }});
並透過 window.setTimeout(drawAllCharts, 5 * 60 * 1000) 讓圖表每五分鐘自動刷新。
為了方便,把 MapReduce 寫在獨立的 stats.js 中,透過 crontab 定時執行:
var action_count_map = function(){ emit(this.action, {action:this.action, count:1});}var action_count_reduce = function(key, values){ var count = 0; values.forEach(function(value){ count += value.count; }); return {action:key, count : count};}db.log.mapReduce(action_count_map, action_count_reduce, {query : {'action_count' : {$ne:1}},out: {reduce:'action_count'}});db.log.update({'action_count':{$ne:1}}, {$set:{'action_count':1}}, false, true);
思路很簡單:map 中把每個 action 的訪問次數設為 1;reduce 中統計相同 action 的次數;執行 mapReduce 時指定查詢為未統計過的記錄,並以 reduce 選項將結果作為下次輸入;最後把已統計的記錄標記為 1。定時執行的 shell 為:
*/5 * * * * root cd /root/log; mongo localhost:27017/log stats.js
以上就是全部程式碼,沒有什麼玄妙之處,不過 Node.js 真的是個好用的工具。