正文
經歷過這麼多家公司,監控系統大致都是從無到有,該踩的坑也都踩過了。所謂監控系統,整體架構大致如下:
◆ 在伺服器上部署一個 Agent,負責採集數據;
◆ 數據透過網際網路轉發到一個分散式管道再接續,就像搭積木一樣逐層串接;
◆ 進行匯總之後,把監控數據分成兩個部分:
● 一是資料庫存儲,主要用於監控數據展示與後續排查問題。
● 二是設定各類監控報警項。
報警項有些很簡單,例如 CPU 超過 90% 就觸發;也有些較複雜,例如 60 秒內超過兩次才報警,後來還支援了集群類型的報警監控。這個模組本身並不複雜,主要是依據若干公式對監控數據進行判斷,一旦發現異常便產生訊息並往上一個模組傳遞——我們在這裡只做判斷,不做報警。之後會有一個模組負責各種後端報警,如今不少公司使用的微信報警、短信報警等,都在這部分支援。
◆ 存儲部分
豆瓣、百度、360 等後端瑣碎的事情比較多,不過也有採用 MySQL 的。實際上這部分也很單純,可以把它理解為一個分散式的 Linux,把數據往文件資料庫裡傳,上層則是一個 Web 端。以上便是整體架構。
◆ 每一個模組只專注做好一件事,並且把它做到精細而優秀。
● 後續再細化模組內部的具體內容。
● 要具備可擴展性(scalable)與靈活性(flexible),能任意橫向擴展,適應各種防火牆 ACL。
● 在 360 的時候機房眾多,各種防火牆 ACL 不勝枚舉,加上旗下還有不少子公司,會出現各種各樣的訪問情境。要適應不同系統,就得透過一些模組來因應。
◆ 注重程式碼複用。
整套系統除去網路框架,每個模組的程式碼都控制在一百行以內,而且是用 C 語言撰寫的。我們最後把網路框架都封裝進一個多執行緒的網路庫裡。
技術量。
就藝龍而言,目前系統規模相對較小,每天產生約 160GB;360 則是每天 500GB,百度離開太久就不清楚了。這樣的數據量算是相當可觀,可以說這套系統就像一個人為打造的 DDoS 系統。每個監控端的採集項目,我們在藝龍相對較少,每台伺服器大約兩百多個監控項,預設頻率是每 5 秒採集一次,換算下來每秒大約有四十多條數據在採集。
這套系統基本上不能做 Cache,必須即時運算。因為做過服務端的人都明白,監控系統一旦延遲報警,還不如不報。報警出了問題,就要盡可能快地把訊息傳出去。除非遇到不可控因素,例如短信網關或運營商發送延遲等。結論是,九成以上的情況都要保證使用者在 15 秒內手機能收到通知。這對我們在各種環節下盡量壓低延遲提出了很高的要求,換句話說,就是高可用。這種監測系統作為伺服器的基礎架構存在,其可用性必須比線上服務更高,因為它發揮最大作用的時刻,往往正是公司出大問題的時候,這時它必須扛得住各種網路狀況,把真實情況即時回傳。因此,這種系統對線上可用性的要求,至少要高出線上服務一個數量級。像 CPU 連續五次 90% 才報警,如果數據中出現任何遺漏,都可能導致報警失效。因此對數據完整性的要求也相當高——無論哪個模組宕機或網路隔離,都不允許出現任何遺失。
高吞吐。
這套系統是典型的寫入多、讀取非常隨機的過程。讀取取決於大家對數據項的查看、匯總與作圖需求,因此基本上一個月內的數據都要能隨時調出。高吞吐也是我們面臨的主要難題之一。
多平台。
百度主要用 Linux,Windows 用得較少。百度的挑戰在於機器數量龐大,像千分之一的異常情況,在百度幾乎每天都能出現上百台。之前同事做過相關分享,提到在伺服器吞吐量特別大時,連千分之一的小概率都要納入考量。360 用的是 FreeBSD,藝龍則以 Windows 為主,大約占伺服器的一半。