DIV CSS 佈局教程網

用 Shell 腳本打造 Linux 系統與行程資源監控
編輯:關於JavaScript     

伺服器維運最日常的工作之一,就是盯住各種資源指標:CPU 負載、記憶體、磁碟使用率、行程數量、埠狀態。一旦越過門檻就發出告警,才能把事故擋在爆發之前。本文用 Shell 逐一實作這些常見的監控需求。

本文涵蓋的監控項目

1. 檢查行程是否存在
2. 檢測行程 CPU 利用率
3. 檢測行程記憶體使用量
4. 檢測行程句柄使用量
5. 查看某個 TCP/UDP 埠是否在監聽
6. 統計某個行程名的執行個數
7. 檢測系統整體 CPU 負載
8. 檢測系統磁碟空間

一、檢查行程是否存在

同一台主機上,不同使用者可能各跑著同名行程,因此取 PID 時最好把使用者一起帶進條件。下面的 GetPID 函式接受使用者名與行程名兩個參數,先用 ps 撈出資訊,再用 grep 過濾、最後以 sed 與 awk 取出第一筆 PID。

function GetPID #User #Name
{
  PsUser=$1
  PsName=$2
  pid=`ps -u $PsUser | grep $PsName | grep -v grep | grep -v vi | grep -v dbx \
  | grep -v tail | grep -v start | grep -v stop | sed -n 1p | awk '{print $1}'`
  echo $pid
}

使用方式:

PID=`GetPID root CFTestApp`
echo $PID
# 11426

如果行程根本沒啟動,$PID 會是空值,可以據此判斷:

if [ "-$PID" == "-" ]
then
  {
    echo "The process does not exist."
  }
fi

這裡用到的四個工具值得記住:ps 查看瞬間行程快照;grep -v 反向過濾;sed -n 1p 取出第一行;awk 則是 Linux 下最強力的文字處理語言,逐行掃描並對符合模式的行做運算。

二、檢測行程 CPU 利用率

業務被 CPU 打滿導致請求排隊甚至 timeout,是常見的線上故障。下面的函式抓出指定 PID 的 CPU 百分比並只取整數部分(多核環境下數值可能超過 100):

function GetCpu
{
  CpuValue=`ps -p $1 -o pcpu | grep -v CPU | awk '{print $1}' | awk -F. '{print $1}'`
  echo $CpuValue
}

再包一層門檻判斷,這裡以 80% 為例:

function CheckCpu
{
  PID=$1
  cpu=`GetCpu $PID`
  if [ $cpu -gt 80 ]
  then
  { echo "The usage of cpu is larger than 80%" }
  else
  { echo "The usage of cpu is normal" }
  fi
}

實測輸出 75%,低於門檻,判定為正常。

三、檢測行程記憶體使用量

記憶體洩漏或訊息堆積會讓行程慢慢吃光可用記憶體而崩潰(32 位元程式可位址空間僅 4G)。以下函式用 vsz 取得虛擬記憶體並換算成 MB:

function GetMem
{
  MEMUsage=`ps -o vsz -p $1 | grep -v VSZ`
  (( MEMUsage /= 1000))
  echo $MEMUsage
}

門檻設為 1.6G:

mem=`GetMem $PID`
if [ $mem -gt 1600 ]
then
{ echo "The usage of memory is larger than 1.6G" }
else
{ echo "The usage of memory is normal" }
fi

實測 248M,屬正常範圍。

四、檢測行程句柄使用量

Linux 對單一行程可開啟的檔案數有上限,可用 ulimit -n 或查看 /etc/security/limits.conf 得知。句柄洩漏同樣會拖垮服務,統計方式很直觀:

function GetDes
{
  DES=`ls /proc/$1/fd | wc -l`
  echo $DES
}
des=`GetDes $PID`
if [ $des -gt 900 ]
then
{ echo "The number of des is larger than 900" }
else
{ echo "The number of des is normal" }
fi

實測 528 個,未超過 900 的告警線。wc -l 用來統計行數,-c 統計位元組,-w 統計字數。

五、檢查埠是否在監聽

行程、CPU、記憶體都正常,但埠沒起來,服務一樣是掛的。下面的函式分別統計 TCP 與 UDP 的監聽情形:

function Listening
{
  TCPListeningnum=`netstat -an | grep ":$1 " \
  | awk '$1 == "tcp" && $NF == "LISTEN" {print $0}' | wc -l`
  UDPListeningnum=`netstat -an | grep ":$1 " \
  | awk '$1 == "udp" && $NF == "0.0.0.0:*" {print $0}' | wc -l`
  (( Listeningnum = TCPListeningnum + UDPListeningnum ))
  if [ $Listeningnum == 0 ]
  then
  { echo "0" }
  else
  { echo "1" }
  fi
}
isListen=`Listening 8080`
if [ $isListen -eq 1 ]
then
{ echo "The port is listening" }
else
{ echo "The port is not listening" }
fi

netstat -a 列出所有 Socket,-n 直接顯示 IP 而不走 DNS 反查。若想搭配更完整的正則語法,可改用 egrep:

tcp: netstat -an | egrep $1 | awk '$6 == "LISTEN" && $1 == "tcp" {print $0}'
udp: netstat -an | egrep $1 | awk '$1 == "udp" && $5 == "0.0.0.0:*" {print $0}'

六、統計同名行程執行個數

有時需要確認某個服務有沒有意外被重複啟動:

Runnum=`ps -ef | grep -v vi | grep -v tail | grep "[ /]CFTestApp" | grep -v grep | wc -l`

七、檢測系統整體 CPU 負載

單看每個行程都正常,整機負載卻可能已經爆表。這裡用 vmstat 取五次 idle 值平均,再用 100 相減得到實際使用率:

function GetSysCPU
{
  CpuIdle=`vmstat 1 5 | sed -n '3,$p' \
  | awk '{x = x + $15} END {print x/5}' | awk -F. '{print $1}'`
  CpuNum=`echo "100-$CpuIdle" | bc`
  echo $CpuNum
}
cpu=`GetSysCPU`
echo "The system CPU is $cpu"
if [ $cpu -gt 90 ]
then
{ echo "The usage of system cpu is larger than 90%" }
else
{ echo "The usage of system cpu is normal" }
fi

實測 87%,仍在容忍範圍內。vmstat 是 Virtual Memory Statistics 的縮寫,能同時觀察虛擬記憶體、行程與 CPU 活動。

八、檢測磁碟空間

有些業務要持續寫話單、日誌或暫存檔,磁碟寫滿同樣會造成服務中斷:

function GetDiskSpc
{
  if [ $# -ne 1 ]
  then
    return 1
  fi

  Folder="$1$"
  DiskSpace=`df -k | grep $Folder | awk '{print $5}' | awk -F% '{print $1}'`
  echo $DiskSpace
}
Folder="/boot"
DiskSpace=`GetDiskSpc $Folder`
echo "The system $Folder disk space is $DiskSpace%"
if [ $DiskSpace -gt 90 ]
then
{ echo "The usage of system disk($Folder) is larger than 90%" }
else
{ echo "The usage of system disk($Folder) is normal" }
fi

實測 /boot 使用 14%,正常。df -k 以 KB 為單位顯示各檔案系統的用量。

小結

Shell 腳本監控的價值在於輕、快、沒有額外依賴,把上面這些函式串起來放進 crontab,再搭配郵件或簡訊通知,就足以覆蓋絕大多數基礎設施的告警需求。除了資源指標,同樣的手法也能拿來看日誌、檢查資料檔是否更新,值得投資時間整理成自己的一套路工具箱。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved