伺服器維運最日常的工作之一,就是盯住各種資源指標:CPU 負載、記憶體、磁碟使用率、行程數量、埠狀態。一旦越過門檻就發出告警,才能把事故擋在爆發之前。本文用 Shell 逐一實作這些常見的監控需求。
1. 檢查行程是否存在
2. 檢測行程 CPU 利用率
3. 檢測行程記憶體使用量
4. 檢測行程句柄使用量
5. 查看某個 TCP/UDP 埠是否在監聽
6. 統計某個行程名的執行個數
7. 檢測系統整體 CPU 負載
8. 檢測系統磁碟空間
同一台主機上,不同使用者可能各跑著同名行程,因此取 PID 時最好把使用者一起帶進條件。下面的 GetPID 函式接受使用者名與行程名兩個參數,先用 ps 撈出資訊,再用 grep 過濾、最後以 sed 與 awk 取出第一筆 PID。
function GetPID #User #Name
{
PsUser=$1
PsName=$2
pid=`ps -u $PsUser | grep $PsName | grep -v grep | grep -v vi | grep -v dbx \
| grep -v tail | grep -v start | grep -v stop | sed -n 1p | awk '{print $1}'`
echo $pid
}
使用方式:
PID=`GetPID root CFTestApp` echo $PID # 11426
如果行程根本沒啟動,$PID 會是空值,可以據此判斷:
if [ "-$PID" == "-" ]
then
{
echo "The process does not exist."
}
fi
這裡用到的四個工具值得記住:ps 查看瞬間行程快照;grep -v 反向過濾;sed -n 1p 取出第一行;awk 則是 Linux 下最強力的文字處理語言,逐行掃描並對符合模式的行做運算。
業務被 CPU 打滿導致請求排隊甚至 timeout,是常見的線上故障。下面的函式抓出指定 PID 的 CPU 百分比並只取整數部分(多核環境下數值可能超過 100):
function GetCpu
{
CpuValue=`ps -p $1 -o pcpu | grep -v CPU | awk '{print $1}' | awk -F. '{print $1}'`
echo $CpuValue
}
再包一層門檻判斷,這裡以 80% 為例:
function CheckCpu
{
PID=$1
cpu=`GetCpu $PID`
if [ $cpu -gt 80 ]
then
{ echo "The usage of cpu is larger than 80%" }
else
{ echo "The usage of cpu is normal" }
fi
}
實測輸出 75%,低於門檻,判定為正常。
記憶體洩漏或訊息堆積會讓行程慢慢吃光可用記憶體而崩潰(32 位元程式可位址空間僅 4G)。以下函式用 vsz 取得虛擬記憶體並換算成 MB:
function GetMem
{
MEMUsage=`ps -o vsz -p $1 | grep -v VSZ`
(( MEMUsage /= 1000))
echo $MEMUsage
}
門檻設為 1.6G:
mem=`GetMem $PID`
if [ $mem -gt 1600 ]
then
{ echo "The usage of memory is larger than 1.6G" }
else
{ echo "The usage of memory is normal" }
fi
實測 248M,屬正常範圍。
Linux 對單一行程可開啟的檔案數有上限,可用 ulimit -n 或查看 /etc/security/limits.conf 得知。句柄洩漏同樣會拖垮服務,統計方式很直觀:
function GetDes
{
DES=`ls /proc/$1/fd | wc -l`
echo $DES
}
des=`GetDes $PID`
if [ $des -gt 900 ]
then
{ echo "The number of des is larger than 900" }
else
{ echo "The number of des is normal" }
fi
實測 528 個,未超過 900 的告警線。wc -l 用來統計行數,-c 統計位元組,-w 統計字數。
行程、CPU、記憶體都正常,但埠沒起來,服務一樣是掛的。下面的函式分別統計 TCP 與 UDP 的監聽情形:
function Listening
{
TCPListeningnum=`netstat -an | grep ":$1 " \
| awk '$1 == "tcp" && $NF == "LISTEN" {print $0}' | wc -l`
UDPListeningnum=`netstat -an | grep ":$1 " \
| awk '$1 == "udp" && $NF == "0.0.0.0:*" {print $0}' | wc -l`
(( Listeningnum = TCPListeningnum + UDPListeningnum ))
if [ $Listeningnum == 0 ]
then
{ echo "0" }
else
{ echo "1" }
fi
}
isListen=`Listening 8080`
if [ $isListen -eq 1 ]
then
{ echo "The port is listening" }
else
{ echo "The port is not listening" }
fi
netstat -a 列出所有 Socket,-n 直接顯示 IP 而不走 DNS 反查。若想搭配更完整的正則語法,可改用 egrep:
tcp: netstat -an | egrep $1 | awk '$6 == "LISTEN" && $1 == "tcp" {print $0}'
udp: netstat -an | egrep $1 | awk '$1 == "udp" && $5 == "0.0.0.0:*" {print $0}'
有時需要確認某個服務有沒有意外被重複啟動:
Runnum=`ps -ef | grep -v vi | grep -v tail | grep "[ /]CFTestApp" | grep -v grep | wc -l`
單看每個行程都正常,整機負載卻可能已經爆表。這裡用 vmstat 取五次 idle 值平均,再用 100 相減得到實際使用率:
function GetSysCPU
{
CpuIdle=`vmstat 1 5 | sed -n '3,$p' \
| awk '{x = x + $15} END {print x/5}' | awk -F. '{print $1}'`
CpuNum=`echo "100-$CpuIdle" | bc`
echo $CpuNum
}
cpu=`GetSysCPU`
echo "The system CPU is $cpu"
if [ $cpu -gt 90 ]
then
{ echo "The usage of system cpu is larger than 90%" }
else
{ echo "The usage of system cpu is normal" }
fi
實測 87%,仍在容忍範圍內。vmstat 是 Virtual Memory Statistics 的縮寫,能同時觀察虛擬記憶體、行程與 CPU 活動。
有些業務要持續寫話單、日誌或暫存檔,磁碟寫滿同樣會造成服務中斷:
function GetDiskSpc
{
if [ $# -ne 1 ]
then
return 1
fi
Folder="$1$"
DiskSpace=`df -k | grep $Folder | awk '{print $5}' | awk -F% '{print $1}'`
echo $DiskSpace
}
Folder="/boot"
DiskSpace=`GetDiskSpc $Folder`
echo "The system $Folder disk space is $DiskSpace%"
if [ $DiskSpace -gt 90 ]
then
{ echo "The usage of system disk($Folder) is larger than 90%" }
else
{ echo "The usage of system disk($Folder) is normal" }
fi
實測 /boot 使用 14%,正常。df -k 以 KB 為單位顯示各檔案系統的用量。
Shell 腳本監控的價值在於輕、快、沒有額外依賴,把上面這些函式串起來放進 crontab,再搭配郵件或簡訊通知,就足以覆蓋絕大多數基礎設施的告警需求。除了資源指標,同樣的手法也能拿來看日誌、檢查資料檔是否更新,值得投資時間整理成自己的一套路工具箱。