如今不少web2.0程序,最大的瓶頸往往卡在數據庫的吞吐量上。可問題是,你怎麼確認系統瓶頸真的出在數據庫?只有先鎖定它是全系統的瓶頸,才值得花力氣去優化它——畢竟,還有那麼多需求排著隊等我們去做。
如何確定數據庫是瓶頸?
1 若程序設計良好、設有數據庫操作邏輯層,就能從這層的統計數據看到每個請求的耗時。一旦平均耗時已讓你無法忍受,數據庫多半就是瓶頸了。
2 在數據庫服務器上跑top命令,看MySQL佔用資源的情況和機器的平均負載。若平均負載已很高、MySQL吃掉了將近100%的CPU,說明它忙不過來了。
3 用iostat命令看磁盤IO,若阻塞的操作偏多,說明數據庫操作過於頻繁,磁盤都快應付不來。
4 建議打開MySQL的慢查詢日誌,grep一下select,看慢查詢的數量。數量偏多,就該調整了。
5 若某天數據庫突然插不進數據,得查查是不是表太大了。32位系統下,單表最大容量約為2^32。我仍建議加上一個數據庫操作邏輯層,在操作前後記錄耗時並統計上報,用監控程序提前報警,這樣能及早發現瓶頸、爭取優化時間。
確認瓶頸後,如何優化?
1 先看數據庫容量是不是太大。表太大,索引文件也會跟著膨脹,每次更新就更耗時。這時就得考慮分庫分表了。分庫分表按一定規則把記錄分區存儲,一方面能分擔負載、把請求平攤下來,另一方面也讓我們能存下、操作更多數據。不過分庫分表要改動原本基於單庫的程序,存在風險,所以最好在設計之初就把它納入考量,把數據庫操作層獨立出來,方便日後擴展和調整。
2 若表不算大、查詢卻慢,就要檢查SQL語句。用MySQL的explain看看是否用上了索引,沒用上就在相應字段建索引,反覆用explain驗證,直到找到合適的那個。建索引時要考慮:索引越少越好(每次更新都得維護索引,過多會拖慢寫入);把最窄的字段放在鍵的左邊,以提高基數、優化讀寫;盡量避免file sort排序、臨時表和全表掃描(大表全掃會引發大量磁盤IO);對大表盡量別把索引建在字符串列上,字符串匹配很費時,實在需要就先把字符串hash成整數再建索引。
3 若更新偏慢、而讀操作的實時性要求不高,可以考慮用MySQL主從熱備來分攤讀寫壓力。數據庫操作向來寫少讀多,把寫操作放到主服務器,讀操作分散到多個熱備上,就能把讀請求均衡開來,提升讀性能。
4 用好緩存。緩存是一切後台程序的根本,因為80%的請求只對應20%的數據,用少量內存把這20%緩存起來,就能大幅滿足系統需求。具體可在MySQL設置中儘量加大key cache、thread cache和查詢cache;在應用層加一層memcached這類通用緩存;對數據量小卻操作頻繁的表,使用MySQL提供的內存heap表,能獲得極高的讀寫速度。
5 在數據庫設計上動腦筋。傳統設計講究建模範式、避免冗餘髒數據,但實際應用中要靈活取捨。以論壇為例,用戶、主題、回復相互關聯,若把用戶跟主題、回復分開存,每次查一篇帖子或一條回復都要聯查用戶表與主題表、回復表。數據量小時聯查尚可接受,可一旦表到了三四十萬行以上,聯查速度就會明顯變慢。該範式化的地方要範式化,但也得結合實際設計表結構,在性能與良好設計之間找到折中。
其它要點:數據庫操作建議分層處理,至少分成邏輯層與cache層,從一開始就這麼做,日後劃分部署、分庫分表擴展都會很方便;增加MySQL監控,盯緊慢查詢日誌和請求情況;根據需要選擇存儲引擎——MyISAM讀寫快但因表鎖定無法同時快速讀寫,InnoDB支持事務、提供行級鎖但表空間較大且不支持全文索引,heap把表放進內存、適合小而頻繁操作的場景但並非持久化;並善用show slave status、show processlist、show status等狀態檢測命令。