2009 年對大多數人來說是挑戰與機遇並存的一年。金融危機已經成為日常話題,大家一邊抱怨一邊想辦法;技術圈子也一樣,被裁的人多半已經找到了新工作,留下來的繼續踏實做技術。回頭看看那一年踩過的坑,頗有回味價值。
危機往往是電商的机会,2009 年淘寶高速增長。當一個網站的數據規模從百萬、千萬級跳到億、十億、幾十億級時,這已經不是加硬件能解決的問題,必須在整體結構上動刀。那一年,我們大部分精力都花在數據擴展性上。
對電商來說,訂單是最核心也增長最快的數據。傳統而有效的擴展手段是分庫分表,但把訂單拿來分,火花並不大。最大的難點在於分割規則:無規則的水平分割會帶來昂貴的數據合並開銷;按業務規則拆,又因為買家和賣家的查詢需求完全不同而拆不開。唯一可行的方案是把訂單存兩份,買家一份、賣家一份——成本高,而且對數據同步的要求極高。
於是我們一度決定按雙份保存來拆。但某天仔細分析訂單的訪問情況後,結論反了過來:訂單數據庫 90% 以上的壓力來自查詢,而查詢中 90% 以上的壓力又來自非核心業務,只是訂單數據的展示,對一致性和實時性要求都很低。
數據量大導致數據庫壓力大,直覺反應是把壓力分散開,也就是分庫分表。但有時候想問題不妨直接一點:壓力大,能不能乾脆把壓力減小?既然昂貴的主庫有八成以上壓力花在並不重要的讀請求上,那優化空間就在這裡。訂單最後採用讀寫分離:高成本主庫承擔事務和重要查詢,八成以上不重要的讀交給低成本服務器,對數據復制的要求也不高,實現難度不大。
另一個有意思的案例是商品數據擴容。商品按賣家做水平分割非常容易,有了訂單的先例,我們第一反應也是讀寫分離,因為成本能壓低。實施了一段時間後,重新審視商品的整体需求,才發現商品其實不需要和訂單同等的要求——是否一定要用高成本主庫?全部採用低成本普通服務器可行嗎?評估之後發現可以接受。代價是,之前已經啟動的一部分工作白做了。
故事講完總得總結一點什麼。說虛的:對原始需求的清晰理解是系統決策的前提,否則彎路一定要走;而準確理解原始需求並不容易,中途干擾和阻力都不少。上面的例子看起來簡單,但在一個已經運行五年的系統上摸清本質、再動它,難度完全不同。另外,經驗有時反而會成為決策的障礙,這很矛盾,所以需要一點歸零的心態。說到底,回歸本源。
說實的:對大型分佈式系統而言,一個統一的數據層非常必要。它要封裝水平與垂直分割、封裝讀寫分離,還要封裝數據訪問的路由、復制、合並、搬遷、熱點處理等能力,並對應用透明。應用側可以在 JDBC 層包裝,數據庫側則可在協議層包裝,比如 Amoeba。
數據層的早期版本為了做到透明路由,曾經走過「無 SQL」的路線,所有數據庫訪問都靠寫代碼完成。上線後發現一個非常痛苦的問題:沒法和 SQL 對應,排錯極其困難。有一次 DBA 發現數據庫上一個查詢消耗資源過多,把優化後的 SQL 交給開發去改,開發折騰了好幾天都沒找到是哪個查詢。
同一年還有個體會:業界服務化推進得很熱,通信、負載均衡、消息系統、服務容器在系統層面成果不少,但實施一段時間後效果並不理想——依賴複雜、變更混亂、效率低下。根子在於對人的關注不夠,缺少產品化的服務運維,缺少服務治理。
這兩個例子都是同一個毛病。技術人員做系統,注意力多在技術本身,容易忽視技術的創造者與使用者。可測試性是對測試人員的體貼,可維護性和可管理性是對運維人員的體貼,而框架的易用性是對所有使用者的體貼。除非哪天能造出自我進化的 Skynet(《終結者》系列中那套由人類研製、後脫離控制的軍事人工智能防禦系統),否則還是要多想想系統和人之間的交互。
還有一點是業界對可用性這個基本指標關注不夠。幾乎所有框架都在誇自己的擴展性和性能,卻很少提監控有多強、排錯有多容易,也很少提故障時如何隔離、如何降級。從這個角度看,商用產品確實成熟得多。搜索性能相關的文章一大堆,各種策略各種方法,而可用性方面系統性的知識實在不多——當然,也可能是我了解得有限。
回顧過去,展望未來。2010 年可做的事情還很多:面向服務系統的隔離與降級、系統可維護性的提升、協程與異步模式在 Web 應用中的全面落地……
免責聲明:我很現實,為了解決問題和完成工作可以不擇手段,並且不太懂「架構」到底是什麼意思。以上觀點如有雷同,純屬巧合;如有異議,歡迎拍磚。
個人簡介:岳旭強,淘寶網技術專家。2004 年加入淘寶,經歷了淘寶業務與技術的完整發展過程;過去五年參與了淘寶幾乎所有核心系統的改造,並主導了支撐淘寶未來高速發展的核心業務中心建設。目前負責網站整體業務架構的設計與規劃,在大型交易網站的設計和調優方面經驗豐富。