構建在 Windows 平台之上的網站,往往會被業內眾多架構師認為很「保守」。很大程度上,這是微軟技術體系的封閉,加上部分技術人員的短視造成的。由於長期缺乏開源支持,只能「閉門造車」,很容易形成思維局限和短板。就拿圖片服務器為例,如果前期沒有容量規劃和可擴展設計,那麼隨著圖片文件不斷增多、訪問量上升,由於在性能、容錯/容災、擴展性等方面設計不足,後續會給開發、運維帶來很多問題,嚴重時甚至影響網站業務的正常運作和公司的發展(這絕不是危言聳聽)。
之所以選擇 Windows 平台來構建網站和圖片服務器,很大程度上是由創始團隊的技術背景決定的。早期技術人員可能更熟悉 .NET,或負責人認為 Windows/.NET 的易用性、「短平快」的開發模式、人才成本等方面,更符合創業初期的團隊,自然就選了 Windows。後期業務發展到一定規模,也很難輕易把整體架構遷移到其他平台。當然,對於構建大規模互聯網,我更建議首選開源架構,因為有大量成熟案例和開源生態支持,能避免重複造輪子和支付授權費用。對於遷移難度大的應用,比較推薦 Linux、Mono、MySQL、Memcached……混搭的架構,同樣能支撐高並發訪問和大數據量。
單機時代的圖片服務器架構(集中式)
初創時期,由於時間緊迫、開發人員水平有限,通常就直接在 website 文件所在目錄下,建立一個 upload 子目錄,用於保存用戶上傳的圖片。若按業務細分,還可以在 upload 下再建不同子目錄來區分,例如 upload\QA、upload\Face 等。
數據庫表中保存的,也是「upload/qa/test.jpg」這類相對路徑。
用戶的訪問方式如下:
https://upload.chinaz.com/2015/0731/1438326331263.jpg
程序上傳和寫入方式:
程序員 A 透過在 web.config 中配置物理目錄 D:\Web\yourdomain\upload,然後用 stream 方式寫入文件;
程序員 B 透過 Server.MapPath 等方式,依相對路徑獲取物理目錄,然後也用 stream 方式寫入文件。
優點:實現最簡單,無需任何複雜技術,就能把用戶上傳的文件寫入指定目錄,保存數據庫記錄和訪問起來也很方便。
缺點:上傳方式混亂,嚴重不利於網站的擴展。
針對這套最原始的架構,主要面臨如下問題:
- 隨著 upload 目錄中文件越來越多,所在分區(如 D 盤)一旦容量不足,就很難擴容,只能停機更換更大容量的存儲設備,再導入舊數據。
- 在部署新版本(部署前需備份)和日常備份 website 文件時,都要同時操作 upload 目錄中的文件;若考慮到訪問量上升、後續由多台 Web 服務器組成負載均衡集群,集群節點之間如何做文件實時同步將是個難題。
集群時代的圖片服務器架構(實時同步)
在 website 站點下,新建一個名為 upload 的虛擬目錄。由於虛擬目錄的靈活性,能在一定程度上取代物理目錄,並兼容原有的圖片上傳和訪問方式。用戶的訪問方式依然是:
https://upload.chinaz.com/2015/0731/1438326331844.jpg
優點:配置更靈活,也能兼容老版本的上傳和訪問方式。
因為是虛擬目錄,可以指向本地任意盤符下的任意目錄。這樣一來,還能透過接入外置存儲,進行單機的容量擴展。
缺點:部署成多台 Web 服務器組成的集群後,各節點之間(虛擬目錄下的文件)需要實時同步,由於同步效率和實時性的限制,很難保證某一時刻各節點文件完全一致。
基本架構如下圖所示:

從上圖可看出,整個 Web 服務器架構已具備「可擴展、高可用」,主要問題和瓶頸都集中在多台服務器之間的文件同步上。
上述架構只能在這幾台 Web 服務器上互相「增量同步」,這樣一來,就不支持文件「刪除、更新」操作的同步了。
早期的想法是在應用程序層面做控制:當用戶在 web1 上傳寫入的同時,也同步調用其他服務器上的上傳接口——這顯然得不償失。所以我們選擇用 Rsync 類軟件做定時文件同步,既省去了「重複造輪子」的成本,也降低了風險。
同步操作裡,一般有兩種經典模型,即推、拉模型:所謂「拉」,就是輪詢地去獲取更新;所謂「推」,就是發生更改後主動「推」給其他機器。當然,也可以採用更高級的事件通知機制來完成此類動作。
在高並發寫入場景中,同步都會出現效率和實時性問題,而且大量文件同步也很消耗系統和帶寬資源(跨網段則更明顯)。
集群時代的圖片服務器架構改進(共享存儲)
沿用虛擬目錄的方式,透過 UNC(網絡路徑)實現共享存儲(把 upload 虛擬目錄指向 UNC)。
用戶的訪問方式 1:
https://upload.chinaz.com/2015/0731/1438326331693.jpg
用戶的訪問方式 2(可配置獨立域名):
https://upload.chinaz.com//
支持在 UNC 所在 server 上配置獨立域名指向,並配置輕量級的 web 服務器,實現獨立圖片服務器。
優點:透過 UNC(網絡路徑)進行讀寫操作,可避免多服務器之間同步的相關問題,相對靈活,也支持擴容/擴展,還支持配置成獨立圖片服務器和域名訪問,比較完整……