三甲醫院超融合laaS私有云方案

石久【摘要】隨著國家醫療改革繼續深入，醫療信息化建設的發展也在從數

字化醫院向智慧醫院升級。實現全數字化醫療的智慧醫院，支撐醫療業務模式

轉型，建設私有云是基礎架構的必然趨勢。提高資源可擴展性和靈活度，以及

從利舊角度盡可能提高醫院現有數據中心資源利用率是當前很多醫院在私有云

建設中的挑戰。本文主要介紹了杭州市第一人民醫院基于超融合建設laaS私

有云的實踐經驗，包括私有云方案設計、設備利舊與升級、管理與運維等，自

2019年到如今已經形成了超過200個虛擬機業務應用系統規模，承載了承載重

要的醫療服務應用系統包括HTS、EMR、LTS等關繾應用。

1引言杭州市第一人民醫院（以下簡稱杭州市一醫院）創建于1923年，核定床

位1200張，擁有分布杭州市區及周邊區縣的10個院區，是杭州地區融醫療、

教學、科研、預防和社會保健于一體的市屬最大綜合性三級甲等醫院，是浙江

省首批通過三甲評審的四家醫院之一。現為“浙江大學醫學院附屬杭州市第一

人民醫院”、“浙江中醫藥大學第四臨床醫學院”。隨著醫療衛生體制改革的

逐步推進，在市委、市政府統一部署，上級衛生行政主管部門領導下，以杭州

市一醫院為核心，穩步踏上緊密型醫院集團發展的新歷程，以建設“學習

型”、“研究型”醫院為著力點，不斷創新，勇于突破，實現醫院可持續、健

康發展。隨著醫院規模和服務能力的不斷擴大，杭州市一醫院的信息化建設近

年來也經歷了前所未有的高速發展，特別是經歷了2010年的HTS建設高潮和

2018年的電子病歷評級，越來越多的醫療服務業務系統和醫療服務設施陸續投

入使用。2020年，國家衛生健康委醫院管理研究所組織專家對我院進行了電子

病歷系統功能應用水平分級評價連線審查。國家衛生健康委醫院管理研究麻信

息標準化研究部幾位專家對我院中心機房、安全應急、住院護士站、醫生站的

閉環監控、知識庫推薦診療等功能，以及門診掛號、收費、就診、門診醫生

站、檢查系統等患者就診環節進行了功能點的校臉，還根據之前上報的資料對

我院進行了數據質量的查驗工作。我院信息化水平得到專家組認可，成為全國

19家六級及以上高等級電子病歷醫院之一。2021年，我院根據互聯互通五級要

求，不斷加強數據資源標準化、互聯互通標準化、互聯互通基礎設施與應用效

果建設。在原有四級的基礎上進一步完善信息集成平臺與數據中心，集成分散

業務，生成標準化共享文檔。順利通過國家醫療健康信息互聯互通標準化成熟

度測評，獲得五級乙等。該等級也是目前全國各家醫院在該項目中獲得過的最

高等級。如何利用當前先進的信息技術，滿足醫院高速發展的業務需要，為不

斷新增的醫療服務業務系統提供穩定、可靠、高效的信息基礎支撐平臺和服務

平臺，成為至關重要的問題，云計算相關技術自然而然地進入到杭州市一醫院

信息口的視野中。

2私有云平臺建設

2.1云計算服務概述

云計算可以提供可用的、便捷的、按需的資源提供，成為當前醫療行業IT架構

建設的主流形態，很多新建系統都是使用云模式進行構建，同時還有大量的現

有業務系統，不斷向云計算環境進行遷移。在云計算環境中，服務器虛擬化是

基本的云計算技術之一。基于服務器虛擬化的云計算技術雖然有效降低了硬件

采購成本，緩解了IT建設面臨的諸多壓力。但是其基礎架構并沒有發生變化，

一直到超融合基礎架構（簡稱“HCI”）的出現。超融合架構在數據中心中承擔

著計算資源池和分布式存儲資源池的作用，極大地簡化了數據中心的基礎架

構，而且通過軟件定義的計算資源虛擬化和分布式存儲架構實現無單點故障、

無單點瓶頸、彈性擴展、性能線性增長等能力。杭州市一醫院本著務實原則，

兼顧醫療數據信息安全監管和醫療服務的穩定可靠要求，通過謹慎地比較和試

用，最終選擇使用業界領先的英特爾、VMware、H3c等公司最新技術，以保證

核心醫療服務的業務連續性為目標，構建醫院私有云平臺，優先提供基于超融

合架構的laaS服務能力。

2.2基于超融合的私有云平臺

杭州市一醫院希望醫院信息化系統的建設能成為醫院發展的“助推器“和“倍

增器”，云計算和大數據和人工智能成為當前醫院信息系統建設的代表方向和

潮流，從早期比較嘗試使用中，切身體會到虛擬化技術和產品優勢、超融合技

術，就能提供媲美傳統存儲的幾萬IOPS的高性能能力，特別吸引杭州市一醫院

的注意。所以杭州市一醫院選擇升級改造現有虛擬化服務器為超融合節點并新

增節點，基于vSAN軟件定義存儲和服務器虛擬化結合，充分利用現有雙活FC-

SAN存儲，建設基于超融合的私有云laaS基礎架構平臺，幫助杭州市一醫院實

可。不再需要為云環境購買或升級獨立的SAN集中存儲。網絡方面可以讓數據

中心的架構由三層轉變為二層，降低復雜度，降低采購和運維成本。2、超融合

架構可以實現完全的資源整合、統一管理、調配和統一存儲功能。在擴展性上

可以做好按需線性的橫向擴展，采用的是分布式的自治系統。由于計算與存儲

資源的深度融合，在對系統進行擴容時，只需要擴展超融合服務器的節點即

可，不需要提前對設備進行選型、設計、系統集成和長時間的系統調試，通常

一個三節點的擴容，一小時之內就可以完成，深度軟硬件集成的超融合系統甚

至可以做到開箱即用。3、軟件定義的基礎架構，可以滿足未來醫院對業務系統

的擴展需求。通過軟件定義，能夠讓醫療數據中心在一個簡單的基礎架構下升

級成為一個智能化、自動化、高效化的數據中心。在設備改造方面，服役超過

5年以上的服務器，將不再繼續使用，進行淘汰處理，避免潛在的安全隱患。

利舊后的設備建設兩個資源池，一套用于生產環凌，一套用于開發測試環境，

不和生產資源混合在一個資源池里，做好安全隔離，避免互相影響。選擇部分

性能比較好，未過保修期（三年內）且具有整合價值的服務器，通過升級改造

（例如：增加SSD固態硬盤，對內存進行擴容）后加入到超融合系統群集當

中。需要注意的是個別老舊的服務器，即使部署了相同超融合系統軟件，由于

其CPU型號不統一，很難組建一套超融合系統，需要創建不同的資源池。

2.3.3硬件設備利舊和升級

主要利舊的設備和架構如下圖所示:

1、服務器設備利舊

超過質保期的服務器不利舊，避免出現潛在的安全隱患。不同架構的服務器不

利舊，例如AMD架構的服務器和英特爾架構的服務器就無法在一套超融合架構

進行不同，因為CPU架構不同，無法進行虛擬機的迂移和資源共享。因我院大

部分利舊的服務器都基于英特爾.至強?可擴展處理器的X86服務器，所以可以

完全利舊使用。2、服務器和網絡設備升級由于超融合架構對網絡要求比較高，

原有二層接入交換機為千兆交換機，需要使用萬兆光網絡的交換機進行設備連

接，保證超融合架構系統網絡的暢通，避免出現計算流量和數據流量的擁擠和

堵塞。利舊的服務器原配置不是為了虛擬化做的沒計，普遍配置較低，特別是

內存資源和硬盤資源比較匱乏，如果組建超融合架構系統，單個節點的資源利

用率不高，無法提供更有效率的計算資源和存儲資源，需要對部分配置進行升

級。在內存方案，未來考慮英特爾?傲騰TM持久內存。可以經濟地為單個超融合

節點提供更多的內存，其PMEMMM模式配合vSphere7.0U3vMMR功能可以提供

更多的內存，讓VMware單節點創建更多虛擬機，優化TCO,提高單個節點的資

源利用率。在硬盤方面，由于原有單節點服務器磁盤容量小，速度低，需要進

行擴容。考慮采用SSD固態盤+HDDSAS盤的組合，利用SSD固態盤為超融合分

布式存儲系統做高速緩存性能加速。當高速緩存位于低延遲、高耐用性的快速

固態盤時，VMwarevSAN能發揮最佳性能。如果在高速緩存層采用最高性能的

固態盤，將獲得性價比高的性能提升。在本次利舊方案中，選用了英特爾?固態

盤，可以提供高IOPS和每日30次硬盤寫入的高耐用性，非常適合支持寫入密

集型數高速緩存功能，提供在性能、數據完整性、性能一致性和硬盤可靠性方

面的保障。在未來有更多高性能、低延遲要求的場景，可考慮采用最新的英特

爾?傲騰”固態盤，延遲不會因負載增加而增加，而且有很高的耐用性，例如英

特爾.傲騰'"DCP4800X的耐久性能達60DWPD1,每天全盤寫入擦除60次。因

此，在vSAN中使用英特爾?傲騰恒固態盤，當云平臺有更多工作負載時，能夠

保持穩定的高性能和高耐久性。3、存儲設備利舊原有FC-SAN存儲架構保持不

變，仍采用EMC和DELL存儲的集中存儲解決方案。但是在使用上有所不同。原

集中式存儲架構主要為核心HIS/PACS系統的數據庫提供數據存儲服務。存潴系

統利舊后仍保留原數據，作為備庫數據進行使用。其次，原有FC-SAN存儲還可

以用于存儲部分虛擬機數據庫系統結構化數據文件，虛擬機自身的數據文件和

非結構化數據文件將使用基于超融合的存儲系統。

2.3.4私有云管理和運維

基于超融合架構的云計算并不簡單等同于傳統架構的虛擬化，而是綜合運生虛

擬化、標準化和自動化等一系列技術對醫院的信息化進行全面優化。因此西基

于超融合的私有云環境進行管理和運維還是非常有必要的。私有云管理平臺主

要負責對資源的管理、彈性調度以及操作維護等爍合管理功能，是云平臺管理

的核心，在同一個web界面提供云資源管理、云運維管理和云服務管理的功

能。在采購新的超融合系統以后，可以直接采用超融合系統的云管理功能或者

將資源加入到已有云管理平臺中，統一管理虛擬化資源，做到在一個云平臺上

對基礎設施架構進行統一的運維和管理。在一些最佳實踐中，醫院信息中心已

經從一個成本中心變成一個可以交付有形價值和差異化能力的核心部門。云管

理平臺是面向云計算領域的通用云管理環境，在動態數據中心構建及運維過程

中提供全方位、多層次的管理及監控能力，基于云環境實現應用的快速部署及

資源的彈性供應，通過簡化管理極大地降低成本、提高效益。通過集中式的資

源管理模式整合虛擬化數據中心的計算、存儲和網絡資源，并通過自助式門戶

以隨需即取的方式提供用戶申請、配置和使用。我院目前正在運行的云計算管

理平臺可以根據超融合系統資源構建統一的資源池，并能實現對資源池的創

建、修改、刪除等管理功能。云管理平臺能夠實現對資源進行精細化管理、自

動化運維，提供集中、統一監控運維管理平臺，降低數據中心運維成本°在超

融合系統在建設完成后，其資源主要由云管理平臺進行統一管理，主要有兩種

管理模式：1、信息化部門具備一定的技術能力（如：醫院信息中心及分院信息

管理部門等）。一次性申請批量資源，由云管理平臺管理部門經過審批分析

后，批準并分配資源，之后，使用者在部門內部進行個人資源申請、審批，具

備了“自治管理”能力；而通過流程控制和資源監控，達到“集中管控”的效

果。2、部門不具備信息化能力（如：醫院骨科、眼科等業務科室），如果有資

源需求，就會向云管理平臺管理部門提交申請，經過審批分析后，批準或駁回

申請，動態分配及收回資源。

3私有云平臺設計的重要考量因素

整個私有云平臺的建設實施是一個循序漸進的過程，對于醫院運營發展至關重

要的核心醫療服務應用系統的性能、可用性以及平臺本身的擴展性，都成為云

平臺選擇和設計要考慮到重要因素，而考慮到杭州市一醫院本身有限的運維團

隊規模，還要兼顧對杭州市一醫院集團10個院區的機構提供必要的技術和運維

支持，私有云平臺的運維管理方便性也是必須要考量的因素。

3.1商性能

整個私有云平臺.最吸引杭州市一醫院的就是超融合平臺提供的高性能,能夠

完全滿足杭州市一醫院所有關鍵醫療服務應用系統和數據庫系統的性能要求。

私有云平臺建設前期，為了保證系統的高性能要求，醫院信息科進行了模擬測

試。4臺測試集群環境，每臺配置2*E5-26206*Core,l*800GBSSD和

5*1.2TBSAS的混合超融合環境中，使用lOMeter測試工具，2個用于測試的

windows2008虛擬機，每個創建8個8G大小的虛擬磁盤，每個磁盤一個

Worker,用4K大小的數據塊進行讀寫測試，在讀寫時延不超過10ms,CPU利

用率最高不超過20%,有如下性能結果：80%隨機，100%讀4K,2個VM獲得總共

11.91萬I0PS30%隨機，讀70%,寫30%4K,2個VM獲得總共5.98萬I0PS30%隨

機，讀70%,寫30968K（模擬Oracle）,2個VM獲得總共3.53萬I0PS30%隨機，讀

70%,寫30%64k(模擬SQL),2個VM能達到總共1.25萬I0PS系統和測試虛擬

機都沒有做任何優化配置，就可以實現非常不錯的性能表現，足以支撐杭州市

一醫院除核心業務應用系統。實地測試評估的同時，杭州市第一人民醫院也和

在生產環境中使用vSAN超融合架構支撐HIS、LTS、EMR數據庫和應用的同行醫

院溝通了解，配置英特爾?固態盤DCP3600NVMeSSD做緩存層，實際測試下

來，單個服務器節點的4k隨機讀的性能為46k,其6臺節點的超融合集群能提

供超過27WI0PS的讀寫性能。杭州市一醫院考慮到需要支撐包括數據庫和中間

件在內的核心業務系統，參考同行醫院的選型配置，并選擇市場公認性能好的

NVMe接口SSD做緩存層構建性能更高的全閃超融合架構。私有云平臺當前使用

8臺全閃基于英特爾?至強?可擴展處理器的X86服務器，緩存層使用的是800GB

英特爾'固態盤DCP3700NVMe,存儲層使用4塊1.92TBSSD,單個服務器節點

的4k隨機讀的性能超過50k,8臺節點的超融合集群理論能提供超過40WIOPS

的讀寫性能。800GB固態盤每日整盤寫入次數(DWPD)高達10次，耐用性在

14.6PBW,符合并遠大于VMware對于緩存盤不少于3.65PBW的要求。這樣，容

量層就可以使用耐用性等級更低的固態盤，因為緩存層已經可以處理大量寫入

請求。容量層則專注于服務所有讀取請求。由于緩存層已經具備高耐用性，成

本和耐用性更低的固態盤就可作為經濟型容量層解決方案的理想之選。隨著業

務快速發展，針對醫院超融合架構進一步加速數據訪問，可以將英特爾?傲騰的

持久內存用于VMwarevSAN部署，更高效地擴展內存，便于在VDI部署中支持

更大的虛擬機，或支撐數據庫、分析和其他要求苛刻的工作負載處理更多“熱

數據"。英特爾.傲騰?持久內存一共有128GB、256GB和512GB三種容量，目

前最大容量的單條DDR4內存條是128GB，使服務器的內存總量可以超過TB

級別。利用建設超融合私有云平臺的機會，對所有虛擬化平臺上的新增業務應

用系統資源進行規范管理，按普通、中等和高級3種虛擬機資源類型提供：

?普通型，配置2vCPU+8GB內存，用于普通Web類應用和開發測試環境

?中等型，配置4vCPU+16GB內存，用于小中型DB及中間件系統

?高級型，配置8vCPU+32GB內存，用于HIS/EMR/HRP等核心系統的DB和

資源要求比較高的業務系統

杭州市一醫院本院院區年門診量接近200萬，從2019年建成的超融合私有云平

臺，到目前為止已經形成超200個虛擬機的業務應用系統規模，承載重要的醫

療服務應用系統，包括HIS、EMR、LIS等關鍵業務應用系統及其他數據庫高性

能、穩定可靠地運行。

主要的數據庫服務器和應用服務器部署規模如下：

虛擬機類型虛擬機配部署業務系統虛擬機數量

置

高級型8vCPU+32GHIS/EMR/HRP/PACS等核心系統數據20

B庫服務器

中等型4vCPU+16G部署門診/體檢/檢驗等系統數據庫50

B服務器；部署WAS、WEBLOGIC、

TOMCAT等中間件服務器

普通型2vCPU+8GB非核心系統應用服務器/WEB應用服130

務器

3.2高可用

超融合平臺提供多數據副本技術，在不需要額外數據保護方案時，自身就具備

數據高可用能力，實際部署環境中，杭州市一醫院通過存儲策略方式，根據不

同業務系統需要，采耗2或3份數據副本的不同存儲策略，同時結合糾刪碼和

去重，有效保證應用系統的數據高可用。為了應對更加嚴重的不可預知故障因

素，杭州市一醫院還部署了第三方的虛擬化備份解決方案，在現有的FCSAN存

儲中，為重要的虛擬機再提供額外的備份保護，進一步增強私有云平臺的高可

用性。虛擬化平臺內置的HA和vMotion,也是高可用能力，不同技術方案的組

合，為杭州市一醫院的醫療服務應用系統提供多重高可用連續性保護。

3.3易擴展

隨著業務發展的規模和醫療服務能力要求的不斷窘加和更新，私有云平臺的規

模和能力也需要能夠按需在線擴展。不僅對于私有云平臺技術本身有要求，同

時對于云平臺的技術生態圈也有要求。杭州市一醫院在已有虛擬化平臺基礎上

升級成超融合平臺，并且和新增的超融合節點無睫整合在一起，構成新的超融

合私有云平臺，已經完全從技術上很好地展示易擴展性。未來在醫療服務能力

和業務需求有提升時，可以通過添加磁盤和內存進行縱向擴展，還可以通過添

加新的節點到集群中實現橫向擴展。最重要的是，無論哪種擴展方式，都可以

在線進行而不會對現有醫療服務系統的運行有任何影響，這點對于需要保持

7x24小時不中斷的醫療服務來講是非常重要的能力。而在的超融合私有云立臺

上，無論是擴展到更高級的PaaS/SaaS平臺服務能力，還是添加前面所述的備

份方案等第三方技術方案，都有業界主流軟硬件廠商的方案支持。甚至以后如

果需要擴展到公有云服務，構建混合云/多云平臺，杭州市一醫院也無需更疾現

有平臺或對應用做大的變動，可以方便的擴展到生態群里受支持的多種公有云

平臺，完全實現按需擴展的自由。

3.4易運維

從原有的服務器虛擬化平臺升級到超融合私有云平臺，運維管理界面還是運維

團隊熟悉的界