數據密集型超算技術白皮書中國計算機學會高性能計算專業委員會2021年10月編寫委員會潘景山竇勇陳默丁江波毛睿林新華李會民龔斌張洋王潘景山竇勇陳默丁江波毛睿林新華李會民龔斌張洋王李文秀比喻成好朋友。那么T系統以前更多是一個隨叫隨到陳國良中國科學院院士周躍峰博士華為公司副總裁1.1.1級1.1.2級1.1.3指標數據密集型超算的定義2223數據密集型超算的定義22232數據密集型超算典型場景2.3.1基因測序場景邁入分鐘時代為生命健康打開新時間窗3數據密集型超算技術建議01021.2國內外超算產業發展現狀與趨勢超算是"國之重器"，世界各國激烈競爭并進行戰略頂層設計超算是文明的基礎，沒有它，下一代文明就不可能實現根本性突破美國歐盟0304爆發期西安超算中心成都超算中心太原超算中心合肥超算中心廈門超算中心烏鎮超算中心蘭州超算中心青島超算中心武漢超算中心爆發期西安超算中心成都超算中心太原超算中心合肥超算中心廈門超算中心烏鎮超算中心蘭州超算中心青島超算中心武漢超算中心昆山國家超算中心聯想深騰曙光5000A中國持續戰略投入，十四五和新基建驅動超算進入爆發期2020年，226臺2020年，226臺45%動漫渲染、生命科學航空航天、無人駕駛人工智能、大數據挖掘智慧城市大腦 5HPC行業應用氣象、油氣、仿真特殊領域:科研2015年,168臺33%HPC業務2009年21臺天津天津國家超算中心無錫國家超算中心鄭州國家超算中心濟南國家超算中心廣州國家超算中心長沙國家超算中心05 56.90% 49.00%33.30%17.70%15.70%NewworkloadssuchasA 56.90% 49.00%33.30%17.70%15.70%NewworkloadssuchasA，BigDataMoreavailablebudgetotherNotsure/don'tknow76.50%MostImportantDriverofHpcstorageGrowth0%90.00%06071.3國內外超算技術發展現狀與趨勢0809InterconnectFamilysystemshare數據驅動科學發現流式計算變得尤為重要。HPCHPC文件存儲HDFS存儲塊存儲文件存儲HDFS存儲塊存儲 HPC算力AI算力大數據算力云通用算力物聯網以數據為中心，多元算力按需加持對象存儲統一數據底座數據按需接入和存儲底座不動，數據不遷，綠色高效2.2面向2025的十大數據密集型超算應用場景預測據據數據密集型超算典型應用特點大數據/大數據/AI相關度●媒體計算●基因測序●天文物理電子商務●氣象預測●高能物理●能源勘測冷凍電鏡●災害模擬.CAE動漫渲染.EDA表型數據生物樣本FPGA容器BMS樣本選擇結果解讀基因參考組數據庫cal2FAST④BAM文件光纖VCF文件本地存儲報告/結果分發測序儀高級分析數據歸檔FPGA加速ARM加速原始DNA樣本質量檢測dNTP熒光標記FASTQ文件質量控制表型數據生物樣本FPGA容器BMS樣本選擇結果解讀基因參考組數據庫cal2FAST④BAM文件光纖VCF文件本地存儲報告/結果分發測序儀高級分析數據歸檔FPGA加速ARM加速原始DNA樣本質量檢測dNTP熒光標記FASTQ文件質量控制醫院企業研究機構政府生命信息學的研究邏輯基因拼接基因比對reads去重CNV檢測結構變異重復DNA功能預測驅動突變變異標注因定制客戶端交付共有云交付web交付報告一日達基因測序業務流程圖測以及聯合基因型檢測測以及聯合基因型檢測，該階段取2.323自動駕發展建議野外數據處理中心半實時地震資料處理地震資料解釋井數據解釋油藏模擬&成像438572野外數據處理中心半實時地震資料處理地震資料解釋井數據解釋油藏模擬&成像438572地震資料采集1.地震源 202.3.3.2能源勘探場景需求合帶寬最高可達每PB20GB/S等特點。②讀寫浪操作內容聚合帶寬:GB/S級數據留存2.3.3.3能源勘探發展建議212341氣象預測業務概述數據預處理數據預處理下載數據救災減災模式計算+后處理+預報員經驗+會商產品發布(展示)能計算系統的性能、網絡性能和I性能要求高。22232.3.4.2氣象預測場景需求2.3.4.3氣象預測發展建議24DSMDSMSAR高光譜立體影像1~5級數據海量數據分布式管理路網水體大棚光伏自然資源城鎮變化災害監測人類活動海量數據分布式管理路網水體大棚光伏自然資源城鎮變化災害監測人類活動輻射校正幾何校正定制服務數據產品25發射載荷載荷最終用戶一行業用戶千行百業應用系統根據用戶的需求，處理部分傳感器校正產品(二級產品)，形成最終結果。發射載荷載荷最終用戶一行業用戶千行百業應用系統根據用戶的需求，處理部分傳感器校正產品(二級產品)，形成最終結果。數據處理應用地面站(數據膨脹)衛星遙感業務流2.3.5.2衛星遙感場景需求262.3.5.3衛星遙感發展建議2.3.6.1腦科學業務概述究。廣義的腦科學是研究腦結構和腦功能的科2723.6.2腦科學場景需求存情系統的容量限制了腦科學的發展500PB總存儲500PB總存儲神經元分類突觸水平結構圖譜細胞水平結構圖譜全腦神經元活動圖譜腦神經元/突觸細胞投射混合I0讀寫突觸圖譜庫神經元圖譜庫細胞圖譜庫突觸圖譜庫神經元圖譜庫人腦數據的存儲2.3.6.3腦科學發展建議●秒級檢索EB級數據28293.1采用異構融合的新型HPDA架構3031PCHDNAS并行文件系統歷史數據檢索集群交互式查詢集群數據生命周期管理(數據分級、數據遷移、分布查詢)冷溫熱自動遷移自動遷移HDD大容量池存儲資源池SSD高性能池HDD歸檔池近線檢索/離線分析集群PCHDNAS并行文件系統歷史數據檢索集群交互式查詢集群數據生命周期管理(數據分級、數據遷移、分布查詢)冷溫熱自動遷移自動遷移HDD大容量池存儲資源池SSD高性能池HDD歸檔池近線檢索/離線分析集群數據密集型超算要突破所面臨的存儲技術挑戰，構建國產統一HPDA存儲方案，需要具備如下能力：1、存儲與計算架構分離，存儲按需提供數據服務數據分析數據存儲數據采集HiveHiveyarnNFSNFS/CIFS/HDFS/S3存算分離，統一數據存儲底座架構圖數據安全管理數據安全管理數據加密數據生命周期管理集群管理用戶管理告警監控資源管理數據采集Datacollection數據存儲Datastorage處理計算Dataprocessing數據共享Datasharing傳輸交換Datatransmission數據采集Datacollection數據存儲Datastorage處理計算Dataprocessing數據共享Datasharing傳輸交換Datatransmission5、圍繞數據全生命周期構建端到端可信能力，保障數據安全數據銷毀數據銷毀Datadestroy細粒度權限服務容災備份多租戶安全加解密服務膠敏泛化數據匿名保護防丟失泄露KLP數據溯源數據接口安全日志審計分析隱私風險分析敏感數據分級分類數據安全監控密文檢索數字水印關聯性隔離動態脫敏秘鑰管理服務傳輸隔離加載隔離調度安全訪問控制完整性保護采集合規身份認證入庫加密轉換脫敏匿名處理個人數據刪除數據冷轉儲數據介質銷毀3.3推進全光化多網融合高速互聯網絡構建323.4使用低碳