數(shù)據(jù)密集型超算技術白皮書中國計算機學會高性能計算專業(yè)委員會2021年10月編寫委員會潘景山竇勇陳默丁江波毛睿林新華李會民龔斌張洋王潘景山竇勇陳默丁江波毛睿林新華李會民龔斌張洋王李文秀比喻成好朋友。那么T系統(tǒng)以前更多是一個隨叫隨到陳國良中國科學院院士周躍峰博士華為公司副總裁1.1.1級1.1.2級1.1.3指標數(shù)據(jù)密集型超算的定義2223數(shù)據(jù)密集型超算的定義22232數(shù)據(jù)密集型超算典型場景2.3.1基因測序場景邁入分鐘時代為生命健康打開新時間窗3數(shù)據(jù)密集型超算技術建議01021.2國內(nèi)外超算產(chǎn)業(yè)發(fā)展現(xiàn)狀與趨勢超算是"國之重器"，世界各國激烈競爭并進行戰(zhàn)略頂層設計超算是文明的基礎，沒有它，下一代文明就不可能實現(xiàn)根本性突破美國歐盟0304爆發(fā)期西安超算中心成都超算中心太原超算中心合肥超算中心廈門超算中心烏鎮(zhèn)超算中心蘭州超算中心青島超算中心武漢超算中心爆發(fā)期西安超算中心成都超算中心太原超算中心合肥超算中心廈門超算中心烏鎮(zhèn)超算中心蘭州超算中心青島超算中心武漢超算中心昆山國家超算中心聯(lián)想深騰曙光5000A中國持續(xù)戰(zhàn)略投入，十四五和新基建驅(qū)動超算進入爆發(fā)期2020年，226臺2020年，226臺45%動漫渲染、生命科學航空航天、無人駕駛?cè)斯ぶ悄堋⒋髷?shù)據(jù)挖掘智慧城市大腦 5HPC行業(yè)應用氣象、油氣、仿真特殊領域:科研2015年,168臺33%HPC業(yè)務2009年21臺天津天津國家超算中心無錫國家超算中心鄭州國家超算中心濟南國家超算中心廣州國家超算中心長沙國家超算中心05 56.90% 49.00%33.30%17.70%15.70%NewworkloadssuchasA 56.90% 49.00%33.30%17.70%15.70%NewworkloadssuchasA，BigDataMoreavailablebudgetotherNotsure/don'tknow76.50%MostImportantDriverofHpcstorageGrowth0%90.00%06071.3國內(nèi)外超算技術發(fā)展現(xiàn)狀與趨勢0809InterconnectFamilysystemshare數(shù)據(jù)驅(qū)動科學發(fā)現(xiàn)流式計算變得尤為重要。HPCHPC文件存儲HDFS存儲塊存儲文件存儲HDFS存儲塊存儲 HPC算力AI算力大數(shù)據(jù)算力云通用算力物聯(lián)網(wǎng)以數(shù)據(jù)為中心，多元算力按需加持對象存儲統(tǒng)一數(shù)據(jù)底座數(shù)據(jù)按需接入和存儲底座不動，數(shù)據(jù)不遷，綠色高效2.2面向2025的十大數(shù)據(jù)密集型超算應用場景預測據(jù)據(jù)數(shù)據(jù)密集型超算典型應用特點大數(shù)據(jù)/大數(shù)據(jù)/AI相關度●媒體計算●基因測序●天文物理電子商務●氣象預測●高能物理●能源勘測冷凍電鏡●災害模擬.CAE動漫渲染.EDA表型數(shù)據(jù)生物樣本FPGA容器BMS樣本選擇結果解讀基因參考組數(shù)據(jù)庫cal2FAST④BAM文件光纖VCF文件本地存儲報告/結果分發(fā)測序儀高級分析數(shù)據(jù)歸檔FPGA加速ARM加速原始DNA樣本質(zhì)量檢測dNTP熒光標記FASTQ文件質(zhì)量控制表型數(shù)據(jù)生物樣本FPGA容器BMS樣本選擇結果解讀基因參考組數(shù)據(jù)庫cal2FAST④BAM文件光纖VCF文件本地存儲報告/結果分發(fā)測序儀高級分析數(shù)據(jù)歸檔FPGA加速ARM加速原始DNA樣本質(zhì)量檢測dNTP熒光標記FASTQ文件質(zhì)量控制醫(yī)院企業(yè)研究機構政府生命信息學的研究邏輯基因拼接基因比對reads去重CNV檢測結構變異重復DNA功能預測驅(qū)動突變變異標注因定制客戶端交付共有云交付web交付報告一日達基因測序業(yè)務流程圖測以及聯(lián)合基因型檢測測以及聯(lián)合基因型檢測，該階段取2.323自動駕發(fā)展建議野外數(shù)據(jù)處理中心半實時地震資料處理地震資料解釋井數(shù)據(jù)解釋油藏模擬&成像438572野外數(shù)據(jù)處理中心半實時地震資料處理地震資料解釋井數(shù)據(jù)解釋油藏模擬&成像438572地震資料采集1.地震源 202.3.3.2能源勘探場景需求合帶寬最高可達每PB20GB/S等特點。②讀寫浪操作內(nèi)容聚合帶寬:GB/S級數(shù)據(jù)留存2.3.3.3能源勘探發(fā)展建議212341氣象預測業(yè)務概述數(shù)據(jù)預處理數(shù)據(jù)預處理下載數(shù)據(jù)救災減災模式計算+后處理+預報員經(jīng)驗+會商產(chǎn)品發(fā)布(展示)能計算系統(tǒng)的性能、網(wǎng)絡性能和I性能要求高。22232.3.4.2氣象預測場景需求2.3.4.3氣象預測發(fā)展建議24DSMDSMSAR高光譜立體影像1~5級數(shù)據(jù)海量數(shù)據(jù)分布式管理路網(wǎng)水體大棚光伏自然資源城鎮(zhèn)變化災害監(jiān)測人類活動海量數(shù)據(jù)分布式管理路網(wǎng)水體大棚光伏自然資源城鎮(zhèn)變化災害監(jiān)測人類活動輻射校正幾何校正定制服務數(shù)據(jù)產(chǎn)品25發(fā)射載荷載荷最終用戶一行業(yè)用戶千行百業(yè)應用系統(tǒng)根據(jù)用戶的需求，處理部分傳感器校正產(chǎn)品(二級產(chǎn)品)，形成最終結果。發(fā)射載荷載荷最終用戶一行業(yè)用戶千行百業(yè)應用系統(tǒng)根據(jù)用戶的需求，處理部分傳感器校正產(chǎn)品(二級產(chǎn)品)，形成最終結果。數(shù)據(jù)處理應用地面站(數(shù)據(jù)膨脹)衛(wèi)星遙感業(yè)務流2.3.5.2衛(wèi)星遙感場景需求262.3.5.3衛(wèi)星遙感發(fā)展建議2.3.6.1腦科學業(yè)務概述究。廣義的腦科學是研究腦結構和腦功能的科2723.6.2腦科學場景需求存情系統(tǒng)的容量限制了腦科學的發(fā)展500PB總存儲500PB總存儲神經(jīng)元分類突觸水平結構圖譜細胞水平結構圖譜全腦神經(jīng)元活動圖譜腦神經(jīng)元/突觸細胞投射混合I0讀寫突觸圖譜庫神經(jīng)元圖譜庫細胞圖譜庫突觸圖譜庫神經(jīng)元圖譜庫人腦數(shù)據(jù)的存儲2.3.6.3腦科學發(fā)展建議●秒級檢索EB級數(shù)據(jù)28293.1采用異構融合的新型HPDA架構3031PCHDNAS并行文件系統(tǒng)歷史數(shù)據(jù)檢索集群交互式查詢集群數(shù)據(jù)生命周期管理(數(shù)據(jù)分級、數(shù)據(jù)遷移、分布查詢)冷溫熱自動遷移自動遷移HDD大容量池存儲資源池SSD高性能池HDD歸檔池近線檢索/離線分析集群PCHDNAS并行文件系統(tǒng)歷史數(shù)據(jù)檢索集群交互式查詢集群數(shù)據(jù)生命周期管理(數(shù)據(jù)分級、數(shù)據(jù)遷移、分布查詢)冷溫熱自動遷移自動遷移HDD大容量池存儲資源池SSD高性能池HDD歸檔池近線檢索/離線分析集群數(shù)據(jù)密集型超算要突破所面臨的存儲技術挑戰(zhàn)，構建國產(chǎn)統(tǒng)一HPDA存儲方案，需要具備如下能力：1、存儲與計算架構分離，存儲按需提供數(shù)據(jù)服務數(shù)據(jù)分析數(shù)據(jù)存儲數(shù)據(jù)采集HiveHiveyarnNFSNFS/CIFS/HDFS/S3存算分離，統(tǒng)一數(shù)據(jù)存儲底座架構圖數(shù)據(jù)安全管理數(shù)據(jù)安全管理數(shù)據(jù)加密數(shù)據(jù)生命周期管理集群管理用戶管理告警監(jiān)控資源管理數(shù)據(jù)采集Datacollection數(shù)據(jù)存儲Datastorage處理計算Dataprocessing數(shù)據(jù)共享Datasharing傳輸交換Datatransmission數(shù)據(jù)采集Datacollection數(shù)據(jù)存儲Datastorage處理計算Dataprocessing數(shù)據(jù)共享Datasharing傳輸交換Datatransmission5、圍繞數(shù)據(jù)全生命周期構建端到端可信能力，保障數(shù)據(jù)安全數(shù)據(jù)銷毀數(shù)據(jù)銷毀Datadestroy細粒度權限服務容災備份多租戶安全加解密服務膠敏泛化數(shù)據(jù)匿名保護防丟失泄露KLP數(shù)據(jù)溯源數(shù)據(jù)接口安全日志審計分析隱私風險分析敏感數(shù)據(jù)分級分類數(shù)據(jù)安全監(jiān)控密文檢索數(shù)字水印關聯(lián)性隔離動態(tài)脫敏秘鑰管理服務傳輸隔離加載隔離調(diào)度安全訪問控制完整性保護采集合規(guī)身份認證入庫加密轉(zhuǎn)換脫敏匿名處理個人數(shù)據(jù)刪除數(shù)據(jù)冷轉(zhuǎn)儲數(shù)據(jù)介質(zhì)銷毀3.3推進全光化多網(wǎng)融合高速互聯(lián)網(wǎng)絡構建323.4使用低碳