-16-（征求意見稿）人工智能醫療器械是指基于“醫療器械數據”，采用人工智能技術實現其預期用途（即醫療用途）的醫療器械，包括第二類、第三類人工智能獨立軟件和含有人工智能軟件組件的醫療器械（包括體外診斷醫療器械）。本指南結合人工智能醫療器械特點，依據《醫療器械生產質量管理規范》《醫療器械生產質量管理規范附錄獨立軟件》《醫療器械生產質量管理規范獨立軟件現場檢查指導原則》等法規文件，明確了在上述文件基礎上，對人工智能醫療器械的醫療器械生產質量管理體系要求。旨在幫助北京市醫療器械生產監管人員增強對人工智能醫療器械產品生產監管的認知，指導和規范全市醫療器械生產監管人員對人工智能醫療器械生產企業監督檢查工作。同時，為相關生產企業開展生產管理活動提供參考。本指南中引用的國家相關法規、規章、標準、檢查指南等版本發生變化時，要以執行的最新版為準。隨著法規、強制性標準體系的不斷完善以及科技能力、認知水平的不斷發展，必要時，北京市藥品監督管理局將重新研究修訂，以確保本指南持續符合要求。一、機構和人員人工智能醫療器械具有對數據和算法依賴性高的特點，數據處理和算法相關的機構和人員是關鍵性要素，生產企業應定義相關人員角色、明確職責和資質要求。（一）數據處理人員：生產企業應確立一名決策管理者全面負責數據處理相關工作。數據處理人員一般包括數據研究人員、數據管理人員、采集人員、標注人員、審核人員、仲裁人員等，上述人員中標注、審核、仲裁人員之間不可相互兼任；應明確劃分人員的職責、任職資質、選拔、培訓、考核要求，如職稱、工作年限、工作經驗等；應有詳細的任命流程、培訓（如培訓材料、培訓方案）及考核記錄（如方法、頻次、指標、通過準則、一致性）等；對于生產企業外部聘用人員的還應記錄聘用、主要執業機構、與產品相關的培訓等信息。（二）算法相關人員：生產企業應建立具有算法研發能力且穩定的算法團隊，并確立一名管理負責人承擔算法的研發、部署和更新責任。算法團隊人員一般包括：算法研究人員、算法工程人員、算法測試人員、算法部署人員，上述人員中測試人員不可與其他角色兼任。若采用外部委托研發或者直接使用開源項目進行算法的研發，則必須有算法測試人員和部署人員，并對算法相關的質量負責。二、廠房與設施人工智能醫療器械的數據集是進行開發的要素，對采用自建數據集的產品，數據預處理、清洗、標注等操作的場所為真實場所或模擬場所，真實的場所應明確空間、照明、溫度、濕度、氣壓等環境條件并保持相關記錄，采用模擬場所情形可根據產品實際情況調整模擬程度，需詳述調整理由并予以記錄；對采用公開數據集、第三方數據集，則需對數據集開發方所能提供范圍內的場地信息進行記錄。設備生產企業應結合自身產品的實際情況，在產品生存周期過程提供充分、適宜、有效的軟硬件設備、開發測試工具、網絡資源以及以及病毒防護、數據備份與恢復等保證措施。（一）數據集構建所用設備：1.數據采集設備管理應明確兼容性和采集特征等要求，設備的兼容性記錄應包括采集設備的名稱、規格型號、制造商、性能指標等要求，若無需考慮兼容性要求詳述理由并予以記錄。采集特征需明確采集設備的采集方式（如常規成像、增強成像）、采集協議（如MRI成像序列）、采集參數（如CT加載電壓、加載電流、加載時間、層厚）、采集精度（如分辨率、采樣率）等要求。數據采集若使用歷史數據，需列明采集設備及采集特征要求，并開展數據采集質量評估工作。2.企業應配備執行數據集相關任務需要的資源，如訪問、讀取數據、預覽、檢索等任務需要的軟件、硬件、網絡配置。測試集應配備封閉管理需要的軟件、硬件、網絡配置或管理要求。3.數據標注應明確標注軟件（包含自動標注軟件）的要求，明確標注軟件的名稱、規格型號、完整版本、制造商、運行環境、軟件確認等要求并予以記錄。4.若需使用特定的外部設備獲取附加的信息（如病理結果、檢驗結果、數據模態轉化、多模態配準、體積測量、三維打印等），設備的規格型號、計量信息（如需計量）等應確認要求并予以記錄。5.數據整理所用軟件工具（含腳本）均需明確名稱、規格型號、完整版本、制造商、運行環境，并進行軟件確認。（二）算法研發所用設備：1.需明確定義并記錄進行算法訓練所用到服務器算力的最低要求和兼容性要求（GPU型號和數量、CPU型號和數量、網絡帶寬等）。2.需明確定義并記錄產品部署運行所需算力的最低要求和兼容性要求。3.需明確定義并記錄算法訓練所用的操作系統、開發環境（編程語言及版本、集成開發環境及版本、web服務及版本、支持軟件及版本等）、算法架構（基礎計算包、GPU指令集、集成開發環境插件等）。4.需明確定義并記錄算法測試所用的操作系統、開發環境、算法框架、基礎服務等，若與其他外部設備進行配合或作為軟件組件集成到其他醫療器械中，明確說明外部設備和器械的規格型號。5.需明確定義并記錄產品部署運行的操作系統、開發環境、算法框架、基礎服務、虛擬機、應用容器引擎等。四、設計開發生產企業應結合質量管理體系要求，建立人工智能醫療器械生存周期過程，開展與軟件安全性級別相匹配的產品質量保證工作，確定需求分析、數據收集、算法設計、驗證與確認、部署運行、更新控制等活動要求，將風險管理、可追溯分析（需包含算法和數據）貫穿于生存周期全程，形成記錄。（一）需求分析1.需求分析應當以用戶需求與風險為導向，結合產品的預期用途、使用場景、核心功能，綜合分析法規、標準、用戶、產品、功能、性能、接口、用戶界面、網絡安全、警示提示等需求，明確風險管理、可追溯性分析、數據收集、算法性能、使用限制、現成軟件（現成算法）的驗證與確認等活動要求，形成軟件需求規范和評審記錄并經批準。2.數據收集應當確保數據來源的合規性、充分性和多樣性，數據分布的科學性和合理性，數據質控的充分性、有效性和準確性。3.算法性能需結合醫療實際和產品定位，明確假陰性與假陽性、重復性與再現性、魯棒性/健壯性、實時性等性能指標的適用性及其要求，并兼顧不同性能指標的制約關系。4.使用限制需考慮產品禁用、慎用等場景，準確表述產品使用場景，提供必要警示提示信息。（二）數據收集1.數據采集數據采集應當明確采集設備、采集過程、數據脫敏等質控要求，并建立數據采集操作規范。若使用歷史數據，應當結合樣本規模、采集難度等影響因素合理選擇數據采集方式，明確數據篩選標準并對采集的數據進行質量評估。采集的數據應進行數據脫敏以保護患者隱私，數據脫敏需明確脫敏的類型（靜態、動態）、規則、方法以及脫敏內容的確定依據。如使用歷史數據，企業接收的數據應為脫敏后的數據，不得有敏感數據流入企業。2.數據整理數據整理應基于原始數據庫明確數據清洗、數據預處理的質控要求。數據清洗應當明確清洗的規則、方法、結果，數據預處理應當明確處理的方法（如濾波、增強、重采樣、尺寸裁剪、均一化等）、結果。數據經整理后形成基礎數據庫，需明確樣本類型、樣本量、樣本分布等信息。3.數據標注數據標注應當明確標注資源管理、標注過程質控、標注質量評估等要求，并建立數據標注操作規范。標注過程質控包括人員職責（如人員資質、人員數量、職責分工）、標注規則（如臨床指南、專家共識、專家評議、文獻分析）、標注流程（如標注對象、標注形式、標注輪次、標注步驟、結果審核）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數據、操作）等要求。數據經標注后形成標注數據庫，樣本類型可分為數據塊（如圖像區域、數據片段）、單一數據（由多個數據塊組成）、數據序列（由多個單一數據組成）。標注數據庫的樣本量、樣本分布等要求及風險考量與基礎數據庫相同。數據標注若使用自動標注軟件，結果不得直接使用，應由標注人員審核后方可使用。4.數據集構建基于標注數據庫構建訓練集、調優集（若有）、測試集，應當明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例。訓練集原則上需保證樣本分布具有均衡性，測試集、調優集原則上需保證樣本分布符合真實情況，訓練集、調優集、測試集的樣本應兩兩無交集并通過查重予以驗證。數據擴增（若有）應當明確擴增的對象、范圍、方式（離線、在線）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網絡等）、倍數，在線擴增亦需予以記錄，擴增需考慮數據偏倚的影響及風險。原則上不得對測試集進行數據擴增。數據經擴增后應當形成擴增數據庫，需列表對比擴增數據庫與標注數據庫在樣本量、樣本分布（注明擴增倍數）等差異，以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。（三）算法設計1.算法選擇算法選擇應當提供所用算法的名稱、類型（如有監督學習、無監督學習，基于模型、基于數據，白盒、黑盒）、結構（如層數、參數規模）、輸入輸出數據類型、流程圖、算法編程框架、運行環境等基本信息，并明確算法選用依據，包括選用的理由和基本原則。若組合使用集成學習、遷移學習、強化學習等，需提供算法基本信息以及算法選用依據。2.算法訓練算法訓練應當基于訓練集、調優集進行訓練和調優，考慮評估指標、訓練方式、訓練目標、調優方式、訓練數據量-評估指標曲線等要求。3.算法性能評估算法性能評估應當基于測試集對算法設計結果進行評估，綜合評估假陰性與假陽性、重復性與再現性、魯棒性/健壯性、實時性等適用性，以證實算法性能滿足算法設計目標，并作為軟件驗證、軟件確認的基礎。若使用第三方數據庫開展算法性能評估，應當提供第三方數據庫的基本信息（如名稱、創建者、數據總量等）和使用情況（如測試數據樣本量、評估指標、評估結果等）。對于黑盒算法，應開展算法性能影響因素分析，并提供算法性能影響因素分析報告，明確影響算法性能的主要因素及其影響程度，以及產品使用限制和必要警示提示信息。（四）驗證與確認1.軟件驗證軟件驗證應當基于軟件需求予以開展，保證軟件的安全有效性，并作為軟件確認的基礎。2.軟件確認軟件確認測試應當基于用戶需求，由預期用戶在真實或模擬使用場景下予以開展，涵蓋現成軟件、網絡安全的測試要求，確定缺陷管理、風險管理、可追溯性分析、評審等活動要求，形成用戶測試記錄、測試報告以及評審記錄并經批準，適時更新并經批準?？勺匪菪苑治龃藭r應當分析用戶測試與用戶需求、用戶測試與風險管理的關系。同時，開展算法性能比較分析，若各類測試場景（含臨床評價）算法性能變異度較大，詳述原因并基于分析結果明確產品使用限制和必要警示提示信息。最后，結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產品的適用范圍、使用場景、核心功能進行必要限制?；跍y評數據庫開展的，除滿足數據庫通用要求（如數據管理、網絡安全與數據安全、可擴展性）外，還應滿足權威性、科學性、規范性、多樣性、封閉性和動態性要求。不應使用公開數據庫作為測評數據庫。部署運行人工智能醫療器械的發布版本列明的算法關鍵模塊功能、接口、版本、存儲形式（pt、pth、bin、onnx、pb、keras、ckpt、pkl等）；主要功能組件模塊及相互依賴和接口關系；軟件的前后端部署方式；對基礎軟件和硬件的依賴和兼容性要求等。更新控制人工智能醫療器械若發生算法更新、軟件更新，均應當按照質量管理體系的要求，開展與算法更新、軟件更新的類型、內容和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿于更新全程，形成記錄。此外，算法更新、軟件更新均需考慮引入回滾機制，以保證醫療業務的連續性，特別是對風險較高的軟件。軟件版本控制應當基于合規性要求確定軟件版本命名規則，涵蓋自研軟件、現成軟件、算法（算法驅動型更新或數據驅動型更新）網絡安全的全部軟件更新類型，明確并區分重大軟件更新和輕微軟件更新，并符合軟件版本命名規則的要求。對數據集進行用途（訓練、調優、測試、驗證等）的變更，應按照數據集管理體系的要求進行確認、形成記錄，其中驗證和測試集只可變更為訓練和調優使用，不可以將訓練、調優、測試集變更為驗證集。數據集數據的變更，應按照建立數據集過程相同的質量體系進行管理，并記錄更新內容和版本變更。（七）網絡與數據安全人工智能醫療器械全生命周期過程中應當考慮網絡安全與數據安全問題，對網絡與數據安全過程的控制要求形成文件，包括數據轉移要求，數據整理、數據集構建、算法訓練等內部活動開展過程中的數據污染防護措施，以及數據標注、軟件確認等涉及外部活動開展過程中的數據污染防護措施及數據接口要求。各數據庫（集）均需進行數據備份，明確備份的方法、頻次、數據恢復方法。數據庫和數據集訪問應形成文件及使用記錄，明確授權訪問管理要求。人工智能醫療器械軟件應明確算法的軟件安全性級別（輕微、中等、嚴重）并詳述判定理由。應形成算法風險管理資料，明確過擬合與欠擬合、假陰性與假陽性、數據污染與數據偏倚（如數據擴增引入的偏倚）、中外差異等風險的控制措施。（八）可追溯性分析可追溯性分析應當建立控制程序，涵蓋軟件、現成軟件、算法及數據、網絡安全的控制要求，形成軟件及算法的可追溯性分析報告。使用可追溯性分析工具保證軟件開發、軟件更新過程滿足可追溯性要求，并貫穿于軟件生存周期全過程。提供算法可追溯性分析報告，即追溯算法需求、算法設計、源代碼（明確軟件單元名稱即可）、算法測試、算法風險管理的關系表。若無單獨文檔可提供軟件可追溯性分析報告，并注明算法可追溯性分析所在位置。采購生產企業應確保采購物品符合法律法規的相關規定和國家強制性標準的相關要求，包括數據來源及以開源方式獲得的軟件等。數據來源應當提供數據來源的合規性聲明，列明數據來源機構名稱、所在地域、數據收集量、倫理批件（或科研合作協議）編號等信息。產品部署運行所需的軟硬件，應當記錄采購信息，其中以開源方式獲得的軟件組件、基礎包、基礎軟件、集成環境等，應列明來源、下載地址、版本、開源協議等信息。五、銷售和售后服務人工智能醫療器械軟件在產品設計具有持續學習/自適應學習能力的，需要在軟件部署階段確認自學習功能已關閉，并提供記錄。六、不良事件監測、分析和改進上市后需要持續開展算法泛化能力研究的，需要結合用戶投訴、不良事件和召回等情況識別前期未預見的風險，并采取有效的風險控制措施將風險降至可接受水平。此外，根據產品更新需求，經評估后實施更新活動，開展與之相適宜的驗證與確認活動，保證算法泛化能力持續滿足用戶需求。附件1設計開發檢查要點舉例說明1、算法策劃算法開發策劃階段，應對算法需求、數據收集、算法設計、驗證與確認、算法更新、風險管理、可追溯性分析等過程進行算法生命周期策劃，輸出《算法開發計劃書》。2、算法需求算法需求分析以用戶需求與風險為導向，結合產品的預期用途、使用場景、核心功能，綜合分析法規、標準、用戶、產品、功能、性能、接口、用戶界面、網絡安全、警示提示等需求，重點考慮數據收集、算法性能、使用限制等要求。輸出《算法需求規范》。3、數據收集3.1數據入選、排除標準在《算法需求規范》中明確算法數據入選、排除標準。3.2數據來源及質控數據收集應確保數據來源的合規性，數據質控的充分性、有效性、準確性。3.3數據采集數據采集需考慮采集設備、采集過程、數據脫敏等質控要求，并建立《數據采集操作規范》。3.4數據整理脫敏數據匯總形成原始數據庫，不同模態的數據在原始數據庫中需加以區分。數據整理基于原始數據庫考慮數據清洗、數據預處理的質控要求。輸出《數據整理規范》，同時《數據整理規范》中需明確樣本類型、樣本量、樣品分布等信息，數據經整理后形成基礎數據庫。3.5數據標注3.5.1數據標注前應建立《數據標注操作規范》，明確標注資源管理、標注過程質控、標注質量評估等要求。數據經標注后形成標注數據庫。3.5.2數據標注可使用自動標注軟件，但自動標注結果不得直接使用，應由標注人員審核后方可使用；同時，自動標注軟件亦需明確名稱、型號規格、完整版本、制造商、運行環境等信息，并進行軟件確認。3.6數據集構建3.6.1基于標注數據庫構建訓練集、驗證集（調優集）、測試集，明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例，輸出《數據集構建標準》。3.6.2訓練集應當保證樣本分布具有均衡性，測試集、驗證集（調優集）應當保證樣本分布符合臨床實際情況，訓練集、驗證集（調優集）、測試集的樣本應當兩兩無交集并通過查重予以驗證。3.6.3為解決樣本分布不滿足預期的問題，可對訓練集、調優集小樣本量數據進行擴增，原則上不得對測試集進行數據擴增，對抗測試除外。數據擴增需明確擴增的對象、方式（離線、在線）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網絡等）、倍數，擴增倍數過大應考慮數據偏倚的影響及風險。若采用生成對抗網絡進行數據擴增，需明確算法基本信息以及算法選用依據。3.6.4數據經擴增后形成擴增數據庫，需列表對比擴增數據庫與標注數據庫在樣本量、樣本分布（注明擴增倍數）等差異，以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。3.7數據庫管理3.7.1數據庫管理應遵循真實性、完整性、可用性、合規性、可追溯性、臨床代表性、時效性、安全性、準確性9大原則。3.7.2應定期對邏輯數據庫（mysql）數據以及文件數據進行備份，備份文件保存在不同機架的機器磁盤上以提高備份的安全性。3.7.3在整個數據轉移過程中，應當明確數據轉移方法、數據防污染措施以及數據銷毀方式。4、算法設計人工智能算法設計主要考慮算法選擇、算法目標設定分析、算法訓練、算法性能評估等要求，形成《算法設計說明書》。對于黑盒算法，算法設計應開展算法性能影響因素分析，同時與現有醫學知識建立關聯，以提升算法可解釋性。5、驗證與確認算法訓練過程中，需要明確算法訓練環境，應當對算法進行性能評估，以確保選擇的算法準確、有效。算法驗證階段，明確算法性能評估環境，應完成算法性能指標評估、壓力測試、對抗測試，黑盒需要算法性能影響因素分析，輸出《算法性能評估報告》。同時，開展算法性能比較分析，詳述各類測試場景（含臨床評價）算法性能變異度較大的原因，基于分析結果明確產品使用限制和必要警示提示信息，輸出《算法性能比較分析報告》。最后，結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產品的適用范圍、使用場景、核心功能進行必要限制。輸出《算法性能綜合評價報告》。6、算法風險管理人工智能醫療器械的軟件安全性級別可基于產品的預期用途、使用場景、核心功能進行綜合判定，并開展風險管理活動，采取有效的風險控制措施將風險降至可接受水平，并貫穿于人工智能醫療器械全生命周期過程。人工智能醫療器械的主要風險從算法角度包括過擬合和欠擬合。從用途角度，輔助決策主要包括假陰性和假陽性，其中假陰性即漏診，可能導致后續診療活動延誤，特別是要考慮快速進展疾病的診療活動延誤風險，而假陽性即誤診，可能導致后續不必要的診療活動；非輔助決策從算法設計目標能否得以實現角度，亦可參考輔助決策分為假陰性和假陽性。應輸出《風險管理報告》，明確過擬合與欠擬合、假陰性與假陽性、數據擴增與數據偏倚等風險的控制措施。7、算法可追溯性分析醫療器械全生命周期管理中，應實現算法的可追溯性，并形成《可追溯性分析報告》，追溯算法需求、算法設計、源代碼（明確軟件單元名稱即可）、算法測試、算法風險管理的關系表。在數據收集過程中，數據采集、數據整理、數據標注、數據集構建過程中形成《數據脫敏交接記錄》、《數據清洗記錄》、《數據標注記錄》、《數據審核記錄》、《數據仲裁記錄》、《數據集構建記錄》，以上記錄均由操作人員簽字確認。數據收集過程中，每一例數據都可追溯到唯一識別號、脫敏人員、清洗人員、標注人員、審核人員、仲裁人員、入庫人員，保證了數據收集各環節的數據和操作人員的可追溯。8、算法更新控制人工智能醫療器械若發生算法更新、軟件更新，均應當按照質量管理體系的要求，開展與算法更新、軟件更新的類型、內容和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿于更新全程，形成記錄以供體系核查。對于算法更新，無論算法驅動型更新還是數據驅動型更新，均應開展算法性能評估、臨床評價等驗證與確認活動，以保證算法更新的安全有效性。對于軟件更新，具體要求詳見醫療器械軟件指導原則、醫療器械獨立軟件生產質量現場檢查指導原則。人工智能醫療器械所含的每個人工智能算法，均應獨立開展需求分析、數據收集、算法設計、驗證與確認、更新控制等活動，同時考慮人工智能算法組合的整體評價要求，以保證產品的安全有效性。

附件3：參考文獻[1]醫療器械生產質量管理規范附錄獨立軟件[2]醫療器械生產質量管理規范獨立軟件現場檢查指導原則[3]人工智能醫療器械注冊審查指導原則[4]醫療器械軟件注冊審查指導原則（2022年修訂版）[5]醫療器械網絡安全注冊審查指導原則（2022年修訂版）[6]YY/T1833.1-2022人工智能醫療器械質量要求和評價第1部分：術語[7]YY/T1833.2-2022人工智能醫療器械質量要求和評價第2部分：數據集通用要求[8]YY/T1833.3-2022人工智能醫療器械質量要求和評價第3部分：數據標注通用要求[9]YY/T1833.4-2023人工智能醫療器械質量要求和評價第4部分：可追溯性[10]YY/TXXXX.X-XXXX《人工智能醫療器械質量要求和評價第5部分：預訓練模型》征求意見稿[11]YY/T0287-2017醫療器械質量管理體系用于法規的要求[S][12]YY/T0316-2016醫療器械風險管理對醫療器械的應用[S][13]YY/T0664-2020醫療器械軟件軟件生存周期過程[S][14]IEEEStd2801-2022IEEERecommendedPracticefortheQualityManagementofDatasetsforMedicalArtificialIntelligence[S]附件4術語人工智能artificialintelligence（AI）：表現出與人類智能（如推理和學習）相關的各種功能的功能單元的能力。人工智能醫療器械artificialintelligencemedicaldevice（AIMD）：采用AI技術實現其預期用途的醫療器械。注1：如采用機器學習、模式識別、規則推理等技術實現其醫療用途的獨立軟件。注2：如采用內嵌AI算法、AI芯片實現其醫療用途的醫療器械。機器學習machinelearning：功能單元通過獲取新知識或技能，或通過整理已有的知識或技能來改進其性能的過程。注：也可稱為自動學習。深度學習deeplearning：通過訓練具有多個隱層的神經網絡來獲得輸入輸出間映射關系的機器學習方法。訓練training：基于機器學習算法，利用訓練數據，建立或改進機器學習模型參數的過程。監督學習supervisedlearning：得的知識的正確性通過來自外部知識源的反饋加以測試的學習策略。注：也可稱為監督式學習。無監督學習unsupervisedlearning：一種學習策略，它在于觀察并分析不同的實體以及確定某些子集能分組到一定的類別里，而無需在獲得的知識上通過來自外部知識源的反饋，以實現任何正確性測試。注1：一旦形成概念，就對它給出名稱，該名稱就可以用于其他概念的后續學習了；注2：也可稱為無師（式）學習。強化學習reinforcementlearning：一種學習策略，它強調從環境狀態到動作映射的過程，目標是使動作從環境中獲得的累積獎賞值最大。集成學習ensemblelearning：通過結合多個學習器來解決問題的一種機器學習范式。其常見形式是利用一個基學習算法從訓練集產生多個基學習器，然后通過投票等機制將基學習器進行結合。[來源：計算機科學技術名詞ISBN978-7-03-059487-7，08.0222]遷移學習transferlearning利用一個學習領域A上有關學習問題T(A)的知識，改進學習領域B上相關學習問題T(B)的學習算法的性能。過擬合overfitting：學習器對訓練樣本過度學習，導致訓練樣本中不具有普遍性的模式被學習器當作一般規律，降低了泛化性能；典型表現是訓練集上的性能越高，測試集上的性能越低。欠擬合underfitting：學習器對訓練樣本學習不充分，導致訓練樣本中包含的重要模式沒有被學習器獲取，降低了泛化性能；典型表現是訓練集上的性能可以繼續提高，測試集上的性能同時得以提高。人工智能醫療器械生存周期模型AIMDlifecyclemodel：人工智能醫療器械從起始到退役的整個演進過程的框架。包括：需求分析，設計與開發，驗證與確認，部署，運維與監控，再評價直至停運。注：在人工智能醫療器械生存周期中，某些活動可出現在不同的過程中，個別過程可重復出現。例如為了修復系統的隱錯和更新系統，需要反復實施開發過程和部署過程。數據data：信息的可再解釋的形式化表示，以適用于通信、解釋或處理。注：可以通過人工或自動手段處理數據。個人敏感數據personalsensitivedata： 一旦泄露、非法提供或濫用可能危害人身和財產安全，極易導致個人名譽、身心健康受到損害或歧視性待遇等的個人信息。注：個人敏感信息包括身份證件號碼、個人生物識別信息、銀行賬號、通信記錄和內容、財產信息、征信信息、行蹤軌跡、住宿信息、健康生理信息、交易信息、14歲以下（含）兒童的個人信息等。健康數據healthdata：與身體或心理健康相關的個人敏感數據。注：由于目前全球規定了不同的隱私合規性法律和法規。例如，在歐洲，可能需要采取的要求和參考變更為“個人數據”和“敏感數據”，在美國，健康數據可能會變更為“受保護的健康信息（PHI）”，這需要不同國家或地區的制造商進一步考慮中國當地的法律或法規。數據集dataset：具有一定主題，可以標識并可以被計算機化處理的數據集合。訓練集trainingset：用于訓練人工智能算法的數據集，其外部知識源可用于算法參數的計算。調優集tuningset：用于優化人工智能算法的數據集，其外部知識源可用于算法超參數的選擇。注：為避免與醫療器械領域所用術語“確認”進行區分，這里不使用通用人工智能領域的validationset，二者含義一致。測試集testingset：用于測試人工智能算法性能的數據集，其外部知識源可用于對算法的評估。參考標準referencestandard：篩查、診斷和治療過程或基于標注過程建立的基準。注：參考標準可包含疾病、生理狀態或生理異常以及位置和程度等信息標簽。金標準goldstandard：篩查、診斷和治療可依據的最佳參考標準。數據清洗datacleaning：檢測和修正數據集合中錯誤數據項的預處理過程。數據采集dataacquisition：數據由生成裝置按照數據采集規范生成，以數字化格式存儲并傳輸到目標系統的過程。數據脫敏datamasking：通過去標識化或匿名化，實現對個人敏感信息的可靠保護。數據標注dataannotation：對數據進行分析，建立參考標準的過程。仲裁arbitration：多名標注人員對同一原始數據的標注結果不一致時用于決定最終結果的過程。軟件質量softwarequality：在規定條件下使用時，軟件產品滿足明確或隱含要求的能力。軟件質量保證softwarequalityassurance：a)為使某項目或產品遵循已建立的技術需求提供足夠的置信度，而必須采取的有計劃的和有系統的全部動作的模式。b)設計以估算產品開發或制造過程的一組活動?？煽啃詒eliability：在規定時間間隔內和規定條件下，系統或部件執行所要求功能的能力。完整性integrity：保護數據準確性和完備性的性質。一致性consistency：在數據集的各階段、部分之間，一致、標準化、無矛盾的程度。重復性repeatability： 由同一操作員按相同的方法、使用相同的測試或測量設施、在短時間間隔內對同一測試/測量對象進行測試/測量，所獲得的獨立測試/測量結果間的一致程度。再現性reproducibility：由不同的操作員按相同的方法，使用不同的測試或測量設施，對同一測試/測量對象進行觀測以獲得獨立測試/測量結果，所獲得的獨立測試/測量結果間的一致程度?？蛇_性accessibility：組成軟件的各部分便于選擇使用或維護的程度?？傻眯詀vailability：a）軟件（系統或部件）在投入使用時可操作或可訪問的程度或能實現其制定系統功能的概率；b）系統正常工作時間和總的運行時間之比；c）在運行時，某一配置項實現指定功能的能力。保密性confidentiality：數據對未授權的個人、實體或過程不可用或不泄露的特性。網絡安全cybersecurity：通過采取必要措施，防范對數據、模型等攻擊、侵入、干擾、破壞和非法使用以及意外事故，使設備處于穩定可靠運行的狀態，以及保障數據、模型等的完整性、保密性、可得性的能力。安全性safety：免除于不可接受的風險。魯棒性/穩健性：在存在無效輸入或急迫的環境條件下，系統或部件其功能正確的程度。泛化能力generalizability：機器學習算法對陌生樣本的適應能力?？勺匪菪詔raceability：系統對其決策過程及輸出進行記錄的特性。公平性fairness：系統做出不涉及喜好和偏袒決策的性質?？山忉屝詄xplainability：以人能理解的方式，對系統決策因素進行說明的能力。黑盒測試black-boxtesting：忽略系統或部件的內部機制只集中于響應所選擇的輸入和執行條件產生的輸出的一種測試。白盒測試glass-boxtesting：側重于系統或部件內部機制的測試。類型包括分支測試、路徑測試、語句測試等。對抗[措施]countermeasure：為減小脆弱性而采用的行動、裝置、過程、技術或其他措施。對抗樣本adversarialsample：基于原始數據上添加擾動達到混淆系統判別目的新樣本。對抗測試adversarialtest：使用對抗性樣本開展的測試，或采用不同目標樣本分布的特選數據作為壓力數據集進行的測試。陽性樣本positivesample：由參考標準確定為帶有某一種或幾種特定特征的樣本。陰性樣本negativesample：除陽性樣本以外的樣本。真陽性truepositive(TP):被算法判為陽性的陽性樣本。假陽性falsepositive(FP):被算法判為陽性的陰性樣本。真陰性truenegative(TN):被算法判為陰性的陰性樣本。假陰性falsenegative(FN):被算法判為陰性的陽性樣本。目標區域targetregion:在影像評價中，根據參考標準從原始數據中劃分出的若干個包含特定類別目標的最小數據子集（子集元素為像素，體素等）。分割區域segmentationregion:在影像評價中，從原始數據中劃分出的若干個包含特定類別目標的最小數據子集（子集元素為像素，體素等）。病變定位lesionlocalization:算法檢出病變位置正確標識出參考標準確定的病變位置。非病變定位non-lesionlocalization:算法檢出病變位置未能正確標識出參考標準確定的病變所在位置。病變定位率lesionlocalizationrate:病變定位數量占由參考標準確定的全體病變數量的比例。非病變定位率non-lesionlocalizationrate:非病變定位數量占全體病例數量的比例，非病變定位率可以大于1。假陽性率falsepositiverate:假陽性病例數量（陰性病例中包含非病變定位）占全部陰性病例數量的比例。召回率（查全率）recall:真陽性樣本占全體陽性樣本的比例。特異度specificity:真陰性樣本占全體陰性樣本的比例。漏檢率missrate:1減去靈敏度。精確度（查準率）precision:陽性預測值positivepredictionvalue真陽性樣本占被算法判為陽性樣本的比例。陰性預測值negativepredictionvalue:真陰性樣本占被算法判為陰性樣本的比例。準確率accuracy:算法判斷正確的樣本占全體樣本的比例。F1度量F1-measure:召回率和精確度的調和平均數。約登指數Youdenindex:靈敏度與特異度之和減去1。受試者響應曲線receiveroperatingcharacteristicscurveROC:通過在一組預設的閾值下計算人工智能算法在測試集上的靈敏度（Sensitivity）以及特異度（Specificity）從而產生一組（1-Specificity，Sensitivity）操作點，將操作點依次連接形成受試者操作曲線。曲線下面積areaundercurve(AUC):受試者響應曲線下的積分面積。自由受試者響應曲線free-responsereceiveroperatingcharacteristicscurve(fROC):由算法在一組閾值設定下對于給定的測試集得到的一組病變定位率為縱軸，及非病變定位率為橫軸構造的曲線。候選自由受試者響應曲線alternativefreereceiveroperatingcharacteristicscurve(AFROCcurve):由算法在一組閾值設定下對于給定的測試集得到的一組病變定位率為縱軸，及假陽性率為橫軸構造的曲線。精確度-召回率曲線precision-recallcurve(P-R):由算法在一組閾值設定下對于給定的測試集得到的一組召回率為縱軸，精確度為橫軸構造的曲線。平均精確度averageprecision(AP):精確度-召回率曲線下的積分面積。平均精確度均值meanaverageprecision(MAP):在多目標檢測問題上，算法對于各類目標的平均精確度的平均值。交并比intersectionoverunion(IoU):分割區域與目標區域的交集占分割區域與目標區域并集的比例注：也可稱為Jaccard系數。Dice系數Dicecoefficient:分割區域與目標區域的交集占分割區域與目標區域平均值的比例。中心點距離centraldistance:分割區域中心與目標區域中心的距離，該指標反映兩個集合的接近程度?；煜仃嘽onfusionmatrix:一種矩陣，它按一組規則記錄試探性實例的正確分類和不正確分類的個數。注1：通常矩陣的列代表人工智能的診斷結果，而矩陣的行代表參考標準的診斷結果；注2：也可稱為含混矩陣。Kappa系數Kappacoefficient:一種用于評價結果一致性的指標。信噪比signal-to-noiseratio(SNR):信號平均功率水平與噪聲平均功率水平的比值。峰值信噪比peaksignal-to-noiseratio:信號最大可能功率與噪聲平均功率水平的比