FDA已批準病理圖像人工智能產品非臨床研究簡介（原創2023-08-03CMDE中國器審）近日，器審中心發布了IVD人工智能軟件的3個審評要點，標志著對于IVD人工智能軟件的規范化審評邁上了新臺階。我國企業也在IVD人工智能軟件上做了非常多的研發工作，其中，做為第三類醫療器械管理的輔助決策類的2個產品已于去年和今年獲得批準，包含1款病理圖像分析軟件。病理圖像的輔助識別、輔助診斷決策是IVD人工智能軟件應用的重要方面之一，下面介紹一款FDA批準的該類軟件的非臨床研究審評要點，為審評提供借鑒和思考。2021年9月21日FDA首次批準IVD病理圖像人工智能輔助決策軟件——PaigeProstate，該產品是一種用于定性輔助決策的深度學習軟件。批準類別：全新（Denove）自動分為III類，今后將作為II類特殊控制管理。一、產品描述（一）預期用途該產品為專用軟件，用于幫助病理醫師對蘇木精和伊紅（H&E）染色的福爾馬林固定-石蠟包埋（FFPE）的前列腺穿刺活檢組織的全玻片數字掃描圖像（WSI，以下簡稱“掃描圖像”）做診斷時，識別可疑的癌癥病灶。該軟件在病理醫師對掃描圖像進行初診之后使用，如果軟件識別到可疑的癌癥組織形態，則在圖像上提供位置坐標（X,Y），供病理醫師對該位置進一步診斷或修改初診的結論。該產品自動分析掃描圖像后輸出以下內容：1.基于神經網絡輸出的預定義閾值，對圖像是否懷疑為癌癥進行二元分類。2.如果切片被歸類為“懷疑不是癌癥”將沒有額外的輸出，圖像軟件查看器將顯示“懷疑不是癌癥——沒有目標區域”。該產品為計算機輔助方法，其輸出結果不應用作最初的診斷，病理醫師應只使用該軟件結合完整的標準診療程序評估病理切片掃描圖像。該軟件不提供輔助測量（定量）或癌癥病灶的分級診斷結果。該軟件配套使用的掃描儀為飛利浦掃描儀（PhilipsIntelliSiteUltraFastScanner），數字病理圖像查看軟件為本公司的軟件（FullFocusimageviewingsoftware）。（二）算法研究算法研究是基于訓練集、調優集和測試集的數據進行的。數據訓練、調優和測試數據集，分別來自于相互獨立病人的切片，以保證其在訓練、調優、和測試數據集不重復使用。這些數據脫敏后被標注，并與驗證集數據相互獨立。訓練集數量：33543例，徠卡掃描儀（Leica），與預期用途配合掃描儀品牌不同；調優集數量：5598例，徠卡掃描儀（Leica），同上；測試集數量：5598例，飛利浦掃描儀（Philips），同預期用途配合掃描儀相同。1.算法研究的3個數據集人種信息如下：白人占約80%左右，非洲族裔美國人或黑人占9%，印第安人占0.1%，亞裔和遠東人種占3%，其他占約2%，沒有種族信息的占5%左右，人種分布在三個數據集的比例基本相同。切片分別來源于公司內部（136例癌癥，183例良性）和外部機構（175例癌癥，234例良性）。2.切片分類組成如下：（1）非典型小腺泡增生（ASAP）、萎縮出現；（2）高級別（PIN）前列腺上皮內腫瘤；（3）接受過治療的組織（治療后組織有治療相關的改變）；（4）癌組織：腫瘤大于0.5mm，其中PIN出現單獨統計；（5）癌組織：腫瘤小于等于0.5mm，其中PIN出現單獨統計；（6）良性組織（無萎縮、PIN和治療）。3.數據標注：是否為癌癥的準確性由診斷報告來作為金標準確認，定位準確性由3位經過認證（有資質）的病理醫師來確定。（三）非臨床研究1.軟件描述依據FDA指導文件《醫療設備中包含的軟件上市前提交內容指南》（2005年5月11日發布），該產品為中度風險考量。申請人提交了危害分析，對該產品和網絡安全分別進行了分析，并評估了緩解前后的風險。產品危害分析包括：危害的識別、造成危害的原因（危險情況）、發生危險的概率、危害嚴重程度、控制或緩解的方法、所采取的糾正措施，包括解釋設備設計/要求中消除、減少或警告危險事件的方面，驗證控制執行情況，并可通過列舉的可追溯矩陣進行追蹤。申請人提交了以下描述文檔，包括軟件需求規范（SRS）、軟件架構設計圖表、軟件設計規范（SDS）、可追溯分析/矩陣、軟件開發環境、驗證和驗證測試、軟件版本修訂歷史，其中軟件版本（v）2.1.501在所有性能研究中使用之前發布，包括分析性能研究和臨床研究。在上市后，軟件版本將保持鎖定狀態，不會隨著臨床應用對算法持續訓練和更新。未解決的異常：在軟件驗證之前，所有識別的異常都已解決，沒有未解決的異常情況。2.網絡安全網絡安全文件與FDA指導文件《醫療設備網絡安全管理上市前提交文件內容：工業和食品藥品監督管理局工作人員指南》（2014年10月2日發布）中概述的上市前提交文件應包含的建議信息一致。與網絡安全相關的信息包括：網絡安全風險相關的危害分析，將網絡安全控制與考慮的風險聯系起來的可追溯性文件，在醫療設備的全生命周期中驗證軟件更新和補丁的概要計劃，為確保醫療設備保持其完整性而采取的控制措施的摘要描述，與預期使用相適應的使用說明書中的推薦的網絡安全控制措施。數據傳輸方面：數據傳輸的各個環節都采用加密的方式。3.分析性能評估分析性能評估包括：算法定位（X,Y）坐標準確度研究和精密度研究。采用配套用的飛利浦掃描儀和本公司數字病理圖像查看軟件。（1）算法定位（X,Y）坐標準確度研究該研究評估了軟件在鑒別診斷前列腺穿刺活檢數字病理圖像為可疑癌癥組織的能力，以及定位一個高度疑似癌癥病灶（X,Y）坐標的能力。研究方法：對“該產品識別的坐標（X,Y）”與“3名對軟件輸出結果不知情的病理學家手工注釋的區域”進行了比對評估，且這些參與研究的病理學家沒有參與臨床試驗的閱片研究。所有的掃描圖像（癌和良性組織混合穿插混合）提供給病理學家，由其審閱并給予了圖像區域“有癌”的標記，3位病理醫師間互為盲法，不知道彼此對切片的注釋，也不知道該申報軟件的結果輸出。至少2-3名提供注釋的病理醫師對同一切片位置的同樣標注，才能作為真值與軟件輸出結果進行比對。所有的病理醫師在注釋選定區域之前要遵循以下原則：a.標記癌癥邊緣要盡量的緊貼癌癥區域，要畫出最小癌癥區域；b.可以選擇良性細胞和癌細胞混合呈現的區域進行標記，因為軟件輸出定位坐標（X,Y）的目的就是標出病理醫師感興趣的區域并引起注意。為了避免因病例水平重疊而產生的偏倚，數據分析只使用了獨立的患者病例，即:與研發數據集相比，所有切片在患者層面都是獨立的。研究樣本最終納入了包括728個掃描圖像（311個來自癌癥組織切片，417個來自良性組織切片）。主要終點數據：真陽性（TP）：算法將切片準確分類并且高度懷疑為癌癥的區域定位坐標（X,Y）在預定義閾值范圍內，294/311；真陰性（TN）：算法將切片準確分類并且懷疑不是癌癥，392/417；假陽性（FP）：算法將懷疑為癌癥的切片錯誤分類，25/417；假陰性（FN）：算法將懷疑為不是癌癥的切片錯誤分類；或算法將切片準確分類為懷疑為癌癥，但未將懷疑為癌癥的坐標（X,Y）區域定位正確，17/311。結果：敏感性：94.5%（95%CI：91.4%-96.6%）；特異性：94.0%（95%CI：91.3%-95.9%）。同時，也分別對來源于公司內部和外部機構（217個外部機構）的準確度結果進行了敏感性和特異性的統計。這些結果顯示有些許差異，可能是由于病例人種機構分布差異和機構的切片制作方式差異性有關。（2）精密度研究該研究評估了高度懷疑為癌癥的圖像定位精密度（應在預期閾值范圍內）。精密度研究的切片與算法訓練、調優和測試集相互獨立。研究包含來相互獨立病例的35個癌癥掃描圖像和36個良性掃描圖像。a.掃描儀內精密度：同一切片掃描3次，重復用同一個掃描儀和一個操作者。掃描儀內精密度結果：總體：陽性符合率99.0%（97.1%-100%）；陰性符合率94.4%（88.9%-99.1%）。所有3次結果都正確的重復性（按組計算）：癌癥：97.1%（34/35）；良性：88.9%（32/36）。總體重復性（按重復次數算）：癌癥：99.0%（104/105）（95%CI：94.8%-99.8%）；良性：94.4%（102/108）（95%CI：88.4%-97.4%）。結論：按照總體重復性（按重復次數算）：癌癥99.0%（104/105）（95%CI：94.8%-99.8%），良性94.4%（102/108）(95%CI：88.4%-97.4%)。b.重現性研究（評估掃描儀間和操作者間變異）：切片用3個不同掃描儀分別掃描1次，在不同的地點（內部研究地點），由3位不同的操作者（操作者1對應掃描儀1）進行。重現性研究結果（按照總重復次數算）：癌癥：100%（105/105）（95%CI：96.5%；100%）；良性：93.5%（101/108）（95%CI：87.2%；96.8%）。c.定位精密度：玻片被掃描5次（3個掃描儀和3個操作者：操作者1和掃描儀1，重復3次掃描；操作者2和掃描儀2，1次掃描，操作者3和掃描儀3，1次掃描）。從前述精密度a和b研究的35個癌癥和36個良性掃描圖像中隨機選擇19個癌癥和4個良性掃描圖像進行定位精密度評估。