近年,小腸癌發病率明顯上升,早期檢測并采取有效的治療措施,可有效提高存活率,避免病情繼續惡化。但小腸結構迂曲復雜、活動度大、長度大,難以通過常規檢查手段有效檢測病灶,同時小腸病變多具有隱匿性特點,臨床癥狀無明顯的特異性,因此小腸病變的診斷一直是一大難題[1]。目前,在小腸病變輔助檢測中,常用的有氣鋇雙重造影、CT影像、MRI、灌腸造影、膠囊內鏡、雙氣囊內鏡造影幾種檢查方法,但這些檢查方式診斷價值有限或因有創性而存在一定的局限性[2]。相較而言,小腸CT造影技術具有成像速度快、分辨率高的優勢,在小腸血管性病變、炎性病變、小腸腫瘤、不明原因消化道出血等病變診斷方面都有較高的價值[3-4]。但小腸CT造影技術主要獲取掃描影像,依賴于醫師對影像的解讀能力,主觀性較強,易造成誤診、漏診現象[5]。大量人工智能技術在圖像識別方面的研究應用顯示,利用人工智能技術能準確地提取圖像特征,找出圖像的特異性[6-8]。為此,本研究以512層螺旋薄層掃描小腸CT圖像和病理報告為基礎,基于卷積神經網絡ResNet101[9]、目標檢測算法模型(FasterR-CNN)[10]結合長短期記憶網絡(LSTM)[11]構建小腸圖像特征,提取描述循環迭代模型(以下簡稱RF-LSTM),通過模型輸出小腸病變圖像特征信息和病變類型,為醫師診斷提供更為客觀的特征數據,以提高小腸疾病診斷的準確性。1材料與方法1.1材料及設備篩選我院2020年1月—2022年1月行512層螺旋CT薄層掃描重建圖像及相應的病理診斷報告共計1572套,每套材料包括CT平掃、動脈期、靜脈期、延遲期軸位和冠位圖像及病理報告,主要包含了出血、糜爛、潰瘍、炎性息肉、腺瘤性息肉、脂肪瘤、腺癌、間質瘤、淋巴瘤等病變類型,部分病例存在多種病變。按7∶3比例隨機分為訓練組和測試組,具體見表1。納入標準:(1)圖像顯示清晰,結構顯示清晰;(2)圖像上無標線、標注等非原始掃描圖像記號;(3)病例均經過病理診斷,圖像有相應的病理報告;(4)每套圖像中,CT平掃、動脈期、靜脈期、延遲期軸位、冠位圖像均完整。表1樣本材料病變類型及數量本研究中,所收集的病例圖像均在我院由GE公司Revolution256排512層螺旋CT行小腸薄層CT掃描。圖像經MPR、MIP進行后處理重建圖像,重建層厚1～1.5mm,重建間隔0.6～1mm。采用Python編程語言編程構建模型,采用Pytorch深度學習框架。1.2數據預處理及增強本研究中所收集的圖像資料為CT重建圖像,其尺寸較大,而ResNet101模型的輸入尺寸為224×224,因此需要對原始圖像資料進行壓縮處理,統一壓縮至224×224。對病理報告進行處理,并由4位醫師盲讀圖像補充描述性標簽,通過分詞建立規整且符合模型輸入要求的語料,主要包括病變類型、腸壁狀態、平掃CT值、增強CT值、腸管壁密度特征、腸管周圍脂肪間隙CT值、腸壁黏膜完整性、病灶形態、邊緣特征、積液、系膜特征。測試樣本圖像診斷后,收集影像特征醫師判斷錯誤結果匯總數據,用以檢驗模型圖像識別能力。對訓練組的樣本數據進行增廣處理,采用幾何變換的方法來增加樣本的多樣性。具體方法為對訓練組圖像進行小比例縮小和放大、對圖像進行一定裁剪,對圖像進行旋轉,使訓練組樣本量增加6倍,訓練樣本數據增廣至8648例,共計87942張CT圖像。1.3模型構建本研究中構建的RF-LSTM模型,包括編碼器和解碼器兩個模塊,編碼器負責圖像特征的提取,解碼器負責將提取出的圖像特征翻譯為病變信息,搭建一個encoder-decoder的端對端圖像描述神經網絡模型。編碼器采用卷積神經網絡ResNet101和目標檢測算法FasterR-CNN構建,圖像輸入后首先通過ResNet101提取圖像特征(ROI),采用FasterR-CNN來結合ResNet101提取的圖像特征探索疑似病變區域,提取疑似病變區特征,再將ResNet101提取的圖像特征與FasterR-CNN提取的疑似病變區圖像特征進行特征融合,將融合后的新特征轉換為特征向量輸入解碼器;解碼器采用長短期記憶網絡模型LSTM作為語言模型,根據編碼器提取的圖像特征生成文字解釋詞匯,經過反復迭代后直至產生完整的描述,輸出病變特征的語言描述,模型結構見圖1。圖1模型結構圖1.4圖像特征提取方法圖像特征的提取采用ResNet101模型結合FasterR-CNN提取圖像特征的方法。首先,使用ResNet101模型對輸入的CT圖像進行卷積和池化,根據病變類型和病變復合狀態組建17分類網絡,epochs=200,batch_size=16,drop_out=0.1,學習率0.0001,默認優化方法采用SGD,提取圖像特征數據構建14×14×2048的圖像特征向量。再根據RestNet101模型提取出的圖像特征,利用FasterR-CNN以圖像特征為中心鋪設錨框,判斷錨框內是否含有疑似病變部位,并修正錨框邊界,挑選出疑似病變部位概率>0.8的目標區域,提取出疑似病變區域的圖像特征數據構建圖像特征向量。最后,將ResNet101提取出的圖像特征與FasterR-CNN提取出的疑似病變區域圖像特征進行融合,提高圖像特征的準確度和豐富性,降低信息冗余干擾,最終形成新的疑似病變部位圖像特征向量。1.5圖像診斷文本生成圖像特征的文字解碼采用LSTM模型來完成,采用表現效果的單向循環神經網絡來構建模型進行解碼,信息的傳遞采用從前往后的單向傳遞方式。根據抽取的圖像特征參數,捕捉圖像特征語義,自上而下的循環迭代遍歷語料庫,找到最合理的描述詞語組成診斷文本。1.6評價指標采用診斷文本質量評價指標、診斷準確率(正確判斷病變類型數量占總數量的比例)、病變部位提取正確率指標三個指標對模型性能進行評價[12]。各病變類型隨機抽取50張圖像10個病變類型共計500張,由4名醫師采用五級量化方法,結合病理報告對模型生成診斷文本質量進行評分。1分=質量極低,11個特征描述錯誤項≥3項;2分=質量較低,描述錯誤項2項以內;3分=一般,無錯誤項,僅詞句結構不完全合理,可用于輔助診斷;4分=極匹配,無錯誤項,詞句結構基本合理,并能少量發現人工閱片遺漏錯誤的地方;5分=完美,無錯誤項,僅少量詞句結構不合理,并能發現較多人工閱片遺漏錯誤的地方,有極大的輔助診斷價值。重點篩選1分、2分樣本進行分析。2結果2.1文本質量評價結果模型訓練完成后,輸入測試樣本數據,輸出圖像的文本診斷結果,統計4名醫師對文本質量的人工評價結果,分別為(4.08±0.692)分、(3.97±0.687)分、(4.05±0.635)分、(4.04±0.651)分。4名醫師人工評價,模型輸出診斷結果文本質量在4分左右,4名醫師對文本質量評價較統計,評價差異無統計學意義(F=1.498,P=0.213>0.05)。4名醫師對質量極低、質量較低的模型輸出樣本評價完全一致,在3分、4分、5分評價上存在顯著差異,具有統計學意義(P<0.05)。見表2。表2醫師人工評價各分段分布情況(例)2.2診斷準確率統計病變類型模型判斷正確與錯誤的圖像樣本數量,計算診斷正確率,并與醫師僅憑圖像的診斷正確率對比,見表3。各病變類型圖像的病變判斷中,正確率均高于90%,其中對腺癌的判斷正確率稍低,為92.47%。表3模型診斷準確率統計結果2.3病變部位提取正確率在病變部位的提取上,提取病變組織部位圖像的正確率均超過99%。見表4。表4模型病變部位提取正確率統計結果3討論圖像描述技術是一種通過計算機視覺、機器學習、自然語言處理等技術,對圖像進行分析識別并生成文本描述的技術。在早期圖像描述研究領域,主要采用基于模板匹配的方法利用事先制定的規則生成圖像描述,但檢測精度和準確率不高。隨著人工智能技術的發展尤其是深度學習技術的進步,循環神經網絡(RNN)和卷積神經網絡(CNN)被應用于圖像描述技術中,以結合性地解決圖像描述精度和準確率不高的問題,并形成了多種模型,如ShowandTell模型、g-LSTM模型、Adaptive-att模型、自適應Attention模型等,使得圖像描述技術得到極大提高。大量研究顯示,圖像描述技術應用中,生成的描述文本往往對語義信息考慮不足。劉茂福等[13]針對視覺關聯和上下文信息差異問題,采用雙注意力機制建立了VRCDA模型,結果顯示采用雙注意力機制能有效提高文本描述的語義表達能力。傅煦熙等[14]針對這一問題,則采用了融合MOGRIFIER網絡的方法,對內容信息分配不同的權重以獲得更準確的描述,語義表達能力有較明顯的提升。劉青茹等[15]針對復雜場景圖像的細節描述深層語義不足現象,采用多尺度特征環路融合、多分支空間分步注意的方法建立了多重注意力結構模型提取圖像特征,基于LSTM解碼進行圖像描述,結果顯示多重注意力結構能有效提升圖像描述的深層語義表達能力。目前,相關研究和應用雖然已經在社會生產生活的多個領域展開,且成為人工智能領域研究的一大熱點,但在醫療影像輔助診斷領域的研究和應用還較少。張俊三等[16]采用共同力機制進行視覺特征和語義特征的綜合處理,結合對抗網絡GAN和強化學習RL方法建立模型,結果顯示該模型能較好地輸出高質量報告。林玉萍等[17]以青光眼影像數據為材料,采用深度水平集算法結合自然語言處理,生成影像的文本標注,結果顯示模型有較好的信息表征能力。沈秀軒等[18]基于醫學圖像全局特征,采用卷積神經網絡和Transformer模型進行融合建模,基于深度學習生成醫學影像報告,實驗表明在醫學影像報告的生成上有極大的有效性。但醫學報告的語言結構和語義表達需要極高的準確性,目前研究多采用Bleu、Moteor、Rouge、CIDEr等指標來評價文本質量,對語義特征的評價能力不足。同時,現在研究還未見關于小腸病變CT圖像的智能化圖像描述研究。本研究中,采用醫師人工評價模型輸出的影像報告文本質量的方式,構建基于RestNet101、FasterR-CNN、LSTM的圖像描述模型,對512層螺旋CT薄層掃描重建圖像進行文本描述,醫師評價文本質量平均分在4分左右,在11項特征描述中,僅0.8%的樣本產生錯誤描述項,其余樣本均能進行正確描述,但有約35%左右的樣本存在詞句結構較明顯的不合理現象,表明模型能進行正確的病變影像特征判斷,但在詞句結構組合上還有所不足,不過模型能發現較多醫生肉眼未能識別出的病變影像特征并進行文本描述,可為醫生臨床診斷提供更為豐富的信息。本研究中,對模型的9病變類型及正常樣本診斷準確率進行了分析,結果顯示模型能很好地通過CT影像辨識小腸病變類型,正確率均高于90%,在出血、糜爛、息肉、腫瘤等病變類型上均有極強的識別能力,僅對腺癌的識別能力稍弱,正確率為92.47%,分析發現對腺癌識別能力稍弱,主要是由于其CT圖像特征與腺瘤性息肉極為近似,因此易出現誤診為腺瘤性息肉的現象。醫師在各病變類型的誤診漏診上都明顯高于模型識別結果,正確率基本處于85%以下,對腺癌的正確診斷率更僅60.77%,實驗顯示模型能更為準確地借助CT影像識別病變類型,可為醫師提供有效的輔助診斷信息。分析其原因,在僅依靠CT圖像進行病變類型診斷時,醫師更多地依靠主觀經驗和圖像認識水平進行診斷,在對圖像的精細特征信息把握上不足,而模型能更多地識別出CT圖像中的精細特征信息,從而作出更準確的判斷。與其他部分利用人工智能技術進行小腸病變類型定性診斷的研究結果相比,本研究對小腸病變類型的診斷準確率普遍更優,分析其原因與本研究中所建立的模型采用RestNet101和FasterR-CNN兩個模型提取圖像特征進行融合有關,兩個模型提取圖像征特信息進行ROI融合后,能獲得更為豐富的圖像特征信息,有利于病變類型的診斷識別。而在病變部位的提取準確率上,本研究所建立的模型能極為準確地定位病變部位,提取正確率均達到99%,但在正常圖像上略有所不足,出現在0.53%的正常圖像樣本中識別出病變部位的現象。分析其原因,主要因為錯誤提取的正常圖像中,存在一定的與病變部位近似的圖像特征,被錯誤地認為存在糜爛、炎性息肉等病變。當前,圖像描述技術在各領域均有較多的應用和研究,并展現出極高的應用價值。本研究中,基于RestNet101和FasterR-CNN構建編碼器,提取512層螺旋CT薄層掃描小腸重建圖像的圖像特征參數進行ROI融合,采用LSTM進行解碼,對病變類型和影像特征進行描述,共包含了正常圖像和9種小腸病變類型,設計了11個病變部位影像特征標簽。研究結果顯示,模型對