近日，四川大學(xué)華西醫(yī)院呼吸與危重癥醫(yī)學(xué)科教授李為民、研究員王成弟團(tuán)隊(duì)在《創(chuàng)新》上發(fā)表了最新研究論文，創(chuàng)新性開發(fā)了多模態(tài)融合模型，即Multimodal Integration，MMI模型，利用臨床文本、影像圖像、檢驗(yàn)指標(biāo)等多維度信息，實(shí)現(xiàn)肺部感染性疾病及病原類型精準(zhǔn)預(yù)測(cè)，及時(shí)對(duì)危重癥進(jìn)行預(yù)警干預(yù)。

不同病原體引起的肺部感染性疾病給人民生命健康帶來了嚴(yán)重的疾病負(fù)擔(dān)，胸部計(jì)算機(jī)斷層掃描是診斷肺部感染的重要輔助工具，但其“異病同征、同病異征”的現(xiàn)象給精準(zhǔn)診斷帶來困難。人工智能技術(shù)的快速發(fā)展推動(dòng)了醫(yī)療領(lǐng)域的創(chuàng)新，多模態(tài)融合為疾病精準(zhǔn)診斷的實(shí)現(xiàn)提供了技術(shù)基礎(chǔ)。

該研究納入了四川大學(xué)華西醫(yī)院及醫(yī)聯(lián)體24107例住院患者，收集其臨床癥狀、診療記錄等文本、實(shí)驗(yàn)室檢測(cè)結(jié)果和胸部CT圖像。研究者利用雙向編碼器轉(zhuǎn)換器提取文本信息，通過骨干網(wǎng)絡(luò)Swin-Transformer對(duì)圖像信息進(jìn)行特征提取。為進(jìn)一步提高模型性能，研究者采用注意力Attention架構(gòu)，將模型從臨床、影像、檢驗(yàn)數(shù)據(jù)中提取的單模態(tài)特征合并為多模態(tài)特征，使MMI模型能夠整合多個(gè)信息源并有效地對(duì)疾病進(jìn)行精確診斷。

相對(duì)于僅使用臨床特征或影像圖像的單一模態(tài)模型，MMI模型在識(shí)別肺部感染性疾病患者的準(zhǔn)確性更高，并能夠區(qū)分單一感染和混合感染的患者。在識(shí)別不同類型肺部感染性疾病任務(wù)上，MMI模型平均性能依舊最佳。

不同的數(shù)據(jù)融合策略會(huì)影響模型的診斷性能，研究者對(duì)早期融合、中期融合和晚期融合三種融合架構(gòu)進(jìn)行探索。與早期融合和后期融合架構(gòu)相比，中間融合架構(gòu)表現(xiàn)出更加優(yōu)越的性能。中期融合尋求合并來自多個(gè)信息源的特征，生成統(tǒng)一的特征集，增強(qiáng)了信息在信息源間的傳播，并交互式地優(yōu)化了特征提取過程。

研究者進(jìn)一步收集肺部感染性患者多模態(tài)數(shù)據(jù)，將該模型與兩組具有不同年資的臨床醫(yī)生進(jìn)行對(duì)比。結(jié)果顯示，MMI模型在肺部感染性疾病診斷方面的性能可與具有豐富臨床經(jīng)驗(yàn)的醫(yī)生相媲美。

MMI模型在常見肺部感染病原體的預(yù)測(cè)上也顯示出良好的診斷潛力。覆蓋呼吸道合胞病毒、冠狀病毒、肺炎鏈球菌、結(jié)核分枝桿菌等常見呼吸道病毒和細(xì)菌病原體。這種對(duì)不同病原體亞型的準(zhǔn)確區(qū)分，可輔助醫(yī)護(hù)人員及時(shí)診斷并針對(duì)性使用抗菌藥物。預(yù)警危重癥也是MMI模型在肺部感染性患者診療中的重要應(yīng)用。研究者評(píng)估了肺部感染性疾病患者危重預(yù)后的相關(guān)因素，并可視化了多維度特征在預(yù)警預(yù)后中的重要性。

綜上所述，該研究創(chuàng)新性地開發(fā)多模態(tài)融合MMI模型，精準(zhǔn)診斷肺部感染性疾病，快速鎖定病原體，融合多維特征實(shí)現(xiàn)重癥提前預(yù)警，有助于臨床及時(shí)決策干預(yù)，改善肺部感染性患者的預(yù)后，為肺部感染性疾病精準(zhǔn)診療提供新思路。

相關(guān)論文信息：https://doi.org/10.1016/j.xinn.2024.100648

來源：《創(chuàng)新》