近日，四川年夜学华西病院呼吸与危重症医学科传授李为平易近、研究员王成弟团队在《立异》上颁发了最新研究论文，立异性开辟了多模态融会模子，即Multimodal Integration，MMI模子，操纵临床文本、影象图象、查验指标等多维度信息，实现肺部传染性疾病和病原类型精准猜测，和时对危重症进行预警干涉干与。

分歧病原体引发的肺部传染性疾病给人平易近生命健康带来了严重的疾病承担，胸部计较机断层扫描是诊断肺部传染的主要辅助东西，但其“异病同征、同病异征”的现象给精准诊断带来坚苦。人工智能手艺的快速成长鞭策了医疗范畴的立异，多模态融会为疾病精准诊断的实现供给了手艺根本。

该研究纳入了四川年夜学华西病院和医联体24107例住院患者，搜集其临床症状、诊疗记实等文本、尝试室检测成果和胸部CT图象。研究者操纵双向编码器转换器提取文本信息，经由过程主干收集Swin-Transformer对图象信息进行特点提取。为进一步提高模子机能，研究者采取留意力Attention架构，将模子从临床、影象、查验数据中提取的单模态特点归并为多模态特点，使MMI模子可以或许整合多个信息源并有用地对疾病进行切确诊断。

相对仅利用临床特点或影象图象的单一模态模子，MMI模子在辨认肺部传染性疾病患者的正确性更高，并可以或许辨别单一传染和夹杂传染的患者。在辨认分歧类型肺部传染性疾病使命上，MMI模子平均机能照旧最好。

分歧的数据融会策略会影响模子的诊断机能，研究者对初期融会、中期融会和晚期融会三种融会架构进行摸索。与初期融会和后期融会架构比拟，中心融会架构表示出加倍优胜的机能。中期融会追求归并来自多个信息源的特点，生成同一的特点集，加强了信息在信息源间的传布，并交互式地优化了特点提取进程。

研究者进一步搜集肺部传染性患者多模态数据，将该模子与两组具有分歧年资的临床大夫进行对照。成果显示，MMI模子在肺部传染性疾病诊断方面的机能可与具有丰硕临床经验的大夫相媲美。

MMI模子在常见肺部传染病原体的猜测上也显示出杰出的诊断潜力。笼盖呼吸道合胞病毒、冠状病毒、肺炎链球菌、结核分枝杆菌等常见呼吸道病毒和细菌病原体。这类对分歧病原体亚型的正确辨别，可辅助医护人员和时诊断并针对性利用抗菌药物。预警危重症也是MMI模子在肺部传染性患者诊疗中的主要利用。研究者评估了肺部传染性疾病患者危重预后的相干身分，并可视化了多维度特点在预警预后中的主要性。

综上所述，该研究立异性地开辟多模态融会MMI模子，精准诊断肺部传染性疾病，快速锁定病原体，融会多维特点实现重症提早预警，有助在临床和时决开博体育议计划干涉干与，改良肺部传染性患者的预后，为肺部传染性疾病精准诊疗供给新思绪。

相干论文信息：https://doi.org/10.1016/j.xinn.2024.100648

版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请在正文上方注明来历和作者，且不得对内容作本色性改动；微信公家号、头条号等新媒体平台，转载请联系授权。邮箱：shouquan@stimes.cn。

上一篇:开博-汗液检测！可穿戴健康监测研究获进展—新闻—科学网 下一篇:开博-研究揭示大熊猫种群演化历史，提出物种保护新见解—新闻—科学网