大模型浪潮下，医疗领域发生了深刻变革。自去年多个医疗大模型发布以来，各厂商都在积极探索如何与公立医院合作，将这些大模型落地到实际的场景中。
以体检报告生成为例，在大模型的助力下，现在医院平均每5秒即可自动生成一份总检报告，为医生节约超过50%的撰写时间。每日可自动生成超过500份体检报告，报告采纳率达到96%以上。
此外，多家医院的“AI医生”也都可以直接在线上使用，能实现“望体征、闻声音、问病情、切病因”，成为用户身边的健康助手。
复旦大学附属华山医院信息中心副主任刘从进对第一财经记者表示：“大语言模型在医疗领域的应用越来越深入，不仅提升了效率，也优化了医疗质量。”
科技公司抱紧头部公立医院
第一财经记者梳理，目前医疗大模型的主要场景为：全病程管理、医疗影像数智化、诊后康复管理、辅助诊断、药物/器械研发、文献搜索、手术病历撰写、门诊病历生成、医疗报告小结、检验报告智能解读、问诊对话、医院管理、用户健康助手、智慧导诊等。
但不同于其他领域的大模型，医疗大模型在多模态、安全性、专业性能力上面都提出了更高的挑战。随着医学研究对多模态数据治理能力及数据标准化的要求越来越高，这就需要产业界和医疗机构进一步加深合作。
近日，商汤医疗在上海世界人工智能大会上宣布，与包括瑞金、华西、新华、西京、中科大附属第一医院在内的头部医院启动医疗多模态大模型赋能的智慧医院建设示范样板，利用医疗大模型帮助医院建立“中枢大脑”，实现对智慧医院建设的底层赋能。
支付宝在这次大会上成为最新入局医疗大模型的互联网公司，其发布的多模态医疗大模型，可提供智能问答、病历结构化和检索、辅助诊断，识别和解读药品及上百种复杂医学报告。支付宝还与20多家机构和企业联合发起AI医疗共建计划，共同探索大模型应用及各类专科模型的创新研发。
本月，神州医疗也与南方医科大学南方医院合作建立了国内首个全院级多模态数据平台。
“手握大量优质数据资源的公立医院，才是医疗大模型主导权的真正掌控者。”一位业内人士对第一财经记者表示。
上海交通大学医学院附属瑞金医院副院长、上海市数字医学创新中心常务副主任胡伟国在本月初的一场医疗大模型创新发展论坛上表示，基于高品质和丰富的医学大数据，瑞金医院发布了医学加强的基座大模型，推出了适配应用的语言大模型和多模态大模型，并在电子病历生成、体检报告生成、智能咨询、瑞金AI医生等领域的应用持续深耕。
大模型已在公立医院多场景落地
第一财经记者了解到，上海几乎所有的头部医院都在积极探索大模型在医院各个管理环节的应用。复旦大学附属中山医院也已经发布了一款用于体检的AI辅助工具，可分析各科室全量体检结果与科室小结数据，自动提取异常项，参考相关专家共识，基于异常检查结果对健康的危害程度，进行重要异常结果的急重缓轻排序，然后按照器官系统与疾病一元论等原则进行异常结果合并分析。基于异常结果分级评分排序及合并分析，生成主检结论与健康建议，内容涵盖不同分级对应的指导要素。
复旦大学附属中山医院党委书记顾建英表示，中山医院以海量数据资产为数据服务基础建设未来医院，并创新实践了元医疗、AI语音导诊等多个医疗服务场景。
“应该将大模型技术与医学知识、医疗数据融为一体，引导技术创新与人民健康需求相结合，重点推动医疗大模型在临床诊断与治疗、健康管理等领域的应用，产生更大的健康价值和社会效益。”顾建英称。
华山医院的刘从进对第一财经记者表示，目前在华山医院，大模型主要用于三大场景，包括生成式电子病历系统、生成式慢病随访系统以及大模型在全病程管理中的应用。
他进一步解释称，生成式电子病历系统体现了大语言模型在医疗信息处理方面的高效性。系统设计涵盖了从语音转录、病历段落结构化、基本元素整理到专科电子病历的创建全过程，包括入院记录、查房记录、病程记录、手术记录等信息，这些信息通过大语言模型被自动转化为结构化数据。
“智能生成的电子病历严格遵守医疗规则，确保内容的准确性和合规性。这一系统不仅提高了病历编写的效率，同时也保证了病历质量，减少了人为错误，加强了数据的完整性和连续性。”刘从进表示。
在慢病随访系统中，大模型通过对出院小结的深度解析，能够快速提取患者的关键随访信息，如用药指导、处理建议和定期检查安排，从而生成个性化的随访计划。患者可通过随访小程序接收提醒，管理用药计划，跟踪随访进度，而医生则能在系统中审核并调整随访策略，确保治疗方案的持续性和有效性。这一系统极大地方便了医患双方，提高了慢病管理的效率和患者的生活质量。
“通专融合”，提升大模型能力
商汤科技副总裁张少霆告诉第一财经记者，目前医院使用的大模型可以以“通才调专才”的方式来实现多模态能力。通过“通才”模型和“专才”模型的相互配合，以通才模型作为任务规划的“中枢大脑”，智能调度覆盖医学文本、放射影像、病理图像等多种数据模态的专用模型，辅助医生完成跨科室、跨模态的复杂诊断推理。
他进一步称，所谓的“通才”模型，是指医疗领域的大型语言模型，例如商汤医疗研发的医疗大语言模型“大医”。同时商汤已具备一系列精通不同模态医学图像分析的领域专用模型，以增加特定任务中的优势能力，通过“通专融合”的路径打造“医疗多模态智能体”，助力智慧医院建设。
为更好地推进“通专融合”创新，面向病理科，商汤医疗联合中华医学会病理学分会王哲副主委团队、清华大学何永红教授团队，发布了国内首个病理大模型PathOrchestra。
“病理图像具有非常大的多样性，要借助人工智能技术开展诊断难度极大，因此病理图像处理也被称为图像处理中的皇冠上的明珠。病理大模型正是突破数字病理瓶颈的关键。”王哲表示。
该模型基于近30万张全切片数字病理图像（近300TB数据）数据集训练，并融合了文本、视频等多模态训练数据，通过对海量数据的自监督学习，无需大量精标注数据，即可分析肺、乳腺、肝脏、食管等20余种器官的病理图像，实现包括泛癌分类、病灶识别和检测、多癌种亚型分类、生物标志物评估等在内的百余项临床任务。
复旦大学智能医学研究院常务副院长刘雷对记者表示，大模型主要依托高性能计算资源、数据资源和知识库资源这三大要素。针对知识库资源，复旦大学医学大模型（OTMed）结合了基座大语言模型的理解、生成、推理、创造能力和多模态的生物医学知识，能增强专业能力，实现生物医学智能问答。
来源：医学界智库
