全文概要
《自然·医学》刊登的一篇 correspondence 宣布启动 MAGIC(Medical AI Global Initiative and Collaboration)——一个旨在真实世界临床情境下评估医学大语言模型(LLM)的国际协作网络。MAGIC 主张医学 AI 应在实际部署的语言、社区与卫生体系中接受评估,而非仅依赖英语基准测试分数,并联合临床医生、AI 研究者、政策制定者、产业界与本地专家共同推动。

《自然·医学》刊登的一篇 correspondence 宣布启动 MAGIC(Medical AI Global Initiative and Collaboration)——一个旨在真实世界临床情境下评估医学大语言模型(LLM)的国际协作网络。MAGIC 主张医学 AI 应在实际部署的语言、社区与卫生体系中接受评估,而非仅依赖英语基准测试分数,并联合临床医生、AI 研究者、政策制定者、产业界与本地专家共同推动。

1. 直面"基准测试高分 ≠ 临床可用"的鸿沟

当前医学大模型的评估多依赖英文基准测试,但这未必能转化为在多样化医疗场景中的安全、有用支持。MAGIC 由 Rui Yang 等国际团队发起,核心关切是:模型在基准上的优异表现,能否在真实、多语言、多社区、多卫生体系中落地为可靠辅助。该网络将临床医生、AI 研究者、政策制定者、产业界与本地专家聚合起来,检验基准表现与真实可用性之间的差距。

2. 两大初始优先事项

MAGIC 设定了两项初始优先:其一,建立覆盖多语言、区域疾病负担与社会文化适应性的全球健康大语言模型评估基准;其二,制定全球部署报告标准,明确预期用途、目标用户、医疗场景以及在不同人群中的表现与安全性。这旨在让医学 AI 的评估与报告从"通用基准"走向"因地制宜",为监管、采购与临床应用提供更可靠依据。

3. 对医学 AI 落地的意义

该倡议呼应了业界对医学 AI"评估失配"的日益关注。对临床医生与医院而言,MAGIC 所倡导的本地化、真实世界评估框架,有助于在引入 AI 辅助诊断、病历、随访等工具时做出更审慎的判断,推动医学 AI 从实验室基准走向可信赖的临床落地。

来源:自然·医学(Nature Medicine)


解螺旋科研助手企业微信二维码,扫码添加免费领取科研资料礼包,包含AI科研提效、SCI投稿技巧、国自然基金、医学科研绘图、科研软件工具等实用资料


声明:本文资讯来源于公开报道及学术期刊,仅作行业信息传播,不构成临床用药建议。转载需注明来源。