前言
医疗人工智能(Medical AI)正迎来大模型（LLM）的黄金时代，但其应用也面临着严峻的挑战。医疗领域对精确性和可靠性有着极高的要求，任何细微的错误都可能危及患者的生命。IBM Watson for Oncology 曾推荐不安全的癌症治疗方案，而某些AI影像诊断系统则出现了过高的假阳性率，这些案例都突显了医疗AI在实际应用中的风险。因此，在医疗大模型(Medical LLM)被广泛部署之前，必须对其性能和安全性进行严格而现实的评估。为了应对这一挑战，LLMEval-Med基准应运而生，它旨在通过模拟真实临床场景，提供一个更贴近实际、更全面的评估框架，从而推动医疗AI安全、可靠地发展。
1. 医疗AI评估的现状与局限性：亟需更完善的临床基准
现有的医疗AI评估方法存在诸多局限性，主要体现在三个方面：问题形式的局限、数据来源的非现实性以及评估方法的不完善。
- 问题形式的局限： 传统的评估往往侧重于模仿美国医师执照考试（USMLE）等考试形式的客观选择题，而忽略了实际临床场景中复杂的、开放式问题的考察。这意味着，现有评估方式难以全面衡量模型在生成和推理复杂医疗信息方面的能力。例如，当医生需要根据患者的病史、体检结果和检查报告，形成初步诊断和治疗方案时，开放式问题更能考验模型的综合分析能力。
- 数据来源的非现实性： 许多评估的数据并非来源于真实的电子病历（EHR）或临床场景，而是从公开的网络数据或教科书中提取。这导致评估难以反映真实医疗环境的复杂性和多样性。想象一下，如果一个模型只是在教科书上学习了肺炎的诊断标准，但却从未见过现实中因个体差异而表现各异的肺炎患者，那么它在实际应用中的表现很可能令人失望。
- 评估方法的不完善： 传统的评估方法，如ROUGE和BLEU等，主要关注词汇级别的相似度，或者仅仅统计正确率，这无法全面衡量模型回答的临床有效性、逻辑一致性和安全性。比如，一个模型可能给出了一个技术上“正确”的答案，但却忽略了患者的过敏史，从而给出了错误的用药建议，这样的答案即使“正确”也是危险的。
针对这些局限性，LLMEval-Med 的出现旨在填补这一空白，提供一个更现实、更可靠的临床基准，推动医疗AI的健康发展。
2. LLMEval-Med：构建更贴近真实的医疗AI评估体系
LLMEval-Med 是一项基于真实电子病历（EHR）和医疗专家设计的临床场景构建的基准，包含2,996个高质量的问题。它不仅注重模型对医学知识的掌握，更强调其在开放式问答（Open QA） 方面的能力。LLMEval-Med 的核心优势在于其数据来源的真实性和评估方法的创新性。
-
真实的数据来源： LLMEval-Med 的数据并非来自公开的网络资源，而是直接从真实的临床场景和电子病历中提取。为了保证数据的质量和代表性，LLMEval-Med邀请了现职医生、医学院教授和医学生参与数据的生成和验证。这种数据来源的真实性，确保了评估能够真正反映模型在实际临床环境中的表现。例如，LLMEval-Med 包含大量基于真实患者病例的问题，要求模型根据患者的病史、体检结果和检查报告，给出诊断和治疗建议，这比单纯的医学知识问答更具挑战性，也更具临床价值。
-
开放式问答（Open QA）为主的题型： LLMEval-Med 83% 以上的问题为开放式问答，旨在全面评估模型的生成能力和复杂的推理能力。开放式问答不同于选择题，它要求模型能够自由地表达自己的观点，并给出详细的解释和论证。例如，一个开放式问题可能要求模型解释某种疾病的病理生理机制，或者比较不同治疗方案的优缺点，这需要模型具备扎实的医学知识和出色的表达能力。
-
评估的五大核心能力： LLMEval-Med 旨在全面评估医疗LLM的五大核心能力：医疗知识 (Medical Knowledge, MK)、医疗语言理解 (Medical Language Understanding, MLU)、医疗推理 (Medical Reasoning, MR)、医疗文档生成 (Medical Text Generation, MTG)以及医疗安全与伦理 (Medical Safety and Ethics, MSE)。
- 医疗知识 (MK)： 考察模型对核心医学理论和临床知识的掌握程度。例如，模型需要知道高血压的诊断标准，或者某种药物的副作用。
- 医疗语言理解 (MLU)： 考察模型对医疗文本（如病历、论文等）的理解和信息提取能力。例如，模型需要从一段病历中提取患者的主要症状和体征。
- 医疗推理 (MR)： 考察模型基于已知信息进行临床推理和决策的能力。例如，模型需要根据患者的症状和检查结果，给出初步诊断和进一步检查的建议。
- 医疗文档生成 (MTG)： 考察模型生成符合特定目的的医疗文档（如诊疗记录、患者教育材料等）的能力。例如，模型需要为一位新诊断为糖尿病的患者撰写一份通俗易懂的教育材料。
- 医疗安全与伦理 (MSE)： 考察模型遵守医疗伦理和患者安全规程的能力。例如，模型需要避免给出可能对患者造成伤害的建议，并尊重患者的隐私。
通过这五大核心能力的评估，LLMEval-Med 能够全面了解医疗LLM的优势和不足，为模型的改进提供指导。
3. LLM-as-Judge框架：提升评估的客观性与效率
为了提高评估的效率和客观性，LLMEval-Med 采用了基于LLM-as-Judge 的评估框架，即利用大模型作为评估者。具体来说，研究人员使用 GPT-4o 作为评估者，并结合专家设计的详细检查清单，对模型的回答进行自动评估。
- GPT-4o 作为评估者： GPT-4o 具备强大的语言理解和推理能力，可以快速、准确地评估模型的回答。
- 专家设计的检查清单： 为了确保评估的客观性和一致性，LLMEval-Med 的研究人员设计了详细的检查清单，明确了评估的标准和要求。检查清单中包含了“核心要求”和“附加要求”，确保评估能够覆盖模型回答的关键要素。例如，在评估模型生成的诊疗记录时，检查清单可能会要求记录必须包含患者的主诉、体检结果、诊断和治疗建议，并要求记录的格式规范、语言通顺。
然而，LLM-as-Judge 并非完美无缺。为了解决自动评估可能存在的偏差和错误，LLMEval-Med 引入了人工专家验证和动态改进机制。
4. 人工专家验证与动态改进：打造可信赖的评估流程
为了克服自动评估的局限性，LLMEval-Med 采用了“人机协作”的动态评估流程。具体来说，研究人员首先使用 GPT-4o 对模型的回答进行自动评估，然后由医疗专家对自动评估的结果进行验证。如果人工评估结果与自动评估结果不一致，研究人员会分析原因，并对检查清单和提示语进行修改和改进。通过不断迭代，研究人员最终将人机评估一致率提高到了 92% 以上。
- 人工专家验证： 人工专家可以识别自动评估难以发现的错误和偏差，确保评估结果的准确性。例如，人工专家可以判断模型给出的诊断是否合理，或者治疗建议是否安全。
- 动态改进： 通过分析人机评估不一致的原因，研究人员可以不断改进检查清单和提示语，提高自动评估的准确性和可靠性。例如，如果研究人员发现 GPT-4o 经常忽略模型回答中的某个重要信息，他们可以在检查清单中增加对该信息的关注，或者在提示语中明确要求 GPT-4o 关注该信息。
值得一提的是，对于医疗文档生成 (MTG) 这项任务，由于其复杂性和主观性，LLMEval-Med 完全由人工专家进行评估，以确保评估结果的可靠性。
5. LLMEval-Med 的评估结果：揭示医疗LLM的现状与挑战
研究人员使用 LLMEval-Med 对 13 个大模型进行了评估，这些模型包括开源模型、闭源模型和医疗专用模型。评估结果显示，目前的大模型在医疗领域的应用仍面临着诸多挑战。
- 整体性能仍有待提高： 即使是性能最佳的模型，如 Deepseek-R1 (64.23%) 和 o1-preview (61.23%)，其可用性评分也未超过 70%。这表明，目前的大模型距离独立应用于临床环境仍有相当大的差距。
- 能力层级结构明显： 评估结果显示，所有模型都呈现出一致的能力层级结构：医疗知识 (MK) > 医疗语言理解 (MLU) ≈ 医疗推理 (MR) > 医疗文档生成 (MTG)。这表明，大模型在记忆医学事实方面表现较好，但在复杂的临床推理和文档生成方面仍存在困难。
- 不同类型模型的特点：
- 开源模型： Deepseek-R1 在医疗知识 (MK) 方面表现出色，得分高达 84.16%，整体性能领先。
- 闭源模型： GPT-4o 在医疗文档生成 (MTG) 方面表现突出，得分高达 64.58%，表明其在生成复杂长文本方面具有优势。
- 医疗专用模型： “医疗专用”并不意味着性能必然优异。例如，Baichuan-M1 表现良好，但 DISC-MedLLM 表现不佳。Baichuan-M1-14B 在医疗安全与伦理 (MSE) 方面得分较高 (70.03%)，表明针对特定目标进行微调可能有效。
这些评估结果为医疗LLM的未来发展提供了重要的参考。
6. LLMEval-Med 的启示：医疗AI评估的新方向
LLMEval-Med 的成功构建和应用为医疗AI评估提供了新的方向：
- 真实临床数据、开放式问题和动态自动评估相结合： LLMEval-Med 结合了真实临床数据、开放式问题和人工专家验证的动态自动评估，为医疗LLM评估树立了新的标准，超越了传统的客观选择题评估模式。
- 构建可信赖的 LLM-as-Judge 系统： LLMEval-Med 证明，仅仅使用 LLM 作为评估者是不够的，必须结合专家检查清单、人工验证和动态改进，才能构建可信赖的自动评估系统。
- 医疗LLM的发展方向： LLMEval-Med 强调，医疗LLM 要想成为真正的临床伙伴，必须在推理 (MR) 和生成 (MTG) 能力方面取得突破，尤其是在医疗文档生成方面，这将是未来研究和开发的关键目标。
- 对医疗专用模型的反思： LLMEval-Med 提醒我们，仅仅使用医疗数据进行训练并不能保证模型的优异性能，模型的底层架构、训练数据的质量以及具体的微调目标同样重要。
7. 医疗安全与伦理（MSE）的至关重要性
在医疗AI的研发和应用过程中，医疗安全与伦理 (MSE) 始终是不可忽视的关键要素。LLMEval-Med 将其纳入五大核心评估能力之一，凸显了其重要性。医疗AI在提供诊断、治疗建议甚至直接执行医疗操作时，必须严格遵守医疗伦理规范，确保患者的安全和权益。
- 数据隐私保护： 医疗数据的敏感性要求AI系统在处理患者信息时，必须严格遵守数据隐私保护法规，防止信息泄露和滥用。
- 算法透明度和可解释性： 医疗决策的透明度和可解释性至关重要。医生和患者需要了解AI做出决策的依据，以便进行有效的评估和信任。
- 避免偏见和歧视： 医疗AI的训练数据可能存在偏见，导致AI在对不同人群进行诊断和治疗时产生歧视。因此，需要对训练数据进行 тщательно审查，并采取相应的措施消除偏见。
- 责任归属： 当医疗AI出现错误时，责任应该由谁承担？是开发者、医生还是医院？这是一个复杂的问题，需要制定明确的法律和伦理规范。
LLMEval-Med 在评估医疗安全与伦理 (MSE) 方面，侧重于考察模型是否能够识别潜在的风险，并给出符合伦理规范的建议。例如，模型需要避免给出可能对患者造成伤害的建议，并尊重患者的隐私。
8. 结论与展望
LLMEval-Med 的出现，为医疗AI的评估提供了一个更现实、更可靠的临床基准。它不仅能够帮助我们更全面地了解医疗LLM 的现状和挑战，也能够为医疗AI 的未来发展提供重要的指导。随着技术的不断进步和评估方法的不断完善，我们有理由相信，医疗AI 将在保障患者安全和提高医疗效率方面发挥越来越重要的作用。LLMEval-Med 的成功，预示着医疗AI评估进入了一个新的阶段，一个更注重真实性、可靠性和伦理性的阶段。未来，我们期待看到更多像 LLMEval-Med 这样的基准出现，共同推动医疗AI 的健康发展，最终惠及每一位患者。医疗人工智能(Medical AI)只有在安全、可靠的前提下，才能真正实现其潜力，为人类健康做出贡献。