摘要：榜单的任务不是选出“最强模型”，而是让决策有证据
医疗人工智能领域的榜单，常被压缩成一张按总分排序的表。但在医疗场景里，一个模型在考试题上领先，并不意味着它能在真实诊疗中稳定采集病史、识别缺失信息、合理选择检查、遵循指南、表达不确定性，也不意味着它适合被放进患者服务或医生工作流。榜单真正的价值，不是制造一个单一冠军，而是让模型能力、任务边界、风险、成本和证据等级变得可观察、可比较、可复核。
医学知识问答基准仍然重要。MedQA 将美国执业医师考试题转化为医学问答任务，PubMedQA 要求模型结合论文摘要判断研究结论是否支持问题；它们为医学知识覆盖和研究阅读能力提供了可重复的起点[1–2]。但临床并非从题干直接跳到答案。患者不会按教科书顺序提供信息，检查并非全部已知，多个诊断可能同时合理，决策还受到时间、资源、患者偏好和风险容忍度影响。
近年的评测工作正把医疗基准扩展到更接近真实工作的任务：HealthBench 使用医生撰写的 rubric 评估开放式、多轮健康对话；AgentClinic 将问诊、工具使用和不完整信息放进模拟临床环境；MedAgentBench 让智能体通过符合 FHIR 的虚拟电子病历环境完成任务；MedHELM 则以任务分类体系组织多个医疗基准[3–6]。2026 年的临床 AI 综述进一步指出，标准题目、模拟病例、回顾性验证和前瞻性临床评估处于不同证据层级，不能相互替代[7]。
本文依据一份医疗 AI 榜单建设方案，重点分析其中的多轮问诊、检查反馈模拟、ICD 编码、指南依据、成本核算、双盲专家评价和人机协同设计。方案有明确的工程价值，但也有必须先校正的科学问题：内部模型分数不能在样本量、版本、提示词、评分规则和置信区间不完整时直接当作公开排名；缺失的检查结果不能由模拟器悄悄补成“阴性”；真实病历清单也不应被默认当作诊疗金标准。
本文提出一条更稳健的建设路径：先定义用途和风险，再组织有来源、有授权、有代表性的病例；在静态题、交互模拟、回顾性外部验证和前瞻性试点之间建立证据阶梯；同时报告正确性、安全性、校准度、资源利用、可用性和人机协作表现；最后以版本化数据、可审计评分与持续红队测试维护榜单。对朗慧而言，这一方向可把数据工程、医学标注、专家审阅、质量管理和私有评测连接成一个可验证的服务流程，而不是将“拥有数据”或“榜上有名”包装成临床效果。
一、为什么医疗 AI 不能只靠考试分数排榜
1. 医学知识题测到的是能力切片
医学选择题基准适合测试明确问题下的知识提取、概念辨析和有限的推理过程。它们的优点是题目和答案格式相对稳定，容易复现、便于建立基线，也适合观察模型随版本更新的变化。问题在于，试题的结构会把临床任务压缩成“给定信息—选择答案”。模型不必主动询问，也不必决定是否需要检验，更不必说明哪些信息不足以支持结论。
研究型问答也有自己的任务边界。PubMedQA 把问题、摘要上下文和结论组织成 yes/no/maybe 判断，适合测试证据阅读与归纳，但不能据此推断模型能胜任病历中的冲突信息处理或实际医患沟通。将考试成绩直接称为“临床能力”，就是把一种窄任务的结果外推到另一种复杂系统任务。
2. 临床决策是序贯过程
真实诊疗包含一系列相互影响的选择：先问什么、何时追问、是否检查、如何解释新结果、是否修正鉴别诊断、何时停止继续检查，以及何时请人复核。AgentClinic 的研究将静态 MedQA 题转成多轮交互后发现，序贯决策难度会显著上升；MedAgentBench 则把一组任务放进虚拟电子病历环境，要求模型通过工具调用读取或操作结构化病历[4–5]。这些工作提示，模型会答题和模型会完成流程是两类不同能力。
3. 医疗错误的代价不对称
漏掉一个危急征象、编造一个并未做过的检查结果、提出不必要的高风险处置，与一般措辞不佳不能按同一尺度扣分。总体准确率可能掩盖低频但后果严重的安全失误。NOHARM 等安全基准将“潜在伤害的频率和严重度”作为专门评测对象；其研究目前仍应按论文自身的病例与标注范围解读，但它清楚说明了安全性不是医学知识分数的同义词[8]。
4. 医疗基准会老化，也可能被“刷熟”
当公开题库被多次用于训练、提示词优化和模型选择，榜单得分便可能更多反映模型对题目分布的熟悉，而非面对新病例时的泛化能力。静态测试集还可能因模型迭代过快而很快失去区分度。2025 年动态红队研究及其 2026 年期刊工作展示了在静态测试之外，持续变异提示、对抗场景和安全压力测试的价值[9]。动态测试也不是万能方案：若每轮攻击规则不透明或不可复现，分数同样难以比较。因此，稳妥做法是将固定公开集用于可复现基线，把受控隐藏集、时间外验证和动态红队用于新颖性与鲁棒性检查，并明确披露每一种分数回答的问题。
二、研究前沿正在把医疗 Benchmark 推向工作流评估
1. 从单题回答转向真实对话
HealthBench 的原始项目资料显示，该基准包括 5,000 段健康对话，由 262 名曾在 60 个国家执业的医生参与构建，并为模型回答设计逐项评分 rubric；官方资料明确说明对话可以是多轮、多语种，也覆盖普通用户与医疗专业人员场景[3]。因此，方案材料中将 HealthBench 描述为“全部单轮对话”的表述需要纠正。这里的关键不是某个基准是否“最先进”，而是基准介绍必须回到原始论文与官方数据说明核实，不能依赖二手表格转述。
医生逐项编写 rubric，有助于避免仅用关键词匹配评价开放式医疗回答。但 rubric 的覆盖范围、权重、判定边界和自动评分器仍需验证。HealthBench 的原始工作也采用模型评分器，并通过医生复核其与人类判定的一致性；这类方法适合扩大量级，但不应被解读成“LLM 裁判天然客观”。
2. 从静态病例转向可交互环境
AgentClinic 研究在模拟环境中设置医生、患者及测量工具等角色，支持信息不完整、多轮交互和工具使用[4]。MedAgentBench 进一步提供 300 个临床任务、100 个患者档案和 FHIR 兼容的虚拟 EHR 环境[5]。它们把评测对象从一段文本回答扩展到“模型能否在某个环境中完成指定动作”。
模拟环境的价值在于可控、可重复、可记录；局限是患者模拟器、检查模拟器、病历数据结构与现实医疗系统之间存在差距。MedAgentBench 论文也明确提到，虚拟环境不能直接当作生产系统，并指出数据来源和任务覆盖有边界。对自建基准来说，智能体环境不仅要问“是否完成任务”，还要记录工具调用、状态变化、越权操作、无效请求、重复检查和终止时点。
3. 从“一个大榜”转向任务谱系
MedHELM 以 5 个大类、22 个子类和 121 项任务组织医学大模型评测，并汇集多个既有与新建基准[6]。这种结构比把诊断、病历生成、患者沟通、医学研究和行政流程压成单一分数更能说明模型适合做什么、不适合做什么。其启示是：榜单的第一层应是用途分类，第二层才是模型比较。
例如，临床记录摘要和患者教育属于不同风险场景；检验报告抽取、诊断建议和医疗资源调度也不应共享同一套评价权重。面向一个具体用途的榜单，应先固定目标用户、输入信息、允许的工具、系统输出、人工审核责任和失败代价，再决定评分维度。
4. 从一次性排行榜走向持续监测
临床 AI 系统可能依赖模型 API、提示词、检索库、工具链和人机交互策略。仅报告“模型名称 + 分数”不足以复现一个系统。2025 年的 TRIPOD-LLM 提醒研究者报告使用场景、模型与版本、提示工程、数据处理、人工评审资历和质量控制等信息；TRIPOD+AI、DECIDE-AI 与 CONSORT-AI 则分别为预测模型报告、早期真实场景评估和 AI 干预临床试验提供相应报告框架[10–13]。这些指南不是临床审批或质量认证，但它们说明透明报告是学术可比较、可复现的基础。
三、对方案逐项拆解：哪些方向成立，哪些需要重写
1. 真实病历与复杂信息：方向正确，需明确样本来源和代表性
方案建议将结构化真实病历、检验和检查信息用于提高临床信息丰度，这是必要方向。临床文本有缩写、省略、错别字、时间跨度和跨文书矛盾，合成病例很难覆盖全部真实复杂度。使用真实数据必须同时说明：数据来源及授权范围、患者级去重、隐私保护、纳入排除标准、机构和人群分布、疾病与严重度比例、缺失机制，以及是否存在同一患者跨训练/测试集的问题。
“真实”不等于“代表性”，大医院或单一科室的数据不能自然外推到社区、不同地区和不同语言人群。评测应按临床场景、机构、年龄段、性别、疾病亚型和关键风险组报告表现；当样本不足时，应明示不确定性，而不是将低样本组的得分当作可靠排序。
2. 检查结果模拟：可以研究，但不能把未知伪装成阴性
方案提出：原始病例未提供模型申请的检查时，由“检查智能体”预测结果。这能帮助构造交互场景，却也是整个技术设计中风险最高的环节。现实数据中“未做检查”表示结果未知，不等于结果正常；若模拟器生成一个看似合理的结果并直接返回给被测模型，测试就从“在不完整信息下决策”变成“在人工补写的信息下决策”，可能诱导错误结论，也会让测试结果依赖模拟器本身的偏差。
建议将信息状态严格区分为：已观测结果、明确未做、不可获取、模拟生成。只有在单独的模拟器研究任务中，才返回模拟结果，并在后台保留其生成来源、置信度、适用范围和真实分布验证。主榜单可设置两条赛道：一条只在确定性病例信息上评分；另一条使用经真实数据外部验证的环境模拟器，评测模型对不确定结果的处理。模拟器不得被当作隐形临床事实生成器。
3. ICD-10 与规则化评分：有利于规范记录，不等于确立诊断金标准
将诊断映射至 ICD-10 等编码有助于做层级统计、类别聚合和跨团队复核，但代码匹配只能回答“系统将结论编码到哪里”，不能独立回答“临床判断是否正确”。编码层级可能过粗，多个结论可能合理，诊断还可能随时间和新增检查而变化。正确做法是把编码作为可计算的辅助字段，同时保留临床概念、依据证据、可接受替代诊断、诊断层级和专家判定记录。
参考标准应由具备相应专科经验的医生依据病例资料与适用指南建立；必要时双人独立标注、第三方仲裁，并记录分歧。对于存在多种临床合理路径的病例，评分应认可预先定义的可接受答案集合，而不是把单一出院编码当成唯一正确答案。
4. 指南一致性：评价路径，但要锁定版本与适用人群
纳入指南、临床路径和专家共识，可以让“为什么选择这项检查或处置”有依据。评测协议必须固定指南名称、版本、发布日期、适用人群和推荐强度；否则模型可能被拿一条过时或不适用于该患者的建议评分。指南也不能穷尽每位患者的偏好、禁忌、资源可及性和临床不确定性。
建议把指南一致性拆成三个可检查问题：必要的关键步骤是否被遗漏；已执行步骤是否有相应适应证；模型是否在证据不足或指南不覆盖时表达不确定性并提出合理升级路径。不能把“提到指南关键词”当作“遵循指南”，也不宜将推理过程的流畅程度直接等同于临床正确。
5. 成本评价：把经济性纳入榜单是进步，但不能用单一价格替代临床价值
方案提出按检查价格计算资源消耗，能够识别“为了增加信息而无限开检查”的不合理策略。这与 Sequential Diagnosis Benchmark 将序贯诊断和检查成本放在同一评测环境的方向一致[14]。但医疗服务价格取决于地区、医院、支付制度、患者保险和具体检查组合；价格列表只能是某一时间与场景下的近似，不是普遍的成本真值。
更稳健的报告方式是同时呈现诊断效能、漏诊风险、过度检查、检查次数、费用区间、等待时间、额外医疗负担和不确定性。对不同模型绘制“风险—效果—成本”前沿，说明在何种用途、阈值和支付环境下某方案更合适，而不是直接宣布一个模型“性价比最高”。如果没有临床效用权重或决策分析依据，也不应把多指标强行折算成单一 ROI。
6. 稳定性与 pass@k：必须精确定义，不用重复抽样替代单次可靠性
医疗系统部署时通常面对一次真实请求，因此 pass@1 反映单次运行能否完成任务；pass@k 通常强调多次尝试中至少一次成功的概率，而“k 次全部成功”的概率或跨次得分方差是另一种稳定性指标。方案中的 pass@k、pass^k 需要在论文协议里逐一明确定义，并注明每例重复次数、随机种子、温度、采样策略和汇总算法。
如果模型可以在真实场景中重试，系统可能把最佳一次答案显示给用户，但这种做法会改变延迟、成本和风险，必须单独评测。仅凭 pass@k 与 pass@1 的差值，不能直接推断后训练质量或临床稳定性；统计差异还要结合样本量、置信区间、病例聚类和预先制定的分析计划。所有排名应给出不确定区间，并避免把小样本中的名次互换解释成能力代差。
7. LLM-as-a-Judge：扩展标注能力，保留专家校准和审计
LLM 裁判适合承担格式检查、部分事实核验、rubric 初筛和大量样本的辅助评分，但它可能偏爱更长、更自信、措辞更像自身输出的答案，也可能与被测模型共享相同知识盲区。HealthBench、MedHELM 等研究都展示了 rubric 与模型评分器的实践，同时也说明需要比较评分器与临床专家判断的一致程度[3,6]。
建议采用分层评分：可程序化核验的项目使用确定性规则；医学事实与关键安全点使用引用来源、规则和临床专家复核；沟通体验及方案适配性采用经培训的盲态临床评审。每批样本抽取一定比例做双人独立评分，报告一致性指标、分歧率和仲裁情况。裁判模型的名称与版本、提示词、评分温度、rubric 版本和校准样本也要冻结并存档。
8. 双盲专家平台：需要防止泄盲、顺序效应和评分疲劳
方案中设计的病例对比、双模型问答和随机盲测平台具有可操作性。要让结果可信，盲态不能只依靠隐藏模型名称：需要统一输出格式，去除供应商和模型的风格标记，随机排列答案顺序；评审者不应知道答案来源或榜单位置；同一病例的两种模型响应不应在界面中泄露成对线索。应设置评审培训、疲劳控制、重复题检测、评分时间上限、盲态猜测问卷和异议复核。
临床专家评分也不是“天然无偏”。不同专科、年资和执业环境对可接受风险的判断可能不同。研究应报告评审者资历、专科分布、病例任务匹配方式、评审者间一致性和仲裁流程，并对患者与公众关切设置参与机制。DECIDE-AI 强调早期临床评价中的临床实用性、安全性、人因因素和进一步试验准备；它提醒我们，真实临床评价要关注使用者、工作流和系统迭代，不只是模型答题分数[12]。
四、建议建立的医疗 AI 榜单方法学
1. 先做“用途卡”，再写题目
每一个榜单子项先填写用途卡：目标用户是谁；服务于哪一类患者和临床问题；模型扮演何种角色；输入允许包含哪些数据；输出是否影响实际医疗决策；是否允许调用检索、工具或电子病历；谁进行最终复核；失败会造成何种伤害。用途卡决定任务、风险等级、评测指标和公开措辞。缺少用途定义时，榜单无法说明分数对采购或临床部署有什么意义。
2. 建立病例谱系与数据卡
每个病例至少记录匿名化患者/就诊标识、任务类型、疾病与严重程度、信息来源、时间点、结构化字段、文书与检查之间的关联、标注依据、适用指南版本、缺失状态、病例纳入/排除规则和可接受答案集合。病例级拆分应避免同一患者、同一就诊或近重复文书跨越训练、调参和测试集。测试集要保留版本和数据血缘；对公开集要定期做污染审计，对隐藏集要有访问控制和审计日志。
3. 设计任务卡与环境状态
把每项任务描述为：初始信息、模型可询问的问题、可用工具、环境返回规则、终止条件、允许操作、禁止操作和预设风险。序贯任务必须保存完整对话和工具轨迹，区分模型没有询问、环境没有数据、检查未执行和结果未知。若模拟患者或检查智能体参与测试，需要公开其验证过程和失败模式；模拟环境不能向被测模型泄漏标签，也不能因为被测模型多问几轮就产生不符合状态转移规则的新事实。
4. 用指标仪表盘代替单一总分
建议最少分成六组指标：
1. 任务效能： 诊断或决策准确性、关键步骤覆盖、结构化抽取完整度、任务完成率。 2. 患者安全： 严重错误、危险遗漏、过度处置、错误安慰、禁忌忽视、虚构检查或引用。 3. 过程质量： 信息采集效率、检查选择、重复操作、工具调用正确性、是否在合适时点停止。 4. 不确定性： 校准误差、风险分层、拒答/升级人工是否恰当、选择性预测与覆盖率关系。 5. 资源利用： 费用、时延、检查次数、人工复核时间和资源约束下的临床收益。 6. 可推广性： 时间外、机构外、亚组、不同输入质量、语言变体与对抗扰动下的表现。
安全表现应设最低门槛；有严重安全缺陷的模型不应因在低风险任务上高分而被综合总分“抵消”。榜单可以提供用途相关的加权视图，但必须公开权重、阈值与敏感性分析，并保留每项原始指标供读者复核。
5. 预注册统计计划与版本报告
在跑模型之前，先写清主要终点、次要终点、纳入样本量依据、比较对象、置信区间、缺失数据处理、分层分析、多重比较处理和停止规则。任务结果可按病例、患者和机构聚类计算区间；同一病例的多模型比较应采用合适的配对分析，避免把每个模型的测试当作互相独立。模型与提示词版本、温度、工具权限、检索源、API 日期、软硬件配置和价格来源都应留档。模型供应商更新后，不要直接沿用旧名次，应标注快照并重新评测。
6. 公开基准采用“开发集—验证集—隐藏集—动态集”并行结构
开发集用于社区调试，验证集支持参数与评分规则校准，隐藏集减少对测试目标的过拟合，动态红队集测试新的攻击与分布变化。四类数据各有用途，不应合并成一个神秘的“总测试集”。病例样例若公开，应评估它们被搜索引擎和后续训练语料收录的风险；关键标签、完整 rubric 或隐藏病例不必全部公开，但应公开评测协议、统计汇总、代码或可审计接口，并建立研究者访问程序。
五、可行性分析：从离线原型到临床证据的四阶段建设
阶段 0：定义边界与治理，约 4–6 周
先选一个具体、可验证、低风险的切入任务，例如“临床文书信息完整性检查”或“特定影像报告字段抽取”，不从“评估所有医疗 AI”起步。成立临床、算法、统计、数据保护和产品共同参与的小组；形成用途卡、风险分析、数据授权清单、病例标注规范、评分手册和预注册统计计划。阶段门槛是：病例来源清楚、允许用途明确、评价标准能被两名独立专家实际使用。
阶段 1：静态基线与盲态标注，约 6–10 周
构建一组用于迭代的开发集和独立验证集；选择公开模型快照与私有模型接口，冻结提示词和配置。先评测任务效能、错误类型、分层表现和自动裁判与专家评分一致性，不追求一次性发布“全国榜”。阶段门槛是：主要指标可重复、评分争议有仲裁流程、严重安全错误可以追溯到病例和证据。
阶段 2：交互式环境和外部验证，约 8–14 周
把问诊、检查决策或病历操作任务放进隔离的模拟环境。患者状态、检查结果、工具接口、时间线和资源成本都要保存；模拟数据与真实观察数据严格分开。至少在不同来源或时间段的留出病例上重复验证，并由独立临床团队复核环境和标签。阶段门槛是：模拟器有验证报告、跨来源性能差距已量化、无未标记的合成信息混入临床事实。
阶段 3：小规模真实工作流试点与持续监测
若任务会影响实际医疗决策，应进入有伦理、隐私和机构治理支持的前瞻性小规模评估，先以“辅助”而非“自动执行”为定位。记录医生是否查看和采纳建议、使用时长、修正行为、升级人工频率、潜在不良事件、工作负担和不同亚组表现。按照 DECIDE-AI 等适用指南透明报告，并依据具体研究类型选用相应规范。达到预设安全和效用门槛后，才讨论更大规模的临床研究或产品化路径。FDA 2025 年发布的 AI 医疗器械软件生命周期草案为相关产品的风险管理与申报资料提供了建议，但文件标注为草案、非约束性，不应被描述成已完成审批或普遍适用的法规结论[15]。
阶段 0–3 的时间仅是项目规划区间，不是保证交付承诺；真实周期取决于机构合作、伦理审查、数据授权、病例量、评审资源和具体用途。预算应拆成数据治理、临床专家、工程、统计、平台、安全审计和持续维护，而不是只按模型调用量估算。
六、榜单建设能为医疗带来什么价值
1. 让医疗机构更有依据地选择模型
医疗机构可按具体任务查看模型的安全边界、成本和错误类型，而非在一个综合排名上下注。对采购来说，榜单能把“模型演示表现好”转成可核验的验收条款：样本与任务范围、严重错误阈值、应答时限、审计记录、版本更新后的回归测试，以及无法处理时的升级机制。
2. 帮助模型团队定位真正的改进方向
准确率不足可能来自知识、信息采集、图像读取、工具调用、上下文整合、校准或表达方式。错误分类和过程轨迹能把数据补充、后训练、检索增强、工具设计和安全策略连接起来。对数据服务而言，这有助于从“交付多少条样本”转向“哪些样本能补到哪个可观察的能力缺口”。
3. 降低患者与临床团队承担的不可见风险
榜单若记录遗漏、误导、过度检查、越权操作和不确定时的行为，可帮助机构在部署前设置人工复核点。它不能保证零风险，却能让已知风险更容易被识别、沟通和管理。
4. 为研究建立可复现的比较基础
标准任务、冻结配置、公开报告和版本审计能减少不同机构“各测各的”造成的不可比较。研究者也能观察模型在不同任务、语言、机构和版本中的性能漂移，为外部验证与前瞻性研究提供可追踪起点。
5. 让数据服务与临床评测形成闭环
当数据规范和模型测评建立映射，团队可追踪“病例属性—标注证据—模型失败—补充样本—复测结果”。这种闭环有助于把数据质量、标注质量和模型能力区别开来：模型失败不一定是数据不足，数据丰富也不自动产生临床价值。评测结论应回到具体任务和数据卡，而不是只形成一张宣传榜单。
七、朗慧的能力定位：把可验证流程做实，不承诺“排名即临床效果”
医疗 AI 榜单建设需要的不只是调用模型的工程能力。它还需要把临床目标翻译成任务规格，将病例来源、授权、脱敏和版本管理嵌入数据流程；为影像、文书、检验和多模态样本建立可追溯关联；把专科标注、复核、分歧仲裁和 rubric 评分沉淀成可审计记录；再用工程平台完成自动化执行、日志回放、成本核算和报告生成。
朗慧可以围绕这些环节组织服务：需求和用途梳理、测试集设计、样本规格与数据卡、医学标注和质检、专家盲评、私有评测环境、基准报告及版本回归。Medical Gate 等私有评测服务的价值，应以其实际任务边界、数据授权、专家参与、评分协议和复现证据来说明；涉及患者安全或临床效果的表述，必须有对应研究和适用场景证据支持。
这份方案呈现的多智能体模拟、成本分析、专家平台和诊断导向评分，适合作为研发路线与内部验证假设。公开发布模型成绩之前，还应补齐病例数量与来源、数据拆分、模型快照、提示词、温度、工具、每例重复次数、评分 rubric、专家构成、裁判一致性、置信区间、成本地区与计算方式，以及预注册或代码复现信息。缺少这些材料时，不宜把内部图表称为已被独立验证的公开排行榜；本白皮书也不公布方案中的具体模型名次和单例费用。
对于“医疗榜单能不能证明模型已经可以独立诊疗”，答案应当清晰：不能。基准测试提供特定任务下的离线证据；真实临床可用性还取决于外部验证、临床工作流、人因、监管边界和前瞻性安全有效性研究。医疗 AI 的品牌可信度，应由边界说清楚、方法可复核和结果能被质疑共同建立。
结语：从排行榜转向“可用证据地图”
未来的医疗 AI Benchmark 不应是一块终身不变的奖牌，而应是一张按用途、患者群体、数据类型、风险、成本和证据级别展开的地图。它既允许模型在明确任务中展示进步，也把尚未解决的问题呈现出来；既鼓励算法迭代，也保留临床专家、患者和机构的判断空间。
对医疗机构，榜单应服务于有边界的选择；对算法团队，应服务于可定位的改进；对数据服务商，应服务于任务、证据和质量的闭环；对患者，则应减少把流畅回答误当成安全结论的风险。医疗 AI 的竞争不该只看谁在题库里得分更高，而要看谁能在明确用途下提供稳定、透明、可追责的帮助，并在证据不足时知道何时停下来。
*本文为医疗 AI 评测与研究方法讨论，不构成临床诊疗建议、医疗器械注册结论或对任何模型临床有效性的认证。*
常见问题
参考文献
[1] Jin D, Pan E, Oufattole N, et al. What disease does this patient have? A large-scale open domain question answering dataset from medical exams. *Applied Sciences*. 2021;11(14):6421. DOI: 10.3390/app11146421
[2] Jin Q, Dhingra B, Liu Z, Cohen WW, Lu X. PubMedQA: A Dataset for Biomedical Research Question Answering. *EMNLP-IJCNLP*. 2019:2567–2577. ACL Anthology
[3] Arora RK, Wei J, Hicks RS, et al. HealthBench: Evaluating Large Language Models Towards Improved Human Health. 2025. 论文 · 项目说明与数据
[4] Schmidgall S, Ziaei R, Harris C, et al. AgentClinic: A Multimodal Agent Benchmark to Evaluate AI in Simulated Clinical Environments. 2024. arXiv:2405.07960
[5] Jiang Y, Black KC, Geng G, et al. MedAgentBench: A Virtual EHR Environment to Benchmark Medical LLM Agents. *NEJM AI*. 2025;2(9). DOI: 10.1056/AIdbp2500144
[6] Bedi S, Liu Y, Orr-Ewing L, et al. MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks. 2025. arXiv:2505.23802 · Stanford HELM leaderboard
[7] Worth JE, Perez A, Wu DJH, et al. State of Clinical AI in 2026. *BMJ Digital Health & AI*. 2026;2(1):e000113. 期刊全文
[8] Wu D, Nateghi Haredasht F, Kumar Maharaj S, et al. First, do NOHARM: Towards Clinically Safe Large Language Models. 2025. arXiv:2512.01241，预印本
[9] Pan J, Jian B, Hager P, et al. Addressing Benchmarking Gaps in Large Language Models for Health and Medicine with Dynamic Red-Teaming. *Nature Health*. 2026. DOI: 10.1038/s44360-026-00152-8
[10] Gallifant J, Afshar M, Ameen S, et al. The TRIPOD-LLM Reporting Guideline for Studies Using Large Language Models. *Nature Medicine*. 2025;31:60–69. DOI: 10.1038/s41591-024-03425-5
[11] Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI Statement: Updated Guidance for Reporting Clinical Prediction Models that Use Regression or Machine Learning Methods. *BMJ*. 2024;385:e078378. DOI: 10.1136/bmj-2023-078378
[12] Vasey B, Nagendran M, Campbell B, et al. Reporting Guideline for the Early Stage Clinical Evaluation of Decision Support Systems Driven by Artificial Intelligence: DECIDE-AI. *BMJ*. 2022;377:e070904. DOI: 10.1136/bmj-2022-070904
[13] Liu X, Cruz Rivera S, Moher D, et al. Reporting Guidelines for Clinical Trial Reports for Interventions Involving Artificial Intelligence: CONSORT-AI Extension. *BMJ*. 2020;370:m3164. DOI: 10.1136/bmj.m3164
[14] Nori H, Daswani M, Kelly C, et al. Sequential Diagnosis with Language Models. 2025. arXiv:2506.22405，预印本
[15] U.S. Food and Drug Administration. Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations. Draft Guidance, January 2025. FDA 官方页面
