对慢病疑难病例做榜单，不应以“模型答对了出院诊断”作为唯一指标。更可信的评测需要固定病例时点、逐步开放证据、保留专家分歧、隔离患者，并把错误严重度、跨机构表现和模型不确定性纳入同一套可解释报告。
本文基于《四大慢病疑难住院病例建设需求》所描述的业务需求进行方法学分析，并结合公开研究提出数据建设与评测建议。附件中的规格、样例和采购安排不代表朗慧已持有相应数据、已完成该规模交付或已验证模型性能；文中不披露患者级信息。
先问榜单服务谁，再决定比较什么
医疗 Benchmark 的首要问题不是模型品牌，而是用户要做什么决定。研究团队希望选择可用于病例整理的语言模型，医院希望评估是否能减少病历检索和重复录入，数据团队希望判断模型能否用结构化证据完成推理，管理者则关注安全和部署成本。不同用户的目标不同，不能靠一个总分满足所有决策。四大慢病疑难住院病例适合构建任务系列，但每项都应说明是离线研究基准、研发筛选工具，还是临床流程验证的一部分。
榜单设计建议先发布任务卡。每张任务卡写明研究对象、模型可见输入、决策时间点、输出格式、适用人群、排除条件、参考答案来源、评价人群和停止规则。例如“在入院初期整理支持与反对某个诊断的证据”与“结合完整住院过程复盘诊疗”是两个不同任务；后者看到出院结论，不能拿来证明前者具有实时推理能力。任务卡冻结后，数据团队才能构造盲测集，算法团队才能公平提交系统。
将病例推理拆成若干可评价的临床能力
一个面向住院病例的 Benchmark 可以包含六个相互独立的子任务。病例表征评价模型能否从入院资料和检查中提取关键问题；时间线重建检查记录和证据先后是否正确；诊断推理任务要求提出有证据支持的候选判断并说明不确定点；检查规划只评估模型能否指出对决策相关的缺失信息；证据更新要求逐步加入检查与病程后修订判断；方案复盘则检查模型能否忠实总结疑难讨论和后续诊疗，而不是编造未记录内容。每个任务都有自己的输入快照和标注依据，结果可定位到不同模型组件。
难度也要结构化。可以设置常规病例、共病病例、记录缺失或冲突病例、检查结果非典型病例、时间顺序复杂病例和跨专科会诊病例，并由临床专家审定任务是否合理。不能简单把罕见等同于困难，也不能通过故意删掉关键事实来制造“刁钻题”。难度层级应反映临床信息整合负担、参考标准不确定性、数据质量和决策后果。对信息不足的任务，最佳答案可能是“现有资料不能确定”，评测需区分谨慎与逃避。
评测参考答案要由证据层支撑
疑难病例讨论记录是高价值的临床材料，但不能直接等同于金标准。会议意见可能在住院中期形成，也可能存在观点分歧或后续被新证据修正。榜单可以把参考答案组织成证据矩阵：当前时点支持的事实、反对或不确定的证据、专家判断及来源、之后可观察到的验证结果分别列出。由至少两名相关专科临床专家按预先编写的手册盲评，再由仲裁人处理严重分歧。每条参考答案保留来源文书和时间锚点，并可对外只公开聚合结果与任务方法。
对于开放式推理，不应通过模型输出与单一范文的字面相似度评估。可评分的维度包括重要事实覆盖、证据引用正确、时间关系无误、鉴别是否覆盖关键替代解释、是否把相关性表述为因果、对未知信息是否谨慎、结论是否与已知证据一致。专家评分要报告评委间一致性和仲裁比例；自动评分器仅可作为辅助，且需在代表性输出上与专家结果校准。把过程拆分成可观察评分点，才可能兼顾规模与临床可审计性。
组合指标时，避免一个总分掩盖高风险失败
可采用“多面板榜单+安全门槛”的结构。基础面板报告事实抽取、时间线一致、诊断证据整合、检查选择、总结质量和格式遵循；可靠性面板报告校准、拒答、缺失输入鲁棒性、近重复提示敏感性和跨亚组稳定性；安全面板报告严重事实错误、危险的过度肯定、关键证据遗漏和正确升级人工的能力。每类任务展示样本数量、置信区间、数据分布、缺失率和适用边界，不因模型在普通任务的高分而抵消安全面板的失败。
榜单可以提供综合指数作为导航摘要，但主要结论应依据任务分数和预定义门槛。综合分数必须公开权重、缺失项处理和排名稳定性分析；若改变权重后排名大幅变化，就不应声称存在稳健的“唯一冠军”。对于诊断类任务，还需要同时考虑敏感度、特异度、校准、阈值和实际患病率，避免只报告 AUROC。临床决策价值需要结合具体流程和损失函数评估，不能把统计指标直接等同于患者获益。
隐藏测试集与独立验证是榜单可信度的底座
训练、调优、公开示例和盲测集要有清晰边界。按照患者而非文件随机切分，可避免同一患者不同住院或重复文书同时进入训练与测试；利用就诊编号、文档指纹和近重复审查，可以发现同一病例的导出副本和模板文本。对题库泄漏，要进行线上内容检索、模型训练资料年代检查和隐藏集轮换，并对已公开病例进行风险标记。评测服务应限制查询次数和反馈粒度，避免参赛者通过多轮提交逐步重建答案。
内部留出测试、时间外测试和机构外测试要分开命名。内部测试看的是特定来源分布下的基准表现；时间外测试可观察资料制度或病例结构变化；机构外验证才有机会评估不同病历系统、编码习惯和流程的影响。外部数据应具有独立授权并代表预期使用场景。近期外部验证方法研究强调，验证要覆盖不同人群、地点、时间、设备和流程，且应检查校准、临床净获益、亚组公平和阈值设定；榜单不能把简单随机拆分包装成跨中心能力。
结果报告要让研发团队能找到具体改进点
发布榜单时，除排名外还应提供匿名化错误分类统计、各任务的典型失效类型、证据引用准确率、无法判断比例和评测器局限。模型提交信息需记录提供方、版本日期、系统提示词、检索或工具组件、输出约束和推理参数；若模型服务端发生静默更新，应再次执行冻结测试或标记版本不可比。商业API和开源权重模型可以在同一榜单展示，但应分别说明运行环境、可重复性、数据是否上传到外部服务、推理成本和延迟。
真实的模型使用成本不仅是单次调用价格。榜单还可附带响应时长、失败率、人工审核时间、修订比例、对硬件和部署环境的依赖，以及隐私保护方式。成本指标应基于透明配置和实测过程，不以供应商宣传值替代。研发团队可据此选出候选模型进入下一阶段，而医院采购方仍需做本地流程验证和法务审查。这种分层结论既提供商业决策价值，也避免将榜单误当成医疗器械认证或临床推荐。
从榜单到临床证据，建立分阶段验证路径
Benchmark 先回答模型在冻结测试任务上的能力表现；静默前瞻研究观察模型在真实连续输入下的错误，但不改变临床决策；人机协作研究再评估医生使用模型后的流程和负担变化；如需要判断临床效益，则需要按适当研究设计预先设定患者或流程结局并开展系统验证。每阶段需预先登记目的、主要终点、样本量估算、排除标准、模型版本和统计分析方案。模型更新、数据漂移或诊疗流程改变时，要触发本地复核和必要的重新验证。
报告规范可借鉴TRIPOD+AI和TRIPOD-LLM对预测模型与大模型研究的透明报告要求，也可参考FUTURE-AI对可信和可部署医疗AI的共识建议。它们不会替数据质量背书，也不替代伦理审查、监管或临床验证，但可以帮助团队公开模型用途、数据处理、偏倚、人工监督和限制。把这些规范嵌入榜单报告模板，能让不同机构的结果更容易比较，并减少将探索性研究表述为临床事实的风险。
朗慧的价值：把专业评测做成业务闭环
朗慧可以围绕疑难病例榜单形成三类服务。第一类是数据建设：审查来源与授权、映射患者和就诊结构、保留讨论记录与时间线、制作数据卡和质量清单。第二类是专家生产：邀请相应专科医师制定任务手册、校准标签、复核讨论意见有效性并处理争议。第三类是持续评测：提供任务分面、模型中立接口、患者级隐藏测试、结果分析和失败回流。每项服务都形成可检查交付物，算法客户可以按模型阶段采购，而医院可以从小规模验证开始。
面向市场的公开内容应明确“设计方案”与“已完成项目”的边界。所附文件描述的是需求与验收逻辑，并不能证明数据已经交付、伦理审批完成、测试集已建立或任一模型得到临床认可。榜单的行业价值也不在宣布谁第一，而在把临床问题定义清楚、让错误有可追踪的证据、让外部验证有可比方法。朗慧作为数据与评测服务方，应披露评测标准、潜在利益关系、资金来源和模型参与规则；若参与某模型数据训练，也应由独立机制保障评估中立性。
统计可信度要体现在置信区间、分层和比较设计
对同一隐藏测试集上的多模型比较，应预先确定主要任务和主要终点，避免跑完所有指标后只挑对某模型有利的结果。报告样本量、患者数、病例重复结构、缺失比例、模型失败或超时比例，并对患者级聚类采用合适的区间估计或重抽样方法。模型间差异要给置信区间或显著性分析，同时报告实际效应大小；若差异很小但区间很宽，排名不应被表述为可靠的能力差距。
四个疾病组、不同医院与病历类型会导致分层后样本变少。评测协议应在研究前决定哪些亚组为重点，估算足够样本，必要时使用更稳健的统计策略或暂不排名。对低样本组，公布估计值和宽区间比隐藏数据更诚实。模型分数还要有重复运行评估：生成模型会受采样、提示和后端版本影响，可报告固定设置下的结果和多次运行波动。对专家评分报告评委数量、盲评、分歧仲裁和一致性，确保自动评分与临床评价不会被混为一谈。
防止排行榜被刷分，需要制定提交与更新规则
公开排行榜容易受到题目泄漏、针对性调优和版本更新影响。应把公开练习集、公开验证集和私有测试集分离；对所有模型提供者统一使用说明、最大提交次数和结果反馈粒度。模型拥有方需要声明训练数据时间范围、是否用过公开病例和针对基准的优化；第三方团队可用未发布的挑战集和新时间段病例审计可能的污染。检测到泄漏时，应标注受影响题目、暂停对应榜单结论或启动新版本，不宜只悄悄更换测试题。
评测服务还要定义模型变更的复测规则。基础模型升级、检索库更新、提示模板调整、工具链改动或安全策略变化都可能影响结果。每个排行榜成绩要绑定不可变模型快照和评测代码版本；无法固定服务端版本的 API，应披露评测日期与复现风险。榜单改版时发布版本日志、测试集变更摘要和新旧版桥接结果，才能防止因题库变化产生虚假的“进步”或“退步”。维护榜单的长期成本应被纳入运营预算。
商业应用要以工作流证据而非榜单排名作为终点
对医疗机构来说，模型选择需要与本地病历系统、专科流程、人员职责、网络安全和数据授权相适配。榜单可以帮助缩小候选范围，但不能替代采购尽调和本地适用性研究。试点可从低风险的文书检索、证据归纳或时间线整理任务开始，由医生逐条审核结果，观察是否节省阅读时间、是否提高关键事实完整率、是否增加校正负担，以及模型失效时人员能否安全接管。更高风险的诊断和治疗任务，应依据其预期用途、监管要求与研究伦理设计采取更严格的验证路径。
经济效益评估也要预先建立基线：当前工作耗时、参与人员成本、错误率、重复录入和数据治理支出分别是多少；引入系统后用相同人群和任务比较，不能只计算模型调用成本。若出现效益，应说明研究周期、场景、样本和人机协作方式，不应将局部工作流收益宣称为疾病结局改善。朗慧可将Benchmark结果和流程研究分开出具，为客户提供“技术能力面板”与“应用证据面板”，让采购决策知道模型能否完成任务，也知道部署是否值得、风险由谁承担。
公平性报告要结合临床记录形成机制解释
患者亚组之间的性能差异可能来自疾病谱，也可能来自可获得检查、病历书写方式、就医可及性和机构流程差异。榜单应预设具有临床意义的分层维度，例如四大疾病组及其内部亚型、共病情况、年龄范围、资料完整程度、住院来源和机构类型，并披露每个亚组的患者数与事件数。若分层样本太小，报告应明确表示无法给出可靠估计，不能因“未达到统计显著”就宣布模型公平。要识别差异根源，需把错误与数据覆盖、标签质量和工作流特征一起分析。
公平性审查不是强行让所有亚组得到相同指标，而是判断差异是否可解释、是否影响预期用途、是否需要调整阈值或增加人工复核。对于数据来自不同医疗机构的情况，可以先分别报告本地测试结果，再进行总体分析；不能把机构标签作为模型可用但部署时不可获得的信息偷偷放入输入。任何敏感属性使用都要有研究目的和合规治理依据。把公平性结果与置信区间、严重错误和适用范围并列，才有助于采购方理解实际风险。
