摘要：把“难”转成可验证的测量
医疗人工智能正从知识问答走向论文理解、跨模态证据整合、临床文本处理与智能体工作流。模型在一个难题上答对，可能来自记忆、检索、工具调用、偶然猜测或真正的多步推理；榜单若不能区分这些机制，就难以回答采购方和研发团队最关心的问题：模型到底在哪类任务上可靠，错误发生在哪里，结果能否复现？
HLE（Humanity’s Last Exam）提供了一个重要的方法学参照：用专家提出的高难度学术问题评估模型在闭合、可核验任务上的能力。其 Nature 论文介绍的 HLE 基准包含 2,500 道跨学科问题，强调题目原创、条件清楚、答案可验证，并保留私有留出题以观察公开集过拟合。它是一种通用学术能力基准，不是医疗临床验证工具，也不应被误称为临床认证。[1]
用户提供的需求草案规划了 Biology / Medicine、Other / Trivia、Engineering 各 500 道，共 1,500 道，其中医学与生命科学覆盖分子与细胞生物学、基因组学、免疫、神经科学、生物信息学、转化医学、临床诊断和病理等方向。这个规模和分类是项目草案的要求，不是 HLE 官方数据集的组成或官方扩展计划。把它转化为专业交付，需要先定义评测用途，再控制题目质量、医学来源、难度筛选和统计不确定性。
本文提出一套独立的“医学 HLE 式科研推理评测”方案。它评估模型对专家级、来源可追溯、答案可判定的医学科研问题的处理能力；不把考试表现外推为患者诊疗效果。朗慧科技可围绕医疗数据治理、题目设计协同、医学专家标注、质量控制、模型运行与评测报告提供项目化支持，但具体人员、资源、题量、周期和能力边界需在项目启动前根据合同、授权及专家资源确认。
一、为什么医疗领域需要 HLE 式高难度评测
1. 常规考试分数已经不够回答研发问题
选择题考试有成本低、自动评分快、结果直观等优势，但它容易测到知识熟悉度和选项识别能力。医学研究问题往往要求读懂实验设计、辨析混杂因素、解释适用人群、追踪证据等级，或把多个来源中的条件组合起来。一个模型答对单一知识点，并不意味着它能解释结论来自何处、哪些条件不可缺失，也不代表它在不同机构和数据分布下表现稳定。
HLE 式题目可以把评测焦点放到专家级的有限答案任务：例如根据给定研究条件推导一个标准术语、变异类别、实验解释或明确数值，而不是让模型写一篇无法稳定打分的长篇论述。医学题仍必须把问题限定在学术研究或明示的假设情境中，不面向真实个人提供诊断、治疗或用药建议。这与附件要求的非选择题、唯一终答、条件完整和多步推理相一致。
2. 难度必须来自推理结构，不是生僻词堆叠
“博士级”不能只靠冷门病名、复杂缩写或某一篇论文中的细节来定义。高质量题目应有清晰的推理负荷：至少组合两个以上相关知识环节，要求模型识别题目条件、运用研究方法或专业概念，并得到一个可核验的终答。若题目必须猜作者意图、依赖未提供的图表、存在多个合理答案，或关键事实随指南更新而变化却未写明版本，那么它测到的可能是歧义，而非能力。
因此，题目蓝图要先规定每一类任务希望测量什么：知识整合、研究设计辨析、机制推断、结果解释、统计与方法学判断、分子或临床术语归一化等；然后用代表性样题校准题目难度和评分规则。每条题目须有“题面—推理依据—最终答案—来源”可追溯链，必要时另存可接受答案、单位、同义词和判分边界。
3. 医疗榜单的重要资产是可信度，而非冠军名次
HLE 的研究团队在设计中强调闭合且可核验的问题，并通过多阶段审查提升题目质量；论文还讨论了专家对部分题目存在分歧的现实。这提醒医疗评测团队：领域专家参与并不自动等于答案天然无争议，题目和参考答案仍需质控和仲裁。[1] 后续 HLE-Verified 预印本报告了对原题目的系统核验、修订与不确定项标注，并观察到修订后模型准确率变化；这属于预印本研究结果，不能直接推断医疗题库也会产生同样幅度的变化，但它凸显了“基准自身可能有噪声”这一重要风险。[2]
二、将需求草案转化为医学评测蓝图
1. 保留 500 道医学题的规划量，先做分层配额设计
建议将 500 道作为医学与生命科学题库的项目规划量，而非一开始就按八个二级学科机械均分。由项目方、医学专家和算法团队共同制作 blueprint，明确各方向拟测任务、样本量依据、题型限制、来源层级、所需专业评审人，以及是否涉及时效性较强的指南内容。附件列出的八个稳定方向可作为起点：分子与细胞生物学/生物化学、遗传学与基因组学、微生物学与免疫学、神经科学与生物物理学、生态进化与海洋生物学、计算生物学与生物信息学、基础与转化医学、临床医学/诊断/病理。
题量分配应体现计划覆盖面，不能暗示每个细分方向已经具备等量题源或同等专家资源。分层报告需同时展示“设计配额、实际可用题数、因质量问题淘汰数和未覆盖领域”。对于样本太少的细分方向，只报告探索性结果，不给出看似精确的独立排名。项目启动前还应明确目标用户：科研模型团队、医疗数据采购方、医学 AI 产品团队或内部算法研发，不同用户所需的评测题型和报告粒度并不相同。
2. 题目应原创，事实可引用，题干与推理链不可照搬
可以引用可靠论文、指南、权威数据库或标准中的事实作为依据，但题干措辞、情境组合和推理路径应原创，不能直接复制公开题库、论文习题、教材练习或网络内容。对公开来源中的结论要登记 DOI、版本、发布日期、访问日期和具体支持的论点；如来源有勘误、撤稿或指南更新，要进入更新审查。
来源管理要进一步细化：一条题目最好标明主来源和独立交叉核验来源；记录支持答案的段落、表格或章节；保留题目首次入库、最近复核、当前状态和版本号。若问题要求推断论文结果，题面必须提供必要条件或把引用材料纳入题干，避免模型仅凭某一版本训练知识“碰巧答中”。生物医学领域数据库版本、统计定义、参考基因组版本、药物命名和疾病分类都可能影响答案，必须把它们作为条件冻结或清楚写出。
3. 题库要兼顾研究问题与医学安全边界
推荐优先开发四类任务：第一，基于明确材料的研究方法学辨析，例如识别研究设计能够支持何种结论；第二，生物机制与跨层级推理，例如把分子变化与实验观察联系起来；第三，遗传学、生物信息学和病理学中的结构化解释，但应明确参考版本、阈值和输出术语；第四，临床研究或诊断学的学术情境推理，提供完整假设条件，要求回答一个限定的专业问题。
所有病例均应是合成情境、公开研究资料的原创改写，或经过合规授权、去标识化和用途审批的资料。公开发布题目和模型响应前，应审查隐私、版权、敏感信息与再识别风险。任何个人健康描述不得被包装成真实咨询；对疾病严重程度和处置决策的题目，应明确其教育或研究用途，并避免给出可直接执行的个体化治疗方案。
三、把题目质量与模型分数分开治理
1. 98% 是质量目标，不是模型通过率
需求草案写明各一级领域整体可解率与答案准确率不低于 98%。应把这转成题目质量门槛：对抽样或全量审核中，至少 98% 的题目需满足条件充分、参考答案可复核、推理链与答案一致、来源有效、判分规则明确。项目应同时报告分子、分母、抽样方法和置信区间，不能只报一个百分比；若 500 道题中存在不合格题，需按预先规则返修、替换或从主评测集剔除。
模型 pass rate ≤62.5% 是难度筛选条件，回答的是“某指定模型在某设定下答对多少”，与题目本身是否正确是两件事。不可把“模型答错”当作题目质量合格的证据，也不可将高难度误当作更科学。难题筛选要经过答案有效性审核之后进行；否则会奖励歧义、缺失条件、知识过时或评分器漏判。
2. 先解决 8 次与 24 次运行的字段冲突
附件字段一处要求 model_response_counts 汇总 24 次模型作答，另一处要求 model_responses 恰好 8 条，同时又说明三个模型各运行 8 次。这三项不能同时成立。建议统一为：每题预先冻结 3 个模型版本，每个模型 8 次独立运行，因此原始响应数组应恰好 24 条；同时增加 model_id、model_version、run_id、attempt、prompt_hash、tool_policy、decoding_config、timestamp、raw_response、normalized_answer、is_correct、grader_version 等字段。按模型分别统计正确、错误、拒答与无效输出，所有分项计数之和应等于 8；全题汇总和应等于 24。若采购实际只需要一个模型的 8 次，则应删去三个模型各 8 次及“24 次汇总”的要求，不能在交付时再临时解释。
建议把每次运行作为一行 JSONL 记录，另用稳定 question_id 聚合题目、参考答案与来源，或在一个题目对象中嵌套 24 个响应，并在 schema 中写明 minItems=maxItems=24。一个可执行的结构包括：题目对象保存 question_id/domain/sub_domain/question/reasoning_steps/answer/reference_sources/rubric/version；运行对象保存模型和调用参数、响应、归一化答案与评分。应明确 reasoning_steps 是给审阅者的参考解题链，不是模型必须暴露的隐藏思维链；评测应按最终答案和可观察的解释证据评分，避免依赖模型内部不可验证的推理文本。
3. 八次重复只能用于初筛，不能声称精细排名
当每个模型每题只有 8 次运行时，单题通过率只能取 0、12.5%、25%……等离散值。若门槛为大于 0 且不超过 0.625，实际保留范围是 1 至 5 次正确。此设置能作为预筛规则，却无法稳定地区分相邻模型或精确估计总体能力。建议报告每模型的分子/分母、二项比例置信区间，并按题目、领域和任务类型分层汇总；正式对比应基于足够多的题目与预设统计方案，而不是根据少量重复采样产生总榜顺序。
运行前需冻结模型名称及精确版本、访问日期、系统提示词、用户提示词模板、上下文和检索材料、工具权限、温度与采样参数、最大 token、超时及重试规则。对带检索/工具的模型与纯闭卷模型应设置独立赛道，因为它们使用的信息边界不同。记录原始请求与响应、失败状态、费用和运行日志，公开报告时披露评测条件，方便复现。
四、评分与报告：不只给一个准确率
对于单一标准答案题，优先使用确定性判分：规范化大小写、空格、单位、同义术语及约定格式，但所有可接受变体需在评测前列明，并由专业审阅验证。数值题明确容差和有效位数；基因、蛋白、药物和疾病名称指定数据库或命名标准版本。不能让一个未校准的通用 LLM judge 单独裁定医学正确性。开放式或复杂解释题若确有必要，应制定基于来源证据的细粒度 rubric，由至少两名领域审阅者盲态独立评分，对分歧执行仲裁，并报告一致性与仲裁比例。
建议报告至少包括：总体准确率和置信区间、各领域/任务层级得分、题目难度分布、拒答和格式错误率、答案校准与选择性作答表现、来源证据正确性、时间外或私有集表现、重复运行波动、错误类型与严重性，以及推理时延、工具调用和成本。医疗研究任务尤其要区分“结论正确但依据错误”“答案正确但前提未满足”“正确识别信息不足”“过度自信地给错答案”等不同失败模式。
榜单的公开页面可以使用综合分，但须给出透明权重、适用范围、缺失项处理方式和置信区间；更稳妥的是提供多维能力画像，避免单一总分掩盖安全、可复现性或特定亚专科短板。可公开方法、样题和统计代码，但应保留受控私有题、时间外题或滚动更新题，以降低污染和针对性优化。公开题库与隐藏题库应有清晰的数据治理规则，不能为了“防刷榜”而牺牲科研透明度。
五、科学边界：HLE 式评测不能替代临床评价
HLE 式评测最适合回答有限的问题：模型能否在给定条件下解决高难度、闭合且可核验的学术任务？它不能独自证明模型在真实患者中的诊断准确性、临床获益、医生工作流适配、医疗器械合规性或长期安全性。
医疗 AI 的验证需要沿用途与风险逐级扩展。2026 年发表于 npj Digital Medicine 的五阶段框架提出从技术验证、运行稳健性、受控交互、临床证据到真实世界整合的分阶段评估，强调模型性能与实际临床价值之间仍需多层验证。[3] CLEVER 等医学大模型评估研究则展示了由执业医生对新构建病例和回答进行盲态、结构化专家评价的路径，可作为开放式临床文本评测的参考，而非唯一标准。[4]
因此，医疗 HLE 式题库应定位为科学推理能力的专项评测层，可与医学知识问答、开放式安全评测、模拟工作流、外部数据验证和前瞻性研究互补。若使用的是患者级数据、真实病历或临床建议任务，还需另行完成伦理审查、授权、隐私保护、统计分析计划和相应临床评价。榜单中每个指标都应明确证据等级，不能把实验室分数营销成临床效果保证。
六、朗慧的可落地方案：从数据质量到评测运营
针对附件提出的多领域题库和运行记录要求，朗慧可以按阶段组织一套项目化工作流：
1. 需求与风险蓝图： 与客户和领域专家明确用途、受测模型、学科边界、病例来源、医学安全边界、样本配额和验收口径，形成可签字的题目蓝图与数据字典。 2. 原创题目与证据包： 将题面、参考解题依据、最终答案、来源链接/DOI、版本日期、可接受答案、评分规则和版权状态组织为结构化记录。不能确认的事实先标为待审，不进入正式集。 3. 专家审阅与分歧仲裁： 由适配专业方向的医学或生命科学专家分别审阅题意、答案和来源，记录分歧原因，由指定仲裁人完成终审。不同资历和专科覆盖情况应如实披露，不以笼统“专家审核”替代人员配置和审阅记录。 4. 数据与题库质控： 进行字段校验、唯一 ID、版本冻结、重复和近重复筛查、来源可访问性检查、题面泄漏检查、授权与去标识化核验，输出问题清单和修订记录。 5. 受控模型运行： 按冻结配置运行模型，保存请求、输出、模型元信息、工具轨迹、时间和费用；闭卷与工具辅助任务分赛道，按题目规则确定性评分，异常由盲态人工复核。 6. 评测报告与复测计划： 输出可复核分层指标、区间估计、模型失误案例、任务覆盖边界和建议补题类型；设置隐藏集管理、周期复测、版本变更与污染监测机制。
这一方案与朗慧在医疗数据整理、数据标准化、医学标注、质量控制和评测服务方向的公开业务定位相衔接。真正可交付的能力不应只体现为“有多少道题”，而是能否把来源、授权、判定口径、专家过程、模型运行和验收证据连成一条链。朗慧可基于自身数据治理、标注流程和评测工程能力，帮助客户把抽象题库需求拆成可实施的工作包；每个项目仍应以实际专家资源、数据授权、交付条件和书面范围为准。了解 朗慧医疗数据服务 与 数据集服务。
七、建议的项目里程碑与验收口径
建议先做小规模、跨学科的可行性样本，而不是一次性铺开 500 道题。第一阶段完成题目蓝图、字段规范和少量样题验证，检查不同专家是否能按同一规则作答与判分；第二阶段按领域滚动生产与盲态审阅，观察淘汰原因和专家一致性；第三阶段冻结数据集、模型运行配置和统计计划，完成正式评测；第四阶段发布带方法说明的报告与版本更新规则。每一阶段都设置继续、返工或暂停条件。
验收建议拆分为六类：字段与格式完整率、题面可解与答案来源有效率、专家审阅与仲裁记录完整率、模型运行记录可追溯率、判分脚本和抽查一致性、分层报告与统计说明完整率。98% 可作为题库质量门槛的项目目标，但需先约定抽样还是全量审核、错误定义、允许返修次数、分母口径及无法覆盖题目的处理方式。模型难度阈值则单列为选题筛选条件，不能与题库质量验收混成一个总分。
在商业执行上，工作包可分别覆盖题目设计与来源核验、专家审阅、结构化数据整理、运行平台/脚本、统计分析、报告与持续维护。采购方应在合同中明确各包的题量、领域比例、专家资质及投入方式、交付格式、知识产权归属、数据使用范围、保密与安全责任、验收样本和变更管理。此类拆分让工作量和质量责任透明，也便于项目先从小规模试点开始，按验证结果决定后续投入。
结语：以可复核的难题推动医疗 AI 负责任迭代
医疗领域需要更难的评测题，但更需要经得起质疑的题目、明确的评分、可复现的运行环境和克制的结果解释。HLE 的启发不只是把题目做难，而是把专家知识转化为有边界、有答案、有审查记录的测量工具。对医疗场景，还要再加上来源有效性、医学安全、隐私和临床证据分层。
朗慧提出的 HLE 式医学科研推理评测，是一条可讨论、可试点、可按证据逐步扩展的建设路径。下一步应从需求蓝图和少量跨学科样题开始，以双专家审阅和冻结运行验证方法，再决定题库规模、公开策略与榜单运营方式。榜单的专业性最终体现在每个分数都说得清：测的是什么、依据是什么、误差可能来自哪里、又不能推出什么。
常见问题
参考资料
[1] HLE Contributors Consortium. A benchmark of expert-level academic questions to assess AI capabilities. *Nature*. 2026;649:1139–1146. doi:10.1038/s41586-025-09962-4；HLE 官方项目页面。
[2] Zhai W, et al. HLE-Verified: A Systematic Verification and Structured Revision of Humanity’s Last Exam. arXiv:2602.13964, 2026. 预印本，尚应按预印本证据等级解读。论文。
[3] A five-phase evaluation framework for diagnostic and predictive medical artificial intelligence. *npj Digital Medicine*. 2026; published September 3. doi:10.1038/s41746-026-03155-7。
[4] Clinical Large Language Model Evaluation by Expert Review (CLEVER): Framework Development and Validation. *JMIR AI*. 2025;4:e72153. doi:10.2196/72153。
[5] Center for AI Safety, Scale AI. Introducing HLE-Diamond. 2026-09-22. 官方项目说明。该项目公布的是 HLE 精炼子集，不是本文所提医学基准，也不表示官方认可本方案。
