先定义标注对象和判断边界
“医疗标注”不是一种统一任务。判断答案是否准确、从病历抽取实体、识别影像中的病灶、判断报告是否与图像相符、把医患对话标成意图类别，各自需要不同的标签定义和参考依据。启动前要把任务拆成一个可以独立判断的问题：标注者看到什么输入，输出什么标签或修改，允许依赖哪些资料，什么情况必须标记不确定，遇到缺失或矛盾如何处理。若这些边界没有写清，标注员会按照个人经验补齐定义，团队之间的差异就会混进训练标签。
一份有效的医学标注指南至少要包括任务目的、纳入和排除标准、标签定义、正反例原则、边界案例、证据优先级、缺失值处理和升级规则。指南不能只给一串标签名称，还要说明标签之间是否互斥、能否多选、标签适用到句子还是整份病历、否定和历史信息如何处理。对于医学问答，必须区分“事实不准确”“证据不足”“答非所问”“结构难读”和“建议缺少适用条件”；对于病历抽取，还应说明患者主诉、既往史、当前诊断、待排诊断和家族史不能混成一个疾病实体。
在医疗场景中，标注者的专业背景和任务匹配也很重要。医学术语校对、指南证据评价、临床决策帮助度评分、影像病灶定位等任务不应默认由同一资历的标注员完成。项目要说明医生专业方向、工作年限或资格要求与任务的关系，提供必要培训，并以任务考核确认标注者理解规范。对于可能涉及高风险诊断或治疗建议的内容，应设置临床专家复核和争议升级机制，避免让非专业标注员独立裁决医学安全性。
把主观判断拆成多个可观察维度
医疗AI回答质量往往是多维的。附件中的标注流程将答案准确率、内容相关性、结构清晰度、证据支持性、决策帮助度和临床采纳率分开评分，并要求标注者说明扣分原因、提出医学逻辑改进意见。这个设计有重要价值：一个答案可能事实正确但没有回答患者实际问题；也可能有完整结构却缺少证据；或者引用正确但遗漏关键禁忌。单一“好/不好”标签无法支持模型团队定位缺陷。
每个维度都要提供锚点说明。比如，准确率关注医学事实是否正确、有没有关键遗漏或矛盾；相关性关注回答是否回应了输入问题和患者上下文；证据支持性关注关键结论是否有可核查来源或合理推理；决策帮助度关注信息是否帮助专业人员完成当前任务；结构清晰度关注内容是否易于阅读和复核；临床采纳相关维度则要限定判断对象和证据，不能让标注者凭空推测“医生会不会采纳”。评分刻度需要说明相邻分值的差别，以及满分、低分和无法判断的处理方式。
更重要的是，分数必须带有缺陷标签和理由。建议设置事实错误、遗漏、过度推断、证据错配、患者条件遗漏、风险提示不足、时间顺序混乱、图文不一致、格式或可读性问题等错误类型。每条评论应指出问题发生在哪里，解释为什么重要，并在可能时给出改进方向。标注者不能只复制回答，也不能以标点、排版等低价值意见替代医学判断。错误标签与具体片段关联后，模型训练可以针对性构造偏好对、修正样本或安全测试集。
用双人复核、盲测和仲裁控制判断偏差
盲测的核心，是减少标注者对模型身份、供应商、版本或预期结果的先入为主。比较两个或多个回答时，应随机化呈现顺序，隐藏来源信息，使用同一条问题和患者上下文，并让标注者按相同维度分别评分后再比较。若评价的是AI与人工答案，提示语和资料条件也应尽可能一致。只将两段回答并排展示、却让评审知道哪段来自模型，不能称为充分盲态。
项目可以按风险和预算采用分层双标：所有高风险题、疑难题和安全相关题由两名合格评审独立标注；普通题抽取一部分双标，用来持续监控一致性；高分歧样本进入第三方或资深医生仲裁。每名标注者应有稳定的匿名编码，记录任务版本、指南版本、复核人、仲裁结论和变更理由。仲裁不应简单用多数票覆盖少数意见，而应保留分歧类别：是定义不清、证据来源冲突、上下文不完整，还是存在合理临床差异。
一致性指标要与标签类型匹配。分类标签可使用Cohen’s kappa或Fleiss’ kappa等机会校正指标；连续评分可考虑组内相关系数或相关分析，并结合分歧范围；实体抽取可报告精确率、召回率、F1以及边界匹配规则。样本量、类别分布和标注者数量会影响指标解释，不能只贴一个一致性分数就宣称标注可靠。低一致性有时说明任务定义模糊，有时说明病例本身具有临床歧义，也可能反映评审训练不足，应回到具体分歧样本分析。 解读一致性时还应同步报告原始一致率、各标签频率、评审者数量、双标样本抽取方式和置信区间。类别极不平衡时，机会校正指标可能与直观一致程度不一致；因此应根据标签类型和研究目的选择统计方法，再用分层结果与分歧案例解释数字。若样本来自多个专科或风险层级，整体指标可能掩盖某个小类的一致性不足，应分别报告关键亚组。项目启动前应预先写明主要终点、次要终点和分析计划，减少事后挑选有利指标的空间。仲裁后的最终标签也不能替代仲裁前的一致性结果：前者描述最终交付，后者反映规则能否被独立稳定地执行。
2024年发表于《npj Digital Medicine》的医疗LLM人工评估框架将评估流程分为规划、执行与仲裁、评分与复核等阶段，并强调目标、评审人员、样本选择、评价指标和统计方法需要事先设计。[1] 另一项放射学视觉语言模型研究采用盲态偏好比较和错误修订任务，并报告不同评审之间存在明显分歧，这说明专家意见并不会自动形成单一真值。[2] 因此，标注项目的目标不是掩盖分歧，而是让分歧可测量、可追溯、可解决。
评测集要防止数据泄漏和题目污染
临床AI评测集应在训练开发之前设定管理边界。患者级样本不能在训练和测试之间重复；同一病历的近似改写、同一影像的不同切片或同一对话的拆分片段也可能造成泄漏。对于纵向数据，还需检查未来信息是否进入当前问题输入；对于医学知识问答，应监测公开题目被模型训练语料吸收的可能性。评测负责人需要管理访问权限、版本、抽取记录和题目曝光情况，重大修订后应决定是否继续使用原测试集。
近年的多模态医疗基准开始从单轮问答转向真实任务结构。NeurIPS 2025的SMMILE由医学专家构建多模态上下文学习评测，研究发现多数受测模型在开放式多模态任务中的能力仍有限，而且无关示例可能拉低表现。[3] 同届的MTBBench聚焦多模态、纵向肿瘤决策问题，指出模型在处理时间变化、冲突证据和跨模态信息时仍会出现不可靠表现。[4] 这些研究支持一个实践判断：评测题必须保留足够的临床上下文，并系统测试模型对冲突、缺失和时间变化的处理能力，不能只靠短问题和选择题推断临床能力。
测试集还要定义任务覆盖面和困难度。可以分层覆盖常见问题、少见情境、急危重风险、特殊人群、资料不全、证据冲突、跨模态关联和长时序变化。每一层都要报告样本数与来源分布。除了平均分，还应检查高风险错误率、关键缺陷召回率、亚组表现、置信区间和模型输出的不确定性。对“不知道”或“资料不足”的场景，要把恰当拒答或请求补充信息作为可评价行为，不能把每个问题都强迫映射为一个医学结论。
标注过程需要治理评审者漂移
专家也会随着项目推进改变判断尺度。长项目中，指南更新、人员更替、疲劳或常见错误反复出现，都可能让同一标签在不同月份含义发生漂移。可以保留一组不提前告知的锚定题，周期性插入标注任务，比较新旧评审的一致性；对持续偏离规范的标注者重新培训并复核其近期结果。锚定题也要定期更新，防止评审者只记答案而非理解判断原则。每一次指南变更都应记录影响范围，并判断旧批次是否需要重标或只做版本说明。
医学标注的数据审计应同时关注样本和评审人员。样本侧记录来源、脱敏状态、上下文完整性、任务版本和证据位置；人员侧仅保留完成质量审计所需的匿名编码、资质类型、培训状态与复核结果。评测方应减少不必要的患者信息暴露，在任务界面呈现完成判断所必需的内容，并控制导出、下载和访问权限。若样本涉及语音、影像或自由文本，应把直接识别信息和可组合识别线索纳入脱敏检查，而不只是搜索姓名字段。
还要区分“答案正确”与“答案安全”。模型可能给出事实正确的内容，却没有说明适用条件、禁忌或紧急就医提示；也可能提出风险很高的错误建议，但文字表达十分流畅。安全标注需要独立的严重度分层，并围绕真实使用场景明确伤害路径、错误可发现性和人工拦截能力。对于可能导致诊疗延误或不当治疗的情况，不能仅以平均准确率达到阈值作为通过条件，应设单独的失败阈值和升级动作。
把盲测结果变成可执行的质量闭环
一次盲测不是项目终点。结果需要回到数据、规范、模型和产品流程中：若错误来自字段缺失，补齐数据字典或输入信息；若错误来自医学概念混淆，修订标签体系并增加对照样本；若错误来自证据引用，检查检索来源和引用对应；若错误来自多模态错配，回查文件映射与患者关联；若不同专家持续意见不一，则补充边界定义或把该情形标记为需临床判断。每轮优化都应保留任务版本、样本版本、模型版本、评审条件和结果差异，避免把不可比的分数直接拼接成进步曲线。
项目管理可以设置启动门槛、过程质量和交付验收三个阶段。启动门槛检查指南是否试标通过、医学专家是否确认规则、评测样本是否独立保管；过程质量监控抽检错误率、标注者漂移和仲裁比例；交付验收则检查字段完整、医学准确、证据可追溯、隐私合规和文件版本。对错误分类设置不同严重等级：涉及重大诊断错误或隐私泄露的缺陷应触发暂停和全面排查；一般格式错误可以定向返修。结算和复购条款要与规则版本一致，避免不同批次使用不同评分口径。
医学标注不应以“意见多”作为质量高的证据。高质量标注能告诉模型团队：答案哪里错、错误为什么重要、依据来自什么上下文、医生是否存在合理分歧，以及下一轮训练或产品改动如何验证。对于临床应用，还要明确AI输出是辅助信息，需由专业人员结合患者实际情况、最新证据和机构流程复核。标注评测可帮助发现系统边界，但不能替代临床责任或真实世界安全评价。
朗慧的医学标注能力应体现在可追溯过程
对外介绍朗慧的医疗数据服务，建议把重点放在标注规范设计、医学专家协作、盲态评测、质量仲裁和缺陷闭环，而非单独强调产量。项目实施时，先将客户目标转为任务说明和评分标准，再通过小批试标校准不同评审的理解；进入正式工作后，对高风险样本设置复核，对评审分歧保留原因和仲裁轨迹；交付时提供版本、抽检统计和问题修复记录。具体标注类型、专家资质、抽检比例与验收承诺，应以项目范围和合同约定为准。
这种能力对医疗AI团队的实际价值，是让数据集不仅能用于训练，也能成为衡量模型改进的稳定工具。医学专家可以看到样本证据和争议记录，算法团队可以把缺陷映射到训练或评测任务，采购方可以核对每批交付是否满足既定规则。复购时，双方依据上一批次的缺陷分布调整标签说明和抽样策略，逐步形成可复用的医学评价基线。
常见问题
医生评分存在分歧，说明标注无效吗？ 不一定。分歧可能来自规则不清、资料不全或临床上存在多个合理方案。应测量一致性、分类分歧原因，并通过指南补充或专家仲裁处理，而不是直接删除分歧。
盲测一定要完全隐藏模型身份吗？ 对比较模型输出的评价，隐藏模型身份和随机化顺序通常能降低期望偏差。若任务本身必须知道工具信息，应记录这一限制，并采用其他方式降低偏差，例如独立复核、预设指标和匿名化呈现。
医学AI标注项目最重要的交付物是什么？ 除标注结果外，还应交付任务定义、标签规范、版本记录、抽检与一致性统计、仲裁记录、缺陷分类和合规处理说明。这样结果才可复查、复训和用于后续评测。
参考资料
[1] Tam et al. A framework for human evaluation of large language models in healthcare derived from literature review. npj Digital Medicine, 2024. https://doi.org/10.1038/s41746-024-01258-7
[2] Collaboration between clinicians and vision-language models in radiology report generation. Nature Medicine, 2025. https://www.nature.com/articles/s41591-024-03302-1
[3] Rieff et al. SMMILE: An expert-driven benchmark for multimodal medical in-context learning. NeurIPS 2025 Datasets and Benchmarks Track. https://doi.org/10.52202/085713-2180
[4] Vasilev et al. MTBBench: A Multimodal Sequential Clinical Decision-Making Benchmark in Oncology. NeurIPS 2025 Datasets and Benchmarks Track. https://doi.org/10.52202/085713-0368
[5] STARD-AI Steering Group. The STARD-AI reporting guideline for diagnostic accuracy studies using artificial intelligence. Nature Medicine, 2025. https://doi.org/10.1038/s41591-025-03953-8
