LumeSage · 医疗 AI 数据科学 · 人群定义与偏倚

复杂病例数据怎么选才科学?从诊断修正、会诊与病理不一致构建可审计队列

“高难病例”不是天然标签。把诊断修正、跨科会诊、重症照护和病理差异变成可复核的筛选变量,必须同时控制选择偏倚、标签噪声与真实临床多样性。

复杂病例分层漏斗:从目标人群、可计算指标、预设阈值、人工核验到代表性抽样,并加入偏倚与外部验证检查。
图 1|复杂病例队列应经过“定义—计算—核验—抽样—偏倚评估”完整链条,而不是单一门槛筛选。

先说清楚“复杂”是对哪个任务复杂

复杂病例在医疗沟通中很常见,但在机器学习数据集中必须具体化。对影像分类,难点可能是病灶小、征象模糊或多病共存;对诊断推理,难点可能是鉴别诊断多、病程演变和检验矛盾;对治疗路径预测,难点可能是合并症、跨科照护或治疗反应差异。住院时间长、诊断多、会诊多只是代理指标,不能替代任务本身的临床难度定义。

若未先定义目标任务,按“复杂度”抽样容易制造概念混淆:一部分病例因病情重而复杂,一部分因文书多而复杂,另一些只是信息系统完整度高。模型训练后可能学会预测医院工作流、文书长度或转科模式,而非目标疾病表型。第一步应形成病例复杂度框架,列明目标任务、临床决策点、可用输入、输出标签、适用人群及希望覆盖的失败场景。

附件提出用诊断修正、会诊科室数、住院天数、ICU/CCU、历史就诊、出院诊断数量、病重通知和非治愈转归等字段构造高难档,并偏好术前诊断与术后病理不一致的手术病例。这些指标适合作为可计算的抽样线索,优势是可审计、可追溯;但它们只是该项目规格中的筛选代理,并非公认疾病严重度量表,也不能推出入选病例已代表“真实世界全部复杂病例”。

因此可把“复杂病例”拆成若干维度:临床不确定性、病程长度、共病负担、多学科参与、治疗强度、影像或病理解释分歧、资料完整度和结局变化。每个维度分别记录,允许患者在某些维度高、另一些维度低。综合分层可以帮助抽样,但不应覆盖原始指标。模型研究也可以按维度报告结果,避免一个总分掩盖了复杂病例的异质性。

把筛选指标定义成可复核变量

每个筛选变量都需要操作化定义。诊断修正次数:统计哪些文书类型中的修正或补充诊断,按患者还是按就诊计数,重复签发如何去重。会诊科室数:基于正式会诊申请、会诊记录还是文书作者科室,转科是否重复计入。住院天数:采用自然日、小时数还是入出院日期差,跨院转诊怎样处理。历史就诊次数:限定时间窗和可关联的既往系统范围,避免把没有历史数据误判为没有既往就诊。

ICU/CCU 入住需要明确实际床位记录、转入转出时间和短暂观察的定义;病重或病危通知书要区分正式告知文书与病程描述;出院诊断数要说明是否包含症状、并发症和重复编码;出院转归“不治愈”需要明确原始枚举和映射规则。变量值应链接到原文或 HIS 字段,并记录抽取时间、规则版本、核验人和例外处理。这样,独立审核者才能复算筛选结果。

对于每项门槛,建议保存三态或多态状态:满足、不满足、无法判定;另记录缺失原因、数据源不可用、时间窗不完整或文书识别失败。不能把“未发现 ICU 记录”等同于“患者没有 ICU 经历”,除非数据源覆盖完整。对阈值附近的病例,人工复核可以避免由于日期精度、重复文书或编码错误造成的错分。阈值本身需在抽样前冻结;若中途调整,保留版本和每条规则变更对队列数量的影响。

从高难度抽样到代表性队列:两种目标不能混为一谈

富集难例有明确价值:提升模型面对边界情形时的训练覆盖,发现常规数据集看不到的错误,评估对罕见亚群或跨模态矛盾的稳健性。但高难队列与目标部署人群通常有不同病例谱。若测试集中过多 ICU、多病共存或复杂手术病例,整体性能可能不代表普通临床使用;若训练集中过度富集,模型概率和阈值也可能不适用于真实患病率。

应区分至少三种队列。第一种是代表性队列,用于估计目标场景整体性能;第二种是挑战队列,专门覆盖复杂、少见或高风险情形;第三种是开发队列,用于训练或算法调参。它们可以共享部分定义,但用途、抽样比例和报告方式不同。挑战集的通过结果不能替代代表性验证;代表性平均指标也不能掩盖困难亚组的失效。

若要从富集样本估计部署人群的总体性能,需掌握抽样概率、目标人群分布,并考虑加权或重新校准;但这依赖合理的抽样机制和足够的目标人群信息。不能简单用“高难档 20%、普通档 80%”推断自然发生率。若附件中的 200/800 分层只是采购配比,它就是交付构成要求,不是临床流行病学估计。研究报告应把样本设计与目标人群区分清楚。

对模型而言,困难样本的代表性不只体现在病情指标,还体现在站点、设备、年龄、性别、语言、转诊方式、文书质量和可用模态。若复杂病例只来自少数大医院、某个科室或特定设备,模型可能把机构特征当成难度。按中心和科室分层抽样,再对每个维度做分布检查,有助于发现此类偏差。

病理与术前诊断不一致:保留差异,比强行统一更有价值

术前工作诊断和术后病理诊断的差异,是临床诊断过程中的重要信息。它可能源于影像表现不典型、取样范围有限、病变异质性、术中发现、病理复核或诊断标准版本变化。差异不自动说明术前判断错误,也不自动说明病理一定是完美金标准。对于训练数据,直接用病理结论覆盖术前诊断,会让模型被错误地要求回答“最终已知答案”,而实际任务可能是在术前根据有限证据进行风险估计。

在数据模型中,应保留诊断来源与时间:术前影像印象、临床工作诊断、术中所见、初次病理、免疫组化补充、专家复核、最终诊断及各自的证据。可以建立差异类型标签,例如诊断类别改变、分期变化、良恶性判断变化、病灶部位不匹配、取样不足或不确定;标签由合格的医学审核流程确认,并保留一致性和争议状态。模型的标签取决于目标问题,不应把一个最终结果用于所有任务。

当样本以“术前与术后不一致”作为优先筛选条件时,需要检查这一条件是否增加了选择偏倚。只有接受手术并获得病理结果的人,往往与未手术患者不同;病变位置、患者风险、医院能力及医生决策都会影响是否手术。若研究目标是术前影像模型,单独研究有手术病理的病例可能产生验证偏倚。可将此类样本作为专门挑战子集,同时另建更贴近目标使用人群的验证集,并说明病理标签只覆盖了特定患者群。

标签不确定性和专家审核如何进入数据设计

病例复杂度往往意味着标签本身也更不确定。不同医生可能对病程阶段、病灶边界、严重度或诊断类别意见不同;一份病理结论还可能经过补充染色后修改。单一标签文件会隐藏这种不确定性。对关键目标,建议保留初始标注、复核标注、裁决结论、理由和对应证据,必要时保留多位标注者的独立判断与置信度,而非只存一个最终值。

医学标注的质量控制可以采用分层抽样:基础病例用于监控常规一致性;复杂病例提高双人独立标注比例;分歧病例交由高级专家裁决;随机盲测用于评估重复性和潜在漂移。指标不应只有总体一致率,还要对类别不平衡、边界类别和不同科室分别分析。Cohen’s kappa、Krippendorff’s alpha 等统计量可作补充,但统计一致并不能证明临床效度;需结合临床定义和来源证据审阅。

审核角色也要区分。标注者负责按规范抽取或判读;审核者检查定义应用和来源证据;裁决者解决争议;数据治理负责人确认权限和用途边界。每个角色应有资格条件、任务范围和变更记录。对于自由文本标签,应保存原文片段与结构化标签之间的映射;对于影像或病理标注,应保留标注工具、坐标、版本、视野或切片标识,方便复核。

如何评价复杂病例模型,而不被单一 AUROC 误导

复杂队列评测不能只报一个 AUROC。若阳性病例稀少,AUPRC、固定临床阈值下敏感度与阳性预测值可能更直接;若模型输出风险概率,需要看校准截距、校准斜率、分组校准和临床阈值附近表现;若是多类或多标签任务,还应报告类别级指标与混淆矩阵。结果需要给出置信区间,并说明患者级聚类或重复检查如何处理。

总体平均性能应与分层结果同时呈现。可按复杂度维度、科室、站点、模态完整度、年龄区间、性别、数据年份及设备类型分析。对每个亚组报告样本量、阳性数、缺失率和不确定性,避免从很小的样本得出强结论。外部验证还应评估标签流程和数据采集流程的差异;性能下降时,要区分病例谱变化、数据漂移、标签定义变化和模型泛化不足。

模型解释也不宜只靠注意力热图或重要性排名。针对挑战样本,应做错误病例回溯:模型是否使用了预测时点之后的诊断?是否把医院或设备文本当作捷径?对影像是否关注到与任务相关区域?对病程是否引用了与结论相矛盾的证据?这些问题需要临床专家与工程师共同审阅,并将失败类型转成下一轮数据与评测改进项。

把采购规格变成科学的队列方案

附件的指标可以做成一个“可审计的复杂度画像表”:患者标识、就诊范围、各指标原值、计算依据、是否满足门槛、无法判定原因、证据位置以及最终分层。验收时抽查指标表与病历原文,不只是统计满不满足条件,还要验证原文是否支持该结果、统计窗口是否一致、是否重复计算。对病例的科室和模态分布,应同时与目标应用场景对照。

较稳妥的设计顺序是:先定义临床任务和目标人群;再确定复杂度维度与操作化变量;冻结规则并在小样本上验证;评估筛选后的站点、科室、模态与人群分布;分离代表性队列与挑战队列;随后执行患者级训练/验证/测试切分;最后做独立外部评估并按分层报告。每一步都应留下可复现的版本。阈值选取既要考虑数据可得性,也要确保其与科学问题相符。

朗慧可在项目授权范围内协助建立医疗数据字段映射、筛选规则、医学标注规范、盲测与复核流程、数据卡和模型评测框架。具体规模、病种、机构、专家配置和验收指标均以双方确认的合同与实施方案为准。复杂病例的真正价值,不是把“难”写成营销标签,而是让模型在哪些人群、哪些信息条件下可靠或不可靠变得可观察、可复核、可改进。

病例队列还要审视“可见病例”与“目标总体”的差异。单中心病历往往只记录院内发生的事件,外院诊断、既往用药和院外结局可能不可见;疑难患者也更可能转诊到高等级医院。若研究目标是某类医院的辅助决策,目标人群应限定在该场景;若要声称适用于更广泛人群,就需要跨中心覆盖并说明转诊机制。数据来源范围决定了模型能够回答的问题,不能把记录完整度误当作患者健康事实的完整度。

复杂度指标之间可能高度相关。重症、住院时间、会诊和出院诊断数都可能由同一病情过程或医院流程驱动,直接把它们相加会重复计权。可以先报告各指标的边际分布、相关性和共同出现模式,再依据临床专家意见与统计分析形成分层策略。阈值敏感性分析也很重要:将住院时长门槛略微调整后,队列组成是否显著变化?若变化很大,说明分层对阈值依赖,报告时应提示。

为减少选择偏倚,推荐同时保留筛选前分母、每一步排除数量及原因。筛选流程图应说明从源数据池到符合规则、可链接、标签完整和最终抽样的每个阶段损失了多少病例。若只有资料完整的患者最终进入队列,模型可能更适用于信息系统记录规范的患者,而不适用于更混乱的真实环境。可以建立单独的“数据不完整挑战集”,检验模型在部分字段或模态缺失时的行为,并明确哪些输入缺失会触发拒答或人工复核。

在筛选复杂病例时,研究团队可以预注册队列设计和主要亚组,尤其当分层规则可能影响测试结果时。预先固定高难度定义、阈值和终点,可减少看过模型结果后再调整“难例”的风险。若规则必须迭代,应使用开发数据探索,再在独立验证资料中冻结定义。指标阈值和标注规则的变更要写入方案版本,报告变更前后样本结构。对采购型数据项目,这也有助于将验收达标与科学研究结论分开:满足合同配比表示交付符合约定,不代表临床性能已经得到证明。

建模时可使用分层评测来识别模型是否只在容易子集上有效。例如分别观察标签明确与存在争议、单模态与多模态完整、初诊与复诊、常规科室与跨科会诊、病理一致与不一致等分组。组间差异不能仅解释为模型偏差,也可能来自样本量、疾病谱和标签质量不同;因此需要报告原始样本量、特征分布、置信区间并结合临床审核。若某亚组数据太少,应标记为证据不足,而不是将不稳定点估计包装为结论。

方法边界与数据来源

本文依据用户提供的医疗数据字段与复购需求文件归纳数据工程和队列设计要点,并结合公开的同行评议研究、技术标准与监管/报告指南进行讨论。附件中的字段、筛选门槛和数量均为需求规格示例,不证明数据已采购、已交付或已通过模型验证。文中算法和流程用于科研与工程设计讨论,不构成医疗诊断或治疗建议。具体项目须以授权、数据卡、合同和伦理/合规审查为准。

参考文献与技术标准

  1. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods, BMJ (2024)
  2. DECIDE-AI: reporting guideline for early-stage clinical evaluation of AI decision support systems, Nature Medicine (2022)
  3. External validation of clinical prediction models, BMJ (2024)
  4. Good Machine Learning Practice for Medical Device Development, FDA / IMDRF

需要把数据需求转成可核对的样本定义、质量规则与交付流程?可与 LumeSage 团队讨论项目边界。

填写需求表单

联系朗慧团队

如需讨论本文涉及的数据结构、质量控制、医学标注或模型评测,可通过电话、邮箱或下方表单联系。请勿发送可识别患者身份的信息。具体项目范围以正式文件为准。

电话
+86 150 1040 0907
邮箱
date@lumesage.com
商务微信
朗慧商务联系人微信二维码
扫码添加商务联系人

请勿在表单中提交患者姓名、身份证号、联系方式、原始病历或其他可识别个人的信息。

提交即表示您同意北京朗慧科技有限公司为回复本询盘处理您填写的联系信息。 隐私政策 · 合规说明