从 DICOM 到病理切片：医疗多模态 AI 如何建立可验证的数据与评测闭环

影像病理多模态闭环：授权与去标识化、患者级关联、模态质控、独立切分、模型评测、临床错误复核。 — 图 1｜多模态数据不是把影像、报告和标签拼在一起；需要从来源关联一直闭环到独立评测和失败分析。

多模态不是“影像加文字”这么简单

医疗多模态模型经常被描述成影像与文本的融合，但真实任务通常至少包含四类信息：视觉信号、结构化测量、临床叙述和时间上下文。CT 体积、病理全切片、放射报告、手术记录、实验室指标和诊断编码各自有不同粒度、误差机制和可用时间。将它们简单拼接，可能得到更大的输入，却不一定得到更可靠的临床证据。

第一步应问清楚预测目标和可见模态。例如放射报告生成模型在检查完成后读取影像；术前风险模型只能使用手术前的信息；病理辅助工具可能使用切片图像及有限临床背景。若任务要预测术后结果，术后病理作为特征就会造成标签泄漏。若图像在临床部署中不可得，训练阶段依赖图像的模型也无法复现。任务定义必须同时写明目标时点、输入来源和允许的模态。

附件把手术病例、影像、病程、病理和报告字段关联起来，并要求图文对应与完整序列。这些要求可以转化为模态契约：每种模态的文件类型、结构、关键元数据、质量阈值、关联键、时间窗口、标注来源和缺失状态。只有契约通过，模型工程才知道每条样本究竟代表什么。

DICOM 体数据的完整性与可解释预处理

DICOM 的价值在于保留影像像素以及采集和空间元数据。CT 项目至少要检查 PatientID 与项目患者键映射、StudyDate、Modality、BodyPartExamined、SliceThickness、PixelSpacing、Rows、Columns、BitsAllocated 等必要信息，同时验证 UID 引用、实例数量、图像方向、层间距、重复切片和像素值范围。不同重建序列可能对应不同核、层厚或对比剂阶段；把它们当作同质图像，会让训练输入的分布混杂。

“完整序列”需要按任务定义。对于体积分类，可能需要所有符合条件的轴位切片；对于病灶检测，可能还需要定位和重建序列；对于报告关联任务，应保留同一次检查中的相关序列和标识。不能默认仅挑三张关键帧即可替代完整 CT。若确实进行关键帧筛选或重采样，应保存母序列 ID、筛选方法、算法版本、空间变换和被丢弃数据的统计。预处理不是不可见的技术细节，而是数据谱的一部分。

去标识化需要在影像与元数据层一起处理。DICOM 标准提供属性配置文件，但自由文本、私有标签、烧录在像素里的姓名和日期、UID 关联、文件元信息都可能带来风险。另一方面，某些任务需要保留相对时间、年龄段或纵向连接。应由隐私与数据治理团队确定使用何种配置和风险控制，并通过样本检查验证。研究副本与原始映射表要分离管理，权限、审计和保留策略应纳入项目流程。

图像质量还包括设备和采集差异。扫描仪厂商、重建核、层厚、造影剂方案、图像噪声、运动伪影、视野范围和协议变更都可能造成域偏移。模型评测应记录站点、设备、检查年份和协议，且在训练和测试拆分中避免无意泄漏同一中心的近重复样本。即使保留完整序列，也要检查扫描是否覆盖目标部位、图像是否可读及检查对象是否符合纳入标准。

病理全切片需要从患者、标本到 patch 逐层连接

病理全切片图像（WSI）通常达到十亿级像素，模型处理时会划分为大量局部 patch，再汇总成切片或患者层面的表示。若只看最终诊断标签，很容易忽略标本类型、取材位置、组织质量、染色、扫描倍率和病理报告版本。正确的数据层级至少包含患者、就诊、标本、组织块、玻片、WSI、patch 与报告；不同层级都要有可追溯标识。

病理报告文本可以提供弱监督标签，但报告不总是与每个 patch 一一对应。整张切片可能同时包含肿瘤、间质、坏死、炎症和正常组织。将患者级恶性诊断直接复制给所有 patch，会产生大量噪声标签。多实例学习、注意力池化或区域标注可以处理弱标签，但算法性能仍依赖病例级标签质量、切片选择和标本覆盖。若研究区域级病灶检测，则应设计病理专家的区域标注和复核流程。

免疫组化标记、特殊染色、组织学描述和 TNM/AJCC 分期应与结论一起处理。标记结果需保留阳性/阴性、不确定或未检测；分期需标明适用版本及证据来源。对于恶性肿瘤，临床分期、影像分期、术后病理分期并非同义字段。若模型任务使用分期标签，应明确预测的是哪一阶段、基于什么时间点和标准。对缺少某项检测的患者，不能直接标为阴性。

图像与文本配对的三种融合路线

早期融合把文本、结构化变量和视觉特征在输入或较早层组合，能够捕捉细粒度交互，但要求时间、样本和标签配对相当准确。中期融合让不同编码器先各自学习，再通过交叉注意力、对比学习或共享潜在空间对齐模态，便于保留模态专长。晚期融合则先产生单模态结果，再合并决策，系统较易解释，也较能容忍某些模态缺失，但可能无法学习复杂的跨模态互补。

选择融合方式前，先建立简单基线：仅临床变量、仅文本、仅图像和简单晚期融合。若复杂多模态模型没有稳定超过基线，可能是配对错误、样本规模不足、标签噪声或某个模态只是重复表达同一信息。还应比较“移除某一模态”的消融实验，测试缺失模态时的性能和校准。若一个模型只在所有模态齐全时工作，部署端必须确认这些输入在目标场景稳定可得。

2025 年 Nature Medicine 的 TITAN 工作展示了以大规模去标识化病理图像和报告学习全切片表示、区域描述和跨任务迁移的一条研究路线；2026 年 Nature Medicine 的 PRISM2 进一步围绕病理基础模型与临床对话监督开展研究。这些论文说明报告配对与多尺度表示是活跃研究方向，但论文的训练数据、任务、外部评估和模型许可各有边界，不应把其论文指标直接转化为某个项目的数据质量或临床收益承诺。

标签、来源和时间决定评测是否站得住

影像报告和病理报告是临床证据，但它们也可能存在错误、延迟、版本差异或诊断不确定性。对监督学习，标签应保留来源类型、生成时间、复核状态、规则版本和不确定性。由报告文本自动抽取的标签，应抽样与原报告核对；由模型生成的伪标签，不应未经审核就和专家标签混为一类。若标签来自术后病理，但输入仅有术前影像，要明确定义其时间跨度和适用人群。

训练集、验证集和测试集需按患者隔离，避免同一患者的多个切片、多个扫描或重复报告跨集合。对同一机构数据，还可能有近重复影像、模板化文书、图像后处理副本和设备标记泄漏。独立外部验证应尽量来自不同站点或不同时间段，并核对标签流程是否一致。若目标是多国家、多语言或多种设备部署，数据覆盖也必须反映这些差异；单一站点的高分无法回答域外可靠性。

评价应超越 AUROC。分类任务可同时看 AUPRC、敏感度、特异度、阳性预测值、阴性预测值、校准和阈值表现；分割任务要报告边界与体积相关误差；报告生成需要事实一致性、遗漏、错误肯定及临床专家评审。要对设备、站点、年龄段、性别、疾病亚型、模态缺失和病例复杂度做亚组分析，并给出置信区间。临床场景还要评估人机协作、工作流影响和失败后的安全处理。

一个可操作的多模态数据验收清单

第一层是文件和元数据：DICOM 是否能读取，序列是否完整，像素与空间信息是否有效；PDF 文本层是否可提取，页序和表格是否完整；病理图像是否符合分辨率和扫描要求。第二层是关联：患者键、就诊键、检查日期、影像报告、手术记录、病理号和切片之间是否有可复核关系。第三层是内容：临床字段、标签和影像结论是否能定位到原文，关键缺失是否有解释。第四层是治理：授权范围、脱敏流程、访问权限、保留与销毁规则是否有记录。

抽检要以“完整患者包”作为一个单位，不要只抽单文件。按模态和复杂度分层，再核对同一患者的病程、检验、检查、手术、出院和病理轨迹。附件提出影像报告字段包括检查日期、设备、部位、平扫/增强、阳性/阴性、影像所见和结论；可以把这些字段转换成缺失率、取值合法性和原文一致性检查。对单例发现的严重关联错误，需评估是否属于系统性问题并扩大抽样，而非只修正一个文件。

对算法工程团队而言，最终的发布包还应有可重复构建的 manifest：患者级样本清单、模态文件哈希、数据版本、过滤规则、切分结果、转换流水线版本、标签定义和评测脚本。敏感标识不应出现在公开清单中，但项目内可用受控 ID 完成追溯。数据卡应说明覆盖人群、站点、设备、时间范围、模态缺失、已知偏差和限制。这样的交付才支持后续复现和模型变更审查。

从数据准备到临床验证，设定清晰边界

研究基准性能不等于临床可用性。进入真实工作流前，还需检验系统在目标用户、目标设备、真实负载和异常输入下如何工作；模型输出是否被正确理解；不确定或缺失输入时能否拒答或提示；是否出现新的偏差或工作量负担。FDA/IMDRF 的 GMLP 原则强调与目标人群匹配的数据、训练测试独立性、人机团队与全生命周期监测；DECIDE-AI 提供早期临床评估的报告框架。它们支持的是过程设计，不会自动给某个模型背书。

开发团队可以把评测闭环设置为：数据来源和授权核验、患者级关联、模态质量检查、标签审核、版本化切分、基线与多模态对照、外部验证、亚组与失败分析、专家复核、修正后回归评测。每次数据或模型更新，应记录变更范围及指标影响。若新设备、新报告模板或新站点加入，应视作分布变化，重新验证关键性能而不是假定模型自然泛化。

朗慧可根据经确认的项目范围，协助医疗数据字段梳理、影像和病理数据质控、医学标注、盲测与算法评测设计。具体样本来源、病例量、模态覆盖、专家配置和验收结果需以正式项目文件为准；本文不代表现货库存、临床试验或诊疗效果承诺。高质量多模态数据的价值，是让每个输入、标签、结论和限制都能被验证，帮助算法团队把研究问题做得更可复现。

多模态配对质量需要独立评估，而不只是检查文件是否同时存在。可以把患者和就诊键、时间、解剖部位、检查号、病理号、手术记录和报告引用作为配对证据，抽样由临床审核者确认图像和文字是否真正对应。若影像来自术前但报告来自术后复查，或者病理样本取自不同部位，文件都在同一患者目录下仍然不是有效配对。应把配对状态分为确认、自动匹配待审、疑似不匹配和未匹配，并在模型任务里设定哪些状态可以使用。

评测数据还要防止同一患者的切片、序列或派生图像形成隐性重复。图像哈希和感知哈希可发现完全相同或近似重复的文件；患者键与检查键用于发现重复检查；报告模板和日期则可发现重复文书。近重复样本可能让测试集分数虚高。去重规则应保留被去除记录与主记录的映射，且在患者切分前执行。外部评估时，验证机构是否在训练资料中出现过、影像是否由同一数据供应或公开源复制，也需要记录。

对生成式模型，评价还要关注“看似合理但没有证据”的输出。影像问答和报告生成可以检查关键发现遗漏、错误添加、否定词翻转、解剖部位错误和不确定性表达；病理描述应区分切片实际可见内容与临床背景推断。专家盲评、基于参考证据的事实核查和结构化错误分类需要结合使用。若采用自动评价指标，应先验证它们与专家判断的关系，不能把文本相似度直接等同于临床正确性。

在图像预处理方面，归一化、窗宽窗位、重采样、裁剪、颜色标准化和组织区域筛选都可能改变模型看到的信号。每一步都应有版本、参数和失败日志，并尽量在训练与测试中保持同一规则。针对 CT，窗宽窗位和重建核选择会影响纹理；针对病理，染色归一化可能减轻扫描差异，却也可能抹去有意义的染色强度线索。要通过消融与站点分层验证，避免把预处理当作无害的通用步骤。

如果算法要用于人机协作，数据集和评测应记录医生基线、模型单独表现及医生加模型后的表现。模型在独立测试集上提升，不保证医生工作流会更安全或更高效。真实使用还要看建议是否改变决策、医生何时忽略或覆盖模型、模型错误是否被及时发现、低置信度样本是否转人工，以及不同经验水平用户是否受益一致。早期临床评估应先聚焦可用性和潜在危害，再逐步评估临床结局；不能从离线图文匹配分数直接跳到临床获益结论。

对手术病例，图像必须与术前病历、手术记录、术后观察和出院摘要形成可核对的顺序关系。附件中的采购规格举例要求术前/术后图像与紧邻文字描述对应，并规定一定的最低图像分辨率、每例图像数量及多个手术科室覆盖；这类数字是项目验收条款，不是所有影像研究通用的科学标准。问诊对话也有独立的模态结构：对话轮次、首诊/复诊/用药咨询/检查解读场景、患者上传图像及医生判读结论都需关联，图像不能脱离对应对话单独作为标签。将这些条件显式写进样本 schema，才能检验模型输入在真实使用场景中是否可获得、是否与文字一致。

方法边界与数据来源

本文依据用户提供的医疗数据字段与复购需求文件归纳数据工程和队列设计要点，并结合公开的同行评议研究、技术标准与监管/报告指南进行讨论。附件中的字段、筛选门槛和数量均为需求规格示例，不证明数据已采购、已交付或已通过模型验证。文中算法和流程用于科研与工程设计讨论，不构成医疗诊断或治疗建议。具体项目须以授权、数据卡、合同和伦理/合规审查为准。