LumeSage · 多模态病历

长时序多模态病历怎样建成可计算的患者轨迹

把文件放进同一目录,并不会自动形成患者轨迹。稳定的患者级关联、临床时间语义和跨模态证据链,才是纵向医疗 AI 数据可计算、可验证的基础。

患者时间线图,展示诊断、检验、用药、影像、病理和结局如何关联到不同临床事件。
图1 患者、临床事件和多模态证据的时间线关联

研究问题决定数据集结构

纵向数据集的设计,不能从文件夹结构开始,而要先说清楚模型或研究要回答什么问题。疾病早期识别需要明确基线时点和后续观察窗;治疗反应分析需要药物或手术暴露、检查结果和结局之间的先后顺序;复发或再入院预测需要定义索引日期、随访时长、结局事件和失访规则。没有这些定义,“时间跨度三年”只是一条宽泛的采集要求,并不能保证样本足以支持具体分析。

每个病例建议明确四件事:起点是什么,观察期如何计算,终点如何判定,哪些记录属于这段轨迹。起点可能是首次确诊、治疗前评估、入院或某项检查日期;终点可能是复发、进展、死亡、再入院、缓解或达到规定的随访截止日期。对于“未观察到事件”的患者,需要区别“随访完整但未发生”“提前失访”“记录系统中没有后续数据”。把这些状态统一写成“无结局”,会造成标签错误和随访偏差。

2025年发表于《Nature》的Delphi-2M研究使用疾病时间线建模多病种未来风险,并在英国队列训练后用丹麦登记数据外部验证,展示了时间序列数据用于疾病进程建模的潜力。研究同时指出,模型可能学习数据集中的选择偏倚和缺失模式,因此预测表现不能脱离队列构成和数据生成机制解释。[1] 这对数据建设的启示很直接:时间戳、随访终止原因、来源机构和缺失机制,都属于模型需要知道的上下文。

患者、就诊、事件和文件要分层关联

推荐将纵向数据拆成四个可互相关联的层级。患者层使用匿名且稳定的患者标识,负责把同一人的多次就诊串起来;就诊层记录门诊、住院、急诊、转科或随访事件;临床事件层记录诊断、症状、检查、检验、用药、操作和结局;文件层保存病程文书、检查报告、DICOM、病理切片等原始载体。每一层都应有唯一键,并通过显式外键关联,而不是依靠文件名或目录位置猜测关系。

患者级稳定ID并不意味着保留可逆身份信息。它应是项目范围内的假名化键,真实身份映射表按授权要求单独保管,交付数据不携带映射。就诊ID、报告ID、影像Study/Series标识和文书ID也需要明确作用范围,避免两个不同医院或不同批次产生相同编号后被误合并。跨系统合并应记录匹配规则、置信度和人工复核状态;无法可靠匹配时,保留未关联状态优于强行拼接。

时间字段至少要区分事件发生时间、采集时间、报告生成时间、录入时间、修改时间和导出时间。它们在病历里经常不相同。检验标本可能先采集、后出结果;病程记录可能回顾描述此前发生的事件;系统导出时间更不能代替临床事件时间。保留时区、精度、来源字段和缺失原因,能让算法团队判断应该把哪个时点作为可见信息,避免把结果生成之后的数据泄漏到模型输入中。 还应为每类时间字段说明来源系统、时区、精度与转换规则。只有日期没有时刻时,应保留日期级精度,不要补造具体时分;存在跨院转诊、事后补录或回顾性整理时,应标记事件时间的不确定性。缺失也要区分未发生、未采集、未记录、无法关联和交付遗漏,因为这些状态对临床解释和模型偏倚分析并不相同。对预测任务,数据字典要明确基线时点、特征可见截止时间、结局观察窗与随访终止原因,并通过患者级时间线抽样核查,确认模型没有读到目标事件发生后的信息。

文书应保存完整文本、文书类型、记录时间、签署或修订状态及对应就诊。若业务需要结构化事件,抽取结果也要与原文段落或页码建立位置映射。这样临床专家可以回到原始证据核对,算法工程师可以按文书类型筛选样本,数据工程师可以检查文本截断与重复。对关键记录,验收重点应落在文本完整性、分类准确性、时间逻辑和患者关联;对非关键字段做过度加工,反而可能增加误差并掩盖原始内容。

多模态不是把文件放在同一个目录

一位患者的数据可能包括病程文本、检验数值、药物医嘱、放射报告、DICOM影像、病理报告和全视野切片。只有它们之间的时间与语义关系清楚,才能构成多模态病例。每份影像至少要能找到对应患者、检查事件、模态、身体部位、采集日期和报告;报告提到“与前片比较”时,前次影像及其报告也应纳入追溯链。病理切片则需与取材部位、标本、手术或活检事件和病理结论关联。

DICOM序列本体和关键头字段承载的不只是图像像素,还包括模态、日期、体素间距、层厚、序列等技术信息。脱敏要覆盖标准标签、私有标签、文件名和像素内嵌信息,同时尽量保留完成研究任务所需的技术上下文。应明确序列是否完整、是否经过重采样或压缩、导出工具和处理版本。若提供的是截图,应标注它不能替代原始DICOM的哪些信息,避免下游团队将缩略图误当成完整影像数据。

“患者包”是一种便于交付和抽样的组织方式:将结构化表、PDF文书、影像和病理文件归入同一匿名患者目录,并用清单索引每个文件及其关联事件。但目录本身只是交付外壳,真正的数据模型仍需有清晰表结构、主键、外键、日期字段和字典。清单应能回答:每位患者有哪些就诊,每次就诊有哪些文书和检查,缺了什么,缺失是结构性不存在还是交付遗漏。对“有则交”的模态,应同时提供适用条件与计数口径,避免把未做过某项检查当成缺交。

2026年发表于《Nature Medicine》的患者旅程研究提出了从结构化与非结构化电子病历中抽取临床实体、与编码数据整合并组织成可查询患者旅程的方法。它展示了将遭遇、药物、检验、生命体征和症状放到同一条时间脉络上的研究方向。[2] 对数据供应链而言,这并不意味着所有项目都应先做知识图谱,而是说明原始文书与结构化数据之间需要保留可追溯的映射,后续才能根据具体任务构建时间线或图结构。

临床变量保留原始语境和变化过程

结构化时序表不应把“值”从它的临床条件中剥离出来。检验结果至少要同时保留项目名称、原始结果、单位、参考区间、异常标识、标本与采集时间;药物数据要区分医嘱、开始和停止时间、剂量、途径、频次及执行状态。医嘱被修改或停用本身可能反映病程变化,若只保留最终处方,就会丢失治疗轨迹。量表应保存量表名称、版本、总分和条目分,方便重算与核对。年龄若经过泛化或分箱,要保留泛化规则和用途限制,不能把处理后的值误当原始测量。

诊断也有时间语义。初步诊断、修正诊断、出院诊断和病理诊断可能相互补充或发生变化,数据结构应保留诊断出现时间、记录类型、编码版本和来源文书,不能只留下一个最终编码。若为了某项模型任务生成统一标签,需要另建任务标签字段并保留其判定依据。这样既可研究诊断演变,也能避免后续研究者把临床记录和加工标签混为一谈。

多模态连接应从“同一患者”进一步落到“同一临床事件”。同一患者可能同日接受多个不同部位检查,也可能在短时间内重复扫描;只按患者ID或日期关联,会把不相关的图像与报告拼在一起。可通过就诊ID、检查申请号、报告ID、Study/Series UID或内部事件键建立关联,敏感标识脱敏后则用稳定匿名键替代。交付前可抽取报告中的时间、部位和比较引用,自动核对索引清单,再由医学人员复核错配、缺层或不合理时间顺序。

病种队列和结局标签需要临床共同定义

队列构建时,应将病种纳入标准落实到编码、诊断文本和临床证据上。只凭单个诊断编码可能纳入不符合目标定义的病例;只看自由文本也可能因同义词、否定或历史诊断产生误判。可以把编码筛选作为初筛,再要求关键基线证据支持,例如相应影像、病理、检验或专科记录,并由医学审核处理冲突样本。编码版本、映射规则、例外情况都要进入数据字典和验收记录。

多病种、多科室队列还要检查人群结构。年龄、性别、病程阶段、疾病严重程度、治疗类型、机构和时间段等因素会影响模型表现。若某类样本集中在单一机构、单一设备或某种诊疗路径,模型可能学到机构习惯而非疾病规律。对于罕见病或复杂病例,适当增加难例有助于训练和测试,但必须与目标用途相符,并清楚说明样本如何筛选,避免将人为富集后的队列误称为临床真实患病率分布。

结局字段要有判定规则、观察窗、证据来源和复核流程。模型输入与结局标签之间应设置时间边界。例如,要预测未来复发,基线时点之后的复发文书不能进入输入特征;影像或病理报告可能在临床事件之后生成,也需要避免穿越到预测时点之前。队列最好按患者分组切分训练、验证和测试数据;当目标是验证跨机构适用性时,应保留整家机构做外部测试;当目标是时间迁移时,应使用较晚时间段做测试。随机按报告拆分会让同一患者的近重复记录泄漏到多个集合。

影像AI的进展进一步提高了数据要求

CTPA是肺栓塞评估的重要影像检查。2025年发表于《npj Digital Medicine》的研究围绕CTPA影像、报告生成与结局预测建立多模态模型,所使用数据覆盖多个医疗来源和患者队列,反映出研究正从单一阳性判别走向图像、报告和临床结果联合分析。[3] 这类任务所需数据不只是“有一张CTPA图”:还要能够对齐整套影像、报告细节、临床上下文和随访结局,才有条件评估模型能否总结病变并支持后续分析。

截至2026年10月,另一项多机构真实世界研究报告了商业肺栓塞AI在不同检查类型和机构中的实际表现,并指出真实部署下的敏感度与注册研究基准可能存在差距。[4] 这类证据提醒数据团队:模型上线后的性能会受到患者构成、检查协议、疾病阶段和机构工作流影响。训练集只覆盖某一种扫描协议或单一医院,不能自动推断到其他医院;研究报告必须说明病例筛选、设备与协议、数据切分和外部验证方法。

同年的影像数据集资源也开始提供切片级标签、栓塞位置和类型等更细颗粒信息。[5] 细粒度标签有助于定位和亚型任务,但标签越细,标注规则、影像范围和专家一致性要求越高。算法指标要与临床用途相连:病例级筛查、病灶定位、严重程度分层和报告生成不应共用一个准确率作为最终答案。对小病灶或边缘病例,敏感度、特异度、分层指标、置信区间及错误类型都需要单独分析。

朗慧可以把数据工程与临床复核连成闭环

面向长时序多模态项目,朗慧的专业呈现可以围绕“需求定义、患者级建模、跨模态关联、质量审查和可复核交付”展开。项目启动时先共同确认目标病种、时间起点、结局定义和数据范围;样例阶段核对患者关联、时间字段、文书完整性和影像序列;正式批次通过文件清单、自动规则与医学抽检定位缺陷;返工后保留版本和复验记录。每一步都应输出可检查的字段、日志或验收依据,具体数据来源与授权状态按项目文件确认。

这套方法把“能不能交数据”推进到“这批数据能否回答目标问题”。客户可以在POC时验证关联规则和数据缺口,算法团队可以评估模型输入能否重建时间线,医学专家可以回到文书和影像核对依据,数据治理人员则能审计来源、脱敏和变更过程。对需要复购的项目,患者包结构、字段字典和验收版本保持一致,会比每次重新解释目录和字段更节省成本。

常见问题

长时序医疗数据至少要有几年? 不能只用一个年限回答。要根据研究目标定义观察窗、基线、复诊次数和结局判定。附件中的建设规格把三年以上作为一项采集门槛,但具体模型任务仍需设定可解释的时间起止规则。

为什么检验和影像都要保留准确时间? 因为病程记录中的引用、检验结果生成和影像采集可能发生在不同时间。若只保留日期或导出日期,就可能无法判断一个指标在决策时是否已经可用,也无法核对报告之间的先后关系。

同一患者的数据怎样划分训练集和测试集? 通常应避免同一患者跨集合。按目标任务进一步采用时间切分或机构外部测试,并检查近重复文件和报告模板泄漏,才能得到更接近实际部署的泛化评估。

参考资料

[1] Kaplan A, et al. Learning the natural history of human disease with generative transformers. Nature, 2025. https://doi.org/10.1038/s41586-025-09529-3

[2] Computable longitudinal patient journeys from structured and unstructured EHR data. Nature Medicine, 2026. https://www.nature.com/articles/s41591-026-04695-x

[3] Vision-language model for report generation and outcome prediction in CT pulmonary angiogram. npj Digital Medicine, 2025. https://www.nature.com/articles/s41746-025-01807-8

[4] Multi-site real-world performance of commercial AI for pulmonary and incidental pulmonary embolism detection. npj Digital Medicine, 2026. https://www.nature.com/articles/s41746-026-03418-3

[5] Stanford AIMI. CT Pulmonary Angiography dataset. https://aimi.stanford.edu/datasets/CT-Pulmonary-Angiography

需要把数据需求转成可核对的样本定义、质量规则与交付流程?可与 LumeSage 团队讨论项目边界。

填写需求表单

联系朗慧团队

如需讨论本文涉及的数据采购、时序数据建设或医学标注与评测,可通过电话、邮箱、微信或下方表单联系。我们会按您留下的联系方式沟通。

电话
+86 150 1040 0907
邮箱
date@lumesage.com
商务微信
朗慧商务联系人微信二维码
扫码添加商务联系人

请勿在表单中提交患者姓名、身份证号、联系方式、原始病历或其他可识别个人的信息。

提交即表示您同意北京朗慧科技有限公司为回复本询盘处理您填写的联系信息。详见隐私政策与合规说明。