摘要：先把“病例包”变成可核验的测评协议
糖尿病并发症 AI 的难点，不是让模型从一份病历里说出一个病名，而是让它在真实、跨时间、来源复杂的临床证据中，稳定完成可定义的任务：读对检查结果，保留单位和时间，区分诊断依据与推测，识别高风险信号，并在证据不足时明确停下来。一个有意义的 Benchmark 必须把这些能力拆开测量，不能用一个笼统的“准确率”替代临床效用。
本次附件压缩包经结构盘点，包含 12 个病例，覆盖糖尿病周围神经病变、糖尿病肾病、糖尿病视网膜病变、糖尿病足四类，每类 3 例；共有 78 份 PDF、251 份 CSV，CSV 合计约 3,413 条数据记录。文件数和表格行数描述的是交付结构，不等于独立患者数，也不等于可用于统计推断的样本量。附件适合作为数据字典、标注手册、评测界面、仲裁流程和错误分类的可行性试点；现阶段不足以给出模型排行榜、疾病患病率、灵敏度或临床获益结论。
朗慧建议将项目命名为“糖尿病并发症多模态临床评测（LumeSage DiaComp-Bench）”作为拟议中的试点框架。名称不代表既有正式榜单或已完成的临床验证。本文提供的是可审计的测评说明、候选任务与建设路径；正式榜单需在治理、样本规模、参考标准、跨机构验证和运行规则通过评审后再发布。
一、附件告诉我们什么，尚未告诉我们什么
1.1 四类疾病不是一个任务的四种标签
四类病例指向不同的临床证据链。糖尿病肾病的判断需要实验室指标、时间持续性、共病及可能的其他病因；视网膜病变分级依赖眼底影像质量、标准化病灶与分级规则；周围神经病变涉及症状、感觉检查、保护性感觉和神经电生理等不同证据；糖尿病足则可能包括溃疡部位、深度、感染、缺血、神经病变和愈合结局。它们可以共享数据治理和评测基础设施，但参考真值、目标人群、误差代价和临床处置含义不能简单合并。
附件中 PDF 与 CSV 说明数据同时存在文档叙述和结构化字段。CSV 中常见检查项目编码、名称、结果值、单位、参考范围及异常标记，也可能包含医嘱、用药、报告结论或检查所见。PDF 能提供上下文、叙述和格式信息。但“文件中有某字段”不自动意味着字段定义一致、单位统一、来源完整或标签正确。建设时应为每个字段记录来源文件、页码/行列、原始值、标准化值、单位、时间语义、转换规则、缺失原因和审阅状态。
目前附件没有以独立 JPEG、PNG、DICOM 或眼底/OCT 文件形式交付的影像目录。因此，现阶段可讨论的是现有报告和表格中的证据提取、文书理解，以及在影像证据确实存在于报告中的有限文本任务；不能声称已具备眼底图像分级、OCT 判读、足部创面图像识别或跨模态影像融合评测条件。未来收到影像时，还需检查设备、成像协议、图像质量、标注坐标、采集机构和授权范围。
1.2 小样本中的“样本单位”必须说清楚
独立分析单位是病例/患者，而不是 PDF、CSV、页码、检验项目或记录行。一个病例拆成几十份文件仍然只贡献一个独立患者；同一人的多次化验也彼此相关。把文件行随机拆到训练和测试集合，会让同一患者的信息越过边界，引入严重泄漏。若未来进行训练或开发，必须以患者为单位整体分组；多中心时还要设计按机构或时间留出的外部验证。
每个病种只有 3 例时，单个病例在该病种小组中占三分之一。即使 12 例全部正确，也不能由此推断临床灵敏度达到 100%。在这个阶段，可核验的是流程有没有运行、字段有没有来源、专家分歧能否被仲裁、错误是否可归因；不应发布 AUC、疾病风险、跨人群泛化或模型优劣榜单。
二、把四类并发症拆成可复现的评测任务
榜单首先要回答“测什么”，然后才是“谁分高”。建议以两个层次建立任务目录：通用的数据理解任务和专病任务。每项都形成任务卡，固定输入类型、适用人群、目标输出、证据来源、参考标准、排除条件、评分函数、临床风险等级、版本和禁止用途。答案必须能追溯到原始证据；只给结论、不给证据链的模型不应与可溯源系统等价得分。
赛道 A｜病历与检查数据结构化抽取
从 PDF/CSV 中抽取检查项目、结果、单位、参考区间、异常标记、药物和诊断，并将每个值绑定至病例、检查事件和时间。指标不仅看字段是否匹配，还需分别核验数值、单位、正负号、区间边界、日期解析和来源定位。报告中的“未见”“未查”“阴性”不能被归并为同一个空值；单位转换要记录公式及舍入精度。建议报告精确匹配、字段级 precision/recall/F1、数值和单位联合正确率、时间解析准确率、证据定位准确率、拒答/缺失处理正确率。
赛道 B｜糖尿病肾病：纵向风险状态与依据一致性
如数据可追溯到重复检测，可围绕 eGFR、尿白蛋白/肌酐比（UACR）、血清肌酐、糖尿病病程、血压和药物信息，测量模型是否正确识别数值、单位、趋势与时间间隔。ADA《2026 糖尿病诊疗标准》建议对糖尿病患者监测 eGFR 与 UACR，并依据 CKD 风险分层确定复查频率；这说明“时间窗”和连续变化本身就是任务定义的一部分，而非附加字段[1]。基于单次异常值的诊断推断，不能取代规范的临床诊断与持续性判断。若做预测任务，须预先定义预测起点、预测期限、结局、基线风险、治疗变化处理及竞争风险，且本附件不具备形成可靠风险模型验证所需的样本量。
赛道 C｜糖尿病视网膜病变：报告理解与眼底影像分开测
当前可评估现存报告中“所见—分级—建议”的抽取、不同字段是否互相矛盾、转诊建议是否有原文依据；但没有独立眼底/OCT 影像，就不能评估图像级病变检出、分级、病灶定位或跨相机泛化。眼底影像 benchmark 应规定成像视野、左右眼、图像质量、不合格图像处理、分级体系和阅片者仲裁。例如，2026 年《Scientific Data》公开的多模态视网膜研究数据包含 24,460 张影像，细化到五级严重度、七类病灶和 OCT 黄斑水肿分级，反映了影像评测对细粒度标签、模态配对和质控的要求[2]。而一项多模态大模型研究在 188 名患者的 309 只眼中观察到不同模型性能差异及较低的严重度检出敏感度，提醒榜单不能只报总体准确率，更需展示漏诊与分级错误[3]。
赛道 D｜周围神经病变与糖尿病足：证据分层、严重程度与安全
周围神经病变的文书任务可检查症状、查体方式、保护性感觉结果及其时间关联是否被正确记录，并检测模型是否把“没有记录”误写成“检查正常”。ADA《2026 糖尿病诊疗标准》的神经病变和足部护理章节强调神经病变筛查、足部风险评估与规范化体检；因此任务卡要明确检查方法、检查频率和转诊阈值，避免把缺失记录当阴性[7]。糖尿病足的可测任务可以从病历中的部位、创面大小、感染征象、缺血线索、分级和转归抽取起步；未来图像任务要有标准拍摄条件、尺度参照、病灶标注和临床结局。没有影像时，不能用文字病历任务成绩暗示创面视觉能力。高风险警讯遗漏、把急诊线索降为低风险、凭空补出溃疡分级，都应记为严重错误，单独报告而不能被大量简单字段的正确答案抵消。
为避免分数掩盖临床差异，四类赛道不宜合并成单一总排名。若未来一定要提供汇总分，应同时公开各赛道原始指标、病例构成、置信区间、加权规则和适用范围；对缺失的模态与任务应显示“未评测”，不能当作零分或默认通过。
三、参考标准、专家标注与患者安全
3.1 参考标准是可追溯的证据体系，不是一次投票
临床真值不能简单复制病历里最后出现的诊断字段。要先规定每个任务的参考证据层级：例如实验室检验采用有资质实验室报告及单位/方法信息；肾脏结局按指南定义和规定时间窗构建；眼底分级依据预注册量表、合格图像和专家阅片；足部结局明确感染、缺血、愈合或截肢的判定依据与时间。病例不满足条件时应标记“无法判定/证据不足”，不可强行生成标签。不同证据冲突时应保留冲突原因和最终仲裁者，而不是覆盖原始数据。
建议每个病种建立专家组：内分泌科负责通用糖尿病临床语境，肾脏病、眼科、神经科和伤口/血管相关专家分别负责专病定义；数据工程师、统计师和患者安全负责人参与任务与评分规则评审。标注前制定手册、正反例、边界案例、缺失编码和版本号；标注者培训并通过校准集后再进入正式标注。至少两名合格专家独立标注；计算适当的一致性指标并给出分歧类别；第三位资深专家仲裁。Cohen/Fleiss κ、加权 κ、组内相关或一致率应按变量类型选用，不能把一种一致性统计量机械套给全部标签。
3.2 将“可拒答”视为可靠能力
医疗系统不应因回答率高就拿高分。任务需设置无法判断、影像质量不足、缺失关键化验、标签冲突、超出适用人群等情境，评估模型是否恰当请求补充信息或转交临床人员。评分应联合报告覆盖率与错误率：降低覆盖率可能提升正确率，但如果系统只回答容易病例，就必须通过风险—覆盖曲线或预先设定的覆盖阈值呈现；危险漏报、错误 reassurance 和未经依据的诊断，应单独列出安全事件。
3.3 授权、伦理与匿名化必须先于模型跑分
附件文件名注明“已脱敏”，只是来源说明，不构成匿名化或合法使用的独立证明。对这批材料的自动文本筛查未能检出常见身份信息模式，但它不能替代原始文档逐页检查、图像/OCR检查、元数据检查、稀有组合重识别风险评估、授权文件核验及伦理判断。患者级数据需建立合法来源、使用目的、授权范围、访问人员、保留期限、删除与审计规则；去标识化仍不必然等于匿名化。对外展示只公布足够的总体统计，不发布可回溯到病例的文字、截图或罕见组合。训练集与私有测试集实行分权访问，模型提交与数据访问留痕。
四、评分卡：从答对到可信、稳健、可用
下列是建议的测评框架，不是对附件病例或任何模型已经算出的分数。治理准入作为一票否决门槛：伦理/授权、脱敏、标签依据、泄漏检查和版本信息不通过，不参加榜单比较。通过准入后，分数按具体赛道的目标任务设置；可在 100 分制下设置临床任务正确性、证据可追溯性、结构化数据质量、安全与拒答、稳健性/跨域表现等模块，但具体权重应由专家、临床使用方和统计团队在测试集冻结前共同预注册，并通过敏感性分析验证，不应事后调权追求某模型领先。
| 维度 | 建议观察项 | 适用指标示例 | 主要风险 |
|---|---|---|---|
| 临床任务正确性 | 抽取、分类、趋势、分级或预设处置阈值 | 精确率/召回率、宏平均 F1、MAE、加权 κ | 总体指标掩盖少数高危漏诊 |
| 证据可追溯 | 结论能否定位到原始页、字段、检查时间和规则 | 证据定位准确率、数值/单位联合匹配率 | 答案正确但依据错误或无法审计 |
| 安全与不确定性 | 拒答、升级、警讯识别、幻觉与关键遗漏 | 严重错误率、风险覆盖曲线、校准误差 | 错误建议被平均分稀释 |
| 鲁棒与公平 | 缺失、扫描质量、设备/机构、年龄等分层 | 分层差异、置信区间、漂移指标 | 样本不足造成虚假的亚组结论 |
| 运行可复现 | 模型版本、提示词、推理参数、日期和数据哈希 | 复跑差异、环境记录完整率 | 榜单结果无法复核 |
指标要与任务匹配。字段提取报告 exact match 与字段级 precision/recall/F1；连续值报告误差和单位正确性；有序严重度用加权 κ 或等级混淆矩阵；预测任务同时给区分度、校准度、临床阈值下净获益和置信区间；开放式回答用专家制定的原子事实清单、证据支持度、关键遗漏和严重程度量表，并对自动评审器进行人工一致性验证。校准不能用“模型自报置信度”代替。预测研究应遵循 TRIPOD+AI 等透明报告建议；多机构/聚类数据还应报告机构异质性和相应分析[4]。
本次 n=12 不足以稳定估计这些总体指标。适宜的试点输出是病例级错误清单（只在授权环境内部）、任务定义缺口、标注分歧、系统性格式失败、人工复核耗时、流程中断点和评分脚本测试结果。对外不发布真实模型排名。待进入正式验证阶段，应依据预期患病率、灵敏度/特异度目标、允许的置信区间宽度、机构聚类、失访及无效检查比例做样本量论证；患者而非文件行为统计单位，区间估计优先采用能反映聚类结构的方法。
五、榜单如何避免泄漏、偏倚与虚假精度
5.1 隐藏测试集要能防住“刷榜”
若公开全部测试病例，模型可能在训练语料、提示词或人工规则中记住答案。榜单宜采用公开开发集与受控隐藏集并行：公开任务定义、字段规范、评分程序和代表性开发样本；保留经授权的私有测试集，限制提交频次，保留 API/容器调用日志、输入输出摘要、模型版本和数据哈希。模型团队需申报是否使用测试数据进行训练、调优或人工检视。重复提交造成的测试集适配，要通过新批次留出、时间漂移集和轮换隐藏题控制。
切分至少按患者去重；有足够数据后，增加按医院、设备和时间的外部测试。检查同一患者跨次就诊、报告复印件、同源模板、近重复 PDF、拷贝文本和图像重复。跨中心验证不是“在更多中心随机抽几份”，而是保留完整机构作为独立域，报告每个中心的样本构成、指标区间和失败模式。多模态任务需保证图像、报告、化验、病例结局的配对键既可靠又不会泄漏患者标识。
5.2 评测要关注临床使用后果而非模型表演
病例答题只验证离线能力；部署价值还要看模型是否减少重复录入、提高资料完整率、缩短专家复核时间，且不增加错误转诊、漏报或工作负担。进入真实工作流前，应通过静默运行、人工在环试点、前瞻性可用性评估和必要的临床研究，明确医生是否看见模型输出、何时可覆盖、异常如何升级、错误由谁复核。风险分级需覆盖低风险辅助整理和高风险分诊/诊断建议，不能以小样本离线分数替代监管、伦理或临床证据。
近期研究显示，医学影像 AI 的性能和可迁移性与队列规模、参考标准、成像场景和外部数据密切相关。DeepDKD 在视网膜影像推断糖尿病肾病研究中使用大规模开发队列并在 10 个多族群数据集验证，提供了“从单中心性能走向外部验证”的方法学范例，而非可直接移植到这 12 例上的模型结论[5]。糖尿病足 AI 的系统综述也指出，校准等指标报告不足会削弱个体风险解释和决策可靠性[6]。因此，本项目的创新点应落在测评设计、专家共识、证据链和跨域验证能力，不应包装为已验证的临床产品。
六、从 12 例流程试点到多中心评测平台
- 阶段 0｜准入与盘点：确认数据提供方授权、伦理路径、数据用途、保留期限、患者级去重方式和影像/文档可用范围；形成数据卡、缺失报告、字段字典、文件谱系和隐私风险清单。完成前不把病例上传到外部模型服务。
- 阶段 1｜12 例方法学试点：每病种由临床专家选定 1–2 个可判定、可复核的任务；双人标注和仲裁；验证标注工作台、证据引用、评分脚本、盲测流程和错误严重度标签。仅交付流程报告，不发布排名或性能估计。
- 阶段 2｜目标人群与样本量设计：与多家医院协商前瞻或回顾队列，明确纳排标准、患病谱、设备、时间窗、结局随访和数据授权。由统计团队根据主要终点的精度/置信区间和亚组需求计算样本量；不以“凑够一批文件”作为建库标准。开展中心间变量映射、单位标准化和术语对齐。
- 阶段 3｜正式榜单与隐藏验证：发布协议版本、模型提交规则、预注册指标、榜单更新时间、利益冲突与申诉机制；设置公开开发集和受控隐藏集，报告分中心与分任务结果、校准、不确定性、安全事件和适用人群。禁止把未评测的影像模态用文字任务分数代替。
- 阶段 4｜临床效用与持续监测：在实际工作流中评估时间、质量、安全和人因；上线后监测设备/人群漂移、输入质量变化和错误升级情况。每次数据、指南、模型接口或评分脚本变更都生成新版本，保留可回滚记录及历史榜单，不静默覆盖旧结果。
建议数据说明书遵循可复用的数据卡思路，写明采集时间、来源机构类别、患者与病例计数口径、纳排条件、各任务标签定义、参考标准、专家角色、缺失与偏倚、许可和访问方式、禁用场景、版本差异及已知限制。对于跨机构临床数据，国际上常见的 OMOP CDM、LOINC、SNOMED CT、ICD 等标准可作为映射参照，但要记录原始代码、映射表版本和无法映射项，不能为了“标准化”丢失原始临床语义。
七、朗慧的建设主张与业务闭环
对医院而言，专病病例包不是现成的 AI 榜单，而是启动数据产品化和评测工程的原料。对医疗 AI 团队而言，能回答“这次结果对应哪个人群、哪个任务、哪套标签、哪个版本、出了什么错”，比一个脱离应用边界的总分更能支持研发决策。朗慧的差异化主张可以建立在三条可核验的交付线上：第一，专家定义任务与临床参考标准；第二，工程团队把非结构化文书、结构化化验、时间和来源串为可追溯数据；第三，评测团队将盲测、严重度分层、外部验证和版本治理形成持续迭代的闭环。
这条业务链的价值不止是训练模型：医院可用统一的标签与质量规则开展科研、数据治理和多中心合作；模型公司可在上线前发现文档解析、单位错误、亚组性能下降和危险漏报；研究团队可获得能够复核的实验协议；患者则受益于更明确的证据链、更恰当的不确定性表达和更安全的人机协作。所有价值都需要通过具体项目指标验证，不能仅凭数据量或榜单名次推断。
因此，建议本次以“DiaComp-Bench 研究型试点”立项：先做数据卡和四病种任务目录，限定 12 例仅用于专家标注流程与评测工具验证；完成合规审查后建设多中心队列；由临床专家、统计师、算法工程师和患者安全人员共同冻结参考标准、指标与隐藏集；在外部验证和真实工作流评估后，再决定是否公开排行榜及其适用边界。这既尊重当前附件证据，也为后续形成高质量、可复现、有临床价值的糖尿病并发症 AI 评测体系留出清晰路线。
参考文献
- [1] American Diabetes Association Professional Practice Committee. 11. Chronic Kidney Disease and Risk Management: Standards of Care in Diabetes—2026. Diabetes Care. 2026;49(Suppl 1):S246–S260. DOI: 10.2337/dc26-S011.
- [2] Tang Z, Wang L, Guo Z, et al. A multimodal retinal image dataset for diabetic retinopathy detection using foundation models. Scientific Data. 2026;13:639. DOI: 10.1038/s41597-026-07005-9.
- [3] Can Multimodal Large Language Models Diagnose Diabetic Retinopathy from Fundus Photos? A Quantitative Evaluation. Ophthalmology Science. 2026;6(1):100911. DOI: 10.1016/j.xops.2025.100911.
- [4] Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024;385:e078378. DOI: 10.1136/bmj-2023-078378.
- [5] Meng et al. Non-invasive biopsy diagnosis of diabetic kidney disease via deep learning applied to retinal images: a population-based study. The Lancet Digital Health. 2025. DOI: 10.1016/j.landig.2025.02.008.
- [6] Diabetic Foot Ulcer Classification Models Using Artificial Intelligence and Machine Learning Techniques: Systematic Review. Journal of Medical Internet Research. 2025;27:e69408. DOI: 10.2196/69408.
- [7] American Diabetes Association Professional Practice Committee. 12. Retinopathy, Neuropathy, and Foot Care: Standards of Care in Diabetes—2026. Diabetes Care. 2026;49(Suppl 1):S261–S276. DOI: 10.2337/dc26-S012.
方法学说明：本文对附件的描述仅限于文件级结构盘点；未展示或复现患者级病历内容。自动脱敏筛查不构成隐私合规认证，附件数据也不构成公开训练集或经临床验证的模型排行榜。临床定义与使用须由具备资质的医疗专业人员结合适用指南、完整病史和当地规范判断。
