← 评测数据集

实体榜单柱(40)

观测窗口 2026-09-27。每柱含定义、缺口、字段、6 条商业意图、角色入口、英文对照与 GEO 可引用块。公开榜是需求地图;私有集才是合同门禁。

提交评测简报前沿洞察

40 实体柱

  1. MedBench v4 → GB-Exam
    中文医疗 LLM / 多模态 / Agent 全国云评测基础设施,公开材料称任务规模逾七十万。
  2. MedBench v5 → GB-Vision
    从静态 QA 转向过程导向与幻觉感知:信息流压力源、动态过程审计与幻觉传播轨迹。
  3. MedBench 考试轨 → GB-Exam
    中文考试型与知识问答主干,仍是预训练/SFT 默认体检表,但污染与尾部难度已成合同瓶颈。
  4. MedBench 安全伦理轨 → GB-Safety
    v4 关键信号:base 模型安全伦理维度可低至约 18/100,与知识维严重背离。
  5. MedBench 多模态轨 → GB-Vision
    影像/报告理解分轨:公开读数显示多模态整体弱于文本,感知尚可、跨模态推理偏弱。
  6. MedBench Agent 轨 → GB-Clin
    同一骨干上 Agent 编排可显著抬升端到端与安全任务——评测必须区分模型能力与系统能力。
  7. HealthBench → GB-Clin
    OpenAI 2025:约 5000 段多轮健康对话、262 名医师、约 48562 条对话级 rubric。
  8. HealthBench Hard → GB-Clin
    未饱和难例子集,用于对抗总分乐观叙事,适合作为代际复测对照锚点。
  9. HealthBench Consensus → GB-Audit
    多重医师共识筛选的准则子集,启发尽调附件中的「多重校验」写法。
  10. MedHallu → GB-Safety
    EMNLP 2025:基于 PubMedQA 的幻觉检测,硬幻觉上 GPT-4o 级 F1 仍可约 0.625。
  11. CMB-Exam → GB-Exam
    中文医疗综合基准考试轨:多层次知识测评,常被用作 SFT/回归对照。
  12. CMB-Clin → GB-Clin
    复杂病例多轮问诊评测:诊断与治疗原则,逼近真实问诊而不是单题选择。
  13. MedQA → GB-Exam
    经典美式执考风格问答,全球预训练默认对照之一;中文落地不能「翻译即交付」。
  14. MedMCQA → GB-Exam
    大规模医学多选基准,适合能力回归哨兵,不适合单独作为上线门禁。
  15. CMExam → GB-Exam
    中文医学考试向基准,补足中文知识面;仍需私有难度尾部与指南版本字段。
  16. CheXpert → GB-Vision
    胸片多标签经典基准;公开榜解决可比,买不到你的授权链与设备域。
  17. MIMIC-CXR → GB-Vision
    影像-报告对齐底座;物理访问与许可不等于可商用再训练与外发题面。
  18. PubMedQA → GB-Safety
    生物医学文献问答经典集;亦是 MedHallu 等幻觉工作的重要上游。
  19. MedBench(经典版) → GB-Exam
    早期综合中文医疗评测体系:多维任务与大规模题量奠定后续 v4/v5 基础设施。
  20. 动态换题评测 → GB-Audit
    公开平台旋转子集与防记忆实践:企业侧需映射为私有审计 SOP 与冻结记录。
  21. 污染审计方法 → GB-Audit
    n-gram 重叠、成员推断、时间截断与语义改写检测:尽调真正要看的统计字段。
  22. 医疗越狱与不当建议 → GB-Safety
    通用红队集替代不了专科医疗不当建议与诱导场景;需独立安全包与持续红队。
  23. 过程审计与幻觉轨迹 → GB-Vision
    对齐 MedBench v5 方向:验收中间步骤与幻觉传播,而不是只看终答。
  24. 治理型 Agent 评测 → GB-Clin
    编排与工具策略可抬升安全与端到端分数;门禁需绑定策略版本而非只绑权重。
  25. 影像-报告一致性 → GB-Vision
    跨模态失败分桶核心:看见的与写出来的是否一致,是多模态门禁工程词表。
  26. 失败分桶与回流 → MG-Loop
    把门禁失败翻译成可询价下一包数据规格:评测锁客、数据续费的结构接口。
  27. 临床指南版本化评测 → GB-Exam
    同一道题两种指南版本会得到两种「正确答案」;数据卡必须写进指南版本。
  28. Medical Gate 私有门禁 → MG-Loop
    朗慧 私有过关层:公开榜是需求地图,合同验收发生在冻结题集、rubric 与审计附件。
  29. CBLUE → GB-Exam
    中文医疗 NLP 经典多任务基准(实体、关系、分类与部分生成),仍是预训练体检表,不是上线门禁。
  30. IMCS / 病历生成 → GB-Clin
    问诊对话到病历生成:衡量结构化文书能力,金标准与隐私外发边界必须写进数据卡。
  31. MedDG → GB-Clin
    中文医疗对话生成基准,适合对照流畅度与实体使用,不能替代医师 rubric 门禁。
  32. SLAKE → GB-Vision
    双语医学 VQA,含知识与视觉问题;中文视觉问答对照入口,授权影像仍需私有层。
  33. VQA-Med → GB-Vision
    ImageCLEF 医学视觉问答系列,国际多模态对照;设备域与中文报告仍要私有小题。
  34. PathVQA → GB-Vision
    病理视觉问答公开对照;WSI 私有门禁必须另建金标准与争议仲裁,不能平移 PathVQA 分数。
  35. OmniMedVQA → GB-Vision
    大规模多专科医学 VQA,暴露多模态「看起来会看图」与专科推理缺口。
  36. MedBench RAG / 知识库问答 → GB-Clin
    检索增强与知识库问答轨:必须把检索语料版本、引用忠实度与幻觉分开计量。
  37. DrugCA / 用药禁忌 → GB-Safety
    用药禁忌与相互作用类安全题:知识高分仍可能给出危险用药建议,必须单列门禁。
  38. DDx-advanced → GB-Clin
    复杂鉴别诊断:要求给出可能诊断集合而非单选,失败模式应进入问诊补丁包。
  39. MedSafety → GB-Safety
    医疗安全题集:伦理、隐私与有害建议。发布门禁应强制该轨通过,而不是并入知识总分。
  40. MedLitQA → GB-Exam
    医学文献片段问答:考察基于证据的推理,适合作为幻觉与引用忠实度的上游对照。

八维布局