精神科病历中的暴力攻击、自伤自杀风险评估、护理措施、用药医嘱与病程记录，构成了一个比“模型能否识别关键词”复杂得多的评测问题。真正可用的 Benchmark，必须检验模型何时识别信息、依据什么判断、是否知道不确定，以及能否把高风险情况交给临床人员。
本文基于《精神科病历数据需求文件》所描述的业务需求进行方法学分析，并结合公开研究提出数据建设与评测建议。附件中的规格、样例和采购安排不代表朗慧已持有相应数据、已完成该规模交付或已验证模型性能；文中不披露患者级信息。
关键词命中不是风险识别
在病历中找到“风险”“自伤”或“攻击”等字样，只能证明模型识别到某些字符串，不能证明它理解了临床语境。相同关键词可能出现在既往史、否认记录、家属转述、风险筛查、医生计划或出院总结里；它们的主体、时间、肯定与否定含义都不同。若训练和评测只把文书分类为“高风险/低风险”，很可能鼓励模型依赖词频或固定模板，而不是整合条目、时间、背景和后续处置。
附件把两类专科风险评估表单独列出，并分别保留风险因素或分值、护理和处置措施；同时也要求与患者、就诊和文书编号建立联系。这种结构让评测可以从“出现了什么文字”进一步追问“在某个时间点，依据有哪些、采取了什么措施、后续记录发生了什么变化”。但附件只描述结构与质量要求，并没有提供事件发生率、风险预测效果或临床结局，因此公开文章不能把它写成已验证的风险预测模型。
先定义评测对象和决策时点
风险评测的第一步不是挑模型，而是把临床问题拆成可复核的任务。比如任务可能是从记录中抽取已经完成的评估，识别缺失的关键项目，按既定规则整理分级证据，或者协助医生回顾风险变化。每一项要明确目标用户、允许的输入、输出格式、时间窗口和行动边界。是否涉及自动干预、是否只给专业人员使用、何时必须升级至人工，必须在任务设计时说清楚。
时间点的设定尤为关键。设想模型要利用入院后某一评估时点之前的信息辅助整理，它就不能读到之后的护理措施、病程变化或最终出院记录。评测数据应为每道题保存“可见信息截止时间”，只把该时点可获得的记录提供给模型；后续记录只用于独立判定和结果观察。否则，模型可能从后见之明中读出所谓风险答案，分数很高，实际实时使用时却无法重现。
参考标准应体现临床判断的不确定性
临床风险并非一个绝对、瞬时且永远不变的标签。风险程度会随情境与时间变化；记录内容也可能不完整，量表分数与医生综合评估之间可能存在差异。可靠的评测协议应把证据来源分层：量表原始条目、临床文书、照护流程记录、复核专家意见和可观察结局分别记录，不要把其中任何一个来源错误地包装成无争议真相。对分歧，说明是否源自时间差、量表口径或记录质量，并保留仲裁结果与原始观点。
专家评审可以分为两类。第一类是事实核验：模型有没有准确读出原记录、是否误判否定词、把谁的陈述当作患者事实、有没有错误合并不同时间的记录。第二类是临床安全评价：输出是否遗漏需要关注的证据，是否把风险级别说得过于肯定，是否提出超出角色边界的处置建议。前一类可制定结构化错误码，后一类应由具备相应精神科经验的专家盲评，明确评分量表和仲裁流程。
从识别到响应，设计分层测试矩阵
建议把精神科安全 Benchmark 拆成六层。第一层是记录定位：找到评估时间、条目、得分和对应文书。第二层是语义抽取：处理否定、历史、疑似、转述和未评估。第三层是时间推理：区分当前与既往，按顺序整理风险变化。第四层是证据整合：说明判断依据来自哪些字段，不允许无依据推断。第五层是安全响应：当信息冲突或不足时澄清、保持谨慎并转交专业人员。第六层是工作流行为：通知是否送到正确角色、是否重复报警、是否留痕以及失败时是否能降级。
每层都要有常见样本、困难样本与对抗样本。困难样本可包括缩写、模板内容、表格与正文不一致、量表缺项、记录时间和事件时间不一致、患者否认而旁证另有表述等；对抗样本不是故意制造超自然的罕见情景，而是针对已知失效点设计。样本难度由专家定义，不能只因模型做错就事后改标签。红队测试要审查它是否会忽略风险、把低置信度说成确定、生成未见于病历的细节，或给出有害而不适当的行动指令。
评测指标不能让平均准确率掩盖漏项
模型提取量表项目，可报告字段级精确率、召回率、F1 和严格匹配率；涉及等级判断时，除准确率外，应报告各等级混淆矩阵、宏平均指标和分层召回率。对于重要安全类别，还应呈现敏感度、特异度、阳性预测值和阴性预测值，并随实际患病率与阈值解释。罕见事件导致的类别失衡会让总体准确率看起来很高，因此不能用准确率单指标排名。
若输出风险概率，需要评估校准曲线、Brier 分数或其他适合任务的概率指标；如果模型分级对应具体行动，则需报告不同阈值下的工作量、漏报代价和预期净获益。决策曲线或临床效用分析并不能代替前瞻性流程研究，但有助于揭示“模型分数变高”是否真的让合理的工作策略更可行。所有指标应带置信区间，并按诊断、年龄、性别、文书质量、医院来源和随访完整度分层；样本过小时要明确显示，不要用宽泛结论覆盖未知区域。
拒答、澄清与人工升级必须算成绩
在高风险场景，模型的目标不是对每份病历都给出一个肯定答案。信息不足、字段相互矛盾、量表不完整、患者状态超出适用人群或输入质量较差时，恰当行为可能是提示缺少哪些信息、表达不确定、请临床人员复核。应把“安全拒答率”“该拒答却作答的比例”“该作答却拒答的比例”“升级到人工的适当性”纳入基准，并同时测量过度警报带来的工作负担。
一项模型即使在回顾性数据上表现良好，也不能未经验证就部署为自主风险判定或治疗系统。更合理的路线是先做离线回顾性验证，再开展不影响照护决策的静默前瞻研究，随后评估与专业人员协作时的工作流效果。每一步都应设独立的安全委员会或临床治理责任人，制定停用触发条件、投诉处理、版本更新与复核方案。评测的目的在于找出边界与风险，不是以某个排行榜分数取代临床责任。
把日常数据治理变成 Benchmark 的防火墙
附件提出对患者姓名、证件号、联系方式、住址、检查号以及可定位机构与人员的信息进行删除或匿名化，并要求对数据授权。对于精神科信息，仅仅移除显性身份字段并不代表完全不可识别；罕见经历、精细时间、特殊机构线索与长文本组合也可能构成再识别线索。因此应先由数据控制方确认使用依据和伦理路径，再执行最小化处理、间接标识检查、访问控制、环境隔离、导出审批和日志审计。公开论文或宣传图不应呈现能够反推出个体的原始文字。
Benchmark 测试集的治理也需要独立设计：测试材料不能被训练人员直接取得；提交接口应限制调用频率，避免通过反复试探泄露答案；评分报告应提供聚合结果而不是暴露病例级信息。训练、调优、公开样例和隐藏测试要分开管理，版本变更需记入登记表。重复病历或近似文本可能使测试答案被模型记住，因此对患者、就诊、文档、时间和内容指纹进行多层查重是必要的，尤其要检查模板复制和批量导出造成的“伪独立样本”。
以压力测试结果驱动专家和算法迭代
一个专业榜单不应只有“第一名到第十名”，而应呈现模型在哪类任务强、在哪类问题容易失效、用了什么版本、基准数据覆盖哪些人群和机构、测试是否独立、样本不确定性有多大。精神科模型的评估图谱可以按记录抽取、纵向理解、风险证据归纳、管理规划、沟通安全和人机协作分面展示。主榜可以同时呈现模型总体能力与关键安全闸门；未达到预先定义安全门槛的模型，不宜因其他任务得分高而进入同一等级。
朗慧的差异化可以体现在“专家审定—数据治理—基准开发—模型对比—错误回流”闭环。先由精神科医师与护理专家共同定义任务和参考标准，再由数据工程师构造患者级时间轴，算法团队负责模型中立的评测接口和分层指标，质量负责人复核错误案例并推动下一版协议。每轮更新都记录模型快照、提示词、工具、检索资料、解码设置和评测时间，使跨版本的比较不因运行条件变化失去意义。
公平性与稳定性要从队列构成中检查
风险工具最容易被误用的方式，是把总体平均表现直接推广到所有人群。不同年龄、性别、诊断组合、住院场景和医疗记录习惯可能带来不同的观察过程，某些群体还可能因为就医可及性或评估流程差异而被记录得更少。评测集需要提供纳入与排除流程、各亚组样本量、缺失率和风险事件数量，并将模型阈值、数据版本和评测程序固定后再作比较。若重要人群的样本很少，应明确说“尚无法评估”，而不是将不确定性隐藏在一个总分里。
稳定性测试还要检验模型面对同一临床信息的表达变化是否保持可靠。格式变动、缩写、拼写错误、不同医院的词表、矛盾字段和信息缺失都可能触发不稳定输出。可以在不改变临床事实的前提下，构造受控的扰动样本，检查字段提取和证据引用是否受表述影响；但这类合成扰动只能作为压力测试，不能代替真实世界数据上的独立验证。评测报告应区分真实样本和人为构造样本，并公开其生成与审核方法。
安全验证需要分阶段而非一次性发布
从研究到临床工作流之间，需要经过有明确责任人的阶段验证。离线回顾性评估可先检查模型能否从既有记录中正确识别字段与证据；静默前瞻阶段观察模型在真实连续数据上会如何表现，但不让输出影响照护决定；之后才考虑有专业人员复核的人机协作试点，评估漏项、人工负担、响应时间、可用性以及是否产生新的安全风险。每阶段都要预先规定退出条件、严重错误判定、事件上报渠道和版本回退方式。
任何模型更新都可能改变高风险任务的表现。更换基础模型、提示词、检索库、系统规则、预处理器或输出格式，都应视为系统版本变化，并用代表性挑战集做回归测试。上线后的监测不能只看请求量和可用性，还应在合规授权条件下持续记录经过审核的错误类型、拒答与升级适当性、不同人群表现和流程耗时。监测数据也不能未经重新授权就自动转成训练数据。把性能监测与数据治理分开、再通过审批流程连接，才能避免“持续学习”成为无边界地复用敏感信息。
榜单发布必须给出能被复核的“评测说明书”
如果希望评测结果被临床机构、研发团队和采购方共同使用，榜单发布前就要确定透明的评测说明书。它至少说明数据来源类别和适用边界、专家参考标准的形成方式、患者级去重策略、训练污染检查、任务时间点、模型版本、提示与工具设置、评分代码版本、专家盲评方式以及统计不确定性。对外发布的排行榜可以只披露聚合统计，但完整协议应交由合规审查者或独立复核团队检查；病例级原始材料不必公开，也不应因“可复现”而突破授权约束。
总分也应谨慎使用。一个模型在记录抽取和格式整理方面表现优秀，并不能抵消它在高风险情境中漏掉关键信息的缺陷。可以按任务设置分面榜单，并对高风险安全门槛设置单独判定；通过安全门槛、具备适用任务的证据，和达到某一榜单排名，是三种不同结论。报告中应公开权重敏感性分析，解释排名变化来自哪些任务。评测机构还应声明潜在利益关系、资助来源和模型提交规则，确保朗慧的服务方角色不会被误解为对特定模型的临床背书。
安全分面也要区分错误的严重程度。普通的格式偏差、次要信息漏提、核心风险证据错读、对患者状态作无依据推断、忽视需要升级的情景，临床影响不同。专家组可以在不暴露个体资料的条件下，先制定严重度量表和触发条件，再对代表性模型输出双人盲审。若出现严重错误，不能被其他低风险项目的正确率平均抵消；应在结果页单独披露严重事件数、出现比例、评审共识及未解决分歧。这样的评分结构使医院能够快速识别需要复核的风险，也给研发团队指明下一轮数据和系统修正方向。
研究进展提示：精神科评测要超越知识题
2026年的 PsychiatryBench 将精神科评测拓展至诊断推理、治疗计划、纵向随访和管理等多个任务，并报告多轮随访和管理中的一致性、安全仍有改进空间。真实世界住院风险模型研究也显示，精神科病程记录与人口学、检验、治疗和心理量表结合，可能帮助建模常见风险，但具体效果取决于队列、标签与研究设计。另一项基于标准化情景的比较研究观察到不同生成模型在风险分层和建议方面存在差异；标准化情景有助于控制变量，却不能替代真实临床效度证据。以上研究共同支持把任务边界、专家复核、时间窗口和安全行为作为评测要素，而不是证明某个模型可以替代临床人员。
