¿Cómo seleccionar científicamente talentos para datos de casos complejos? Construya colas auditables a partir de revisiones de diagnóstico, consultas e inconsistencias de patología.

Primero aclaremos a qué tarea “compleja” se refiere es complicada

Los casos complejos son comunes en la comunicación médica, pero deben concretarse en conjuntos de datos de aprendizaje automático. Para la clasificación de imágenes, la dificultad puede ser pequeñas lesiones, signos vagos o la coexistencia de múltiples enfermedades; para el razonamiento diagnóstico, la dificultad puede ser múltiples diagnósticos diferenciales, evolución del curso de la enfermedad y pruebas inconsistentes; para predecir la ruta de tratamiento, la dificultad puede ser las comorbilidades, la atención interdisciplinaria o las diferencias en la respuesta al tratamiento. Las estancias hospitalarias prolongadas, los diagnósticos múltiples y las consultas múltiples son sólo indicadores aproximados y no pueden reemplazar la definición de dificultad clínica de la tarea en sí.

Si las tareas objetivo no se definen primero, el muestreo basado en la "complejidad" puede crear fácilmente confusión conceptual: algunos casos son complejos debido a enfermedades graves, algunos son complejos debido a una gran cantidad de documentos y algunos son simplemente sistemas de información con alta integridad. Los modelos entrenados pueden aprender a predecir el flujo de trabajo hospitalario, la longitud de los documentos o los patrones de transferencia en lugar de centrarse en los fenotipos de las enfermedades. El primer paso debe ser formar un marco de complejidad de casos que enumere las tareas objetivo, los puntos de decisión clínica, las entradas disponibles, las etiquetas de salida, las poblaciones aplicables y los escenarios de falla que se espera cubrir. El archivo adjunto de

propone construir archivos de alta dificultad utilizando campos como revisión de diagnóstico, número de departamentos de consulta, duración de la estancia, UCI/CCU, historial de visitas, número de diagnósticos de alta, notificación de enfermedades críticas y resultados de no curación, y prefiere casos quirúrgicos en los que el diagnóstico preoperatorio y la patología postoperatoria son inconsistentes. Estos indicadores son adecuados como pistas de muestreo calculables y tienen la ventaja de ser auditables y rastreables; sin embargo, son sólo agentes de detección en las especificaciones del proyecto y no son una escala de gravedad de enfermedad reconocida, ni se puede inferir que los casos seleccionados representen "todos los casos complejos del mundo real".

Por lo tanto, los “casos complejos” se pueden dividir en varias dimensiones: incertidumbre clínica, duración de la enfermedad, carga de comorbilidad, participación multidisciplinaria, intensidad del tratamiento, diferencias en la interpretación patológica o de imágenes, integridad de los datos y cambios en los resultados. Cada dimensión se registra por separado, lo que permite a los pacientes tener una puntuación alta en algunas dimensiones y baja en otras. Una estratificación integral puede ayudar al muestreo, pero no debería sobrescribir los indicadores originales. Los estudios modelo también pueden informar resultados por dimensión para evitar una puntuación general que enmascare la heterogeneidad de los casos complejos.

Definir indicadores de filtrado como variables revisables

Cada variable de detección requiere una definición operativa. Número de revisiones de diagnóstico: Contar las revisiones o diagnósticos complementarios en qué tipos de documentos, contar por paciente o visita y cómo eliminar duplicados de emisiones repetidas. Número de departamentos de consulta: según la solicitud de consulta formal, el registro de consulta o el departamento autor del documento, si los departamentos transferidos se cuentan dos veces. Duración de la hospitalización: utilizar días naturales, horas o diferencia en las fechas de ingreso y alta, y cómo manejar los traslados entre hospitales. Número de visitas médicas históricas: limite la ventana de tiempo y el rango de sistemas anteriores que pueden asociarse para evitar errores de juicio de que sin datos históricos no hay visitas médicas anteriores.

La admisión a UCI/CCU debe definir claramente el registro real de la cama, el tiempo de entrada y salida y la observación a corto plazo; la notificación de enfermedad grave o crítica debe distinguir entre documentos de notificación formal y descripciones del curso de la enfermedad; el número de diagnóstico de alta debe indicar si incluye síntomas, complicaciones y codificación repetida; el resultado del alta de "no curado" debe aclarar las reglas originales de enumeración y mapeo. Los valores de las variables deben estar vinculados a los campos fuente o HIS y registrar el tiempo de extracción, la versión de la regla, los verificadores y el manejo de excepciones. De esta manera, los revisores independientes pueden recalcular los resultados de la evaluación.

Para cada umbral, se recomienda guardar tres o varios estados: satisfecho, no satisfecho e incapaz de determinar; y también registre los motivos por los que faltan fuentes de datos, no están disponibles, períodos de tiempo incompletos o reconocimiento fallido de documentos."No se encontraron registros de la UCI" no se puede equiparar con "el paciente no tuvo experiencia en la UCI" a menos que la cobertura de la fuente de datos sea completa. Para los casos cercanos al umbral, la revisión manual puede evitar clasificaciones erróneas debido a la precisión de la fecha, documentación duplicada o errores de codificación. El propio umbral debe congelarse antes del muestreo; Si se ajusta a mitad de camino, se mantendrá la versión y el impacto de cada cambio de regla en el número de colas.

Del muestreo difícil a las cohortes representativas: dos objetivos no se pueden confundir

Enriquecer ejemplos concretos tiene un valor claro: mejorar la cobertura del entrenamiento del modelo cuando se enfrentan casos extremos, descubrir errores que no se ven en conjuntos de datos regulares y evaluar la solidez ante subpoblaciones raras o contradicciones intermodales. Sin embargo, las cohortes de alta dificultad y las poblaciones de despliegue objetivo a menudo tienen diferentes espectros de casos. Si el conjunto de pruebas tiene demasiadas UCI, casos de morbilidad múltiple o cirugía compleja, es posible que el rendimiento general no sea representativo del uso clínico ordinario; Si el conjunto de entrenamiento está demasiado enriquecido, las probabilidades y los umbrales del modelo pueden no ser adecuados para la prevalencia real.

Se deben distinguir al menos tres colas. La primera es la cola representativa, que se utiliza para estimar el rendimiento general del escenario objetivo; la segunda es la cola de desafíos, que cubre específicamente situaciones complejas, poco comunes o de alto riesgo; y la tercera es la cola de desarrollo, que se utiliza para entrenamiento o ajuste de parámetros de algoritmo. Pueden compartir algunas definiciones, pero difieren en su propósito, proporciones de muestreo y métodos de presentación de informes. Pasar resultados en conjuntos de desafíos no puede reemplazar la validación representativa; Las métricas promedio representativas no pueden enmascarar fallas en subgrupos difíciles.

Para estimar el rendimiento general de la población desplegada a partir de muestras enriquecidas, es necesario comprender la probabilidad de muestreo, la distribución de la población objetivo y considerar la ponderación o la recalibración; pero esto depende de un mecanismo de muestreo razonable y de suficiente información sobre la población objetivo. No podemos simplemente usar “20% para el nivel de dificultad alto y 80% para el nivel normal” para inferir la tasa de ocurrencia natural. Si la estratificación 200/800 en el anexo es sólo una proporción de adquisiciones, es un requisito del componente de entrega, no una estimación clínica epidemiológica. Los informes de investigación deben distinguir claramente el diseño de la muestra de la población objetivo.

Para el modelo, la representatividad de muestras difíciles no solo se refleja en los indicadores de condición, sino también en el sitio, equipo, edad, género, idioma, método de derivación, calidad del documento y modalidades disponibles. Si los casos complejos provienen sólo de unos pocos hospitales grandes, un determinado departamento o una instalación específica, el modelo puede tratar las características institucionales como dificultades. El muestreo estratificado por centro y departamento, seguido de una inspección de la distribución para cada dimensión, puede ayudar a detectar esos sesgos.

La patología y el diagnóstico preoperatorio son inconsistentes: retener las diferencias es más valioso que forzar la unificación

La diferencia entre el diagnóstico de trabajo preoperatorio y el diagnóstico patológico posoperatorio es información importante en el proceso de diagnóstico clínico. Puede deberse a hallazgos imagenológicos atípicos, rango de muestreo limitado, heterogeneidad de la lesión, hallazgos intraoperatorios, revisión patológica o cambios en las versiones estándar de diagnóstico. La diferencia no significa automáticamente que el juicio preoperatorio fuera incorrecto, ni tampoco significa automáticamente que la patología deba ser el estándar de oro perfecto. Para los datos de entrenamiento, cubrir directamente el diagnóstico preoperatorio con conclusiones patológicas hará que se le pida incorrectamente al modelo que responda la "respuesta final conocida", mientras que la tarea real puede ser realizar una estimación del riesgo basada en evidencia limitada antes de la cirugía.

En el modelo de datos se debe conservar la fuente y el momento del diagnóstico: impresión de imagen preoperatoria, diagnóstico clínico de trabajo, hallazgos intraoperatorios, patología inicial, suplemento de inmunohistoquímica, revisión de expertos, diagnóstico final y sus respectivas evidencias. Se pueden establecer etiquetas de tipo diferencial, como cambios en las categorías diagnósticas, cambios de estadio, cambios en los juicios benignos y malignos, ubicaciones de lesiones no coincidentes, muestreo insuficiente o incertidumbre; Las etiquetas se confirman mediante un proceso de revisión médica calificada y conservan la coherencia y el estado de disputa. La etiqueta del modelo depende del problema objetivo y no se debe utilizar un resultado final para todas las tareas.

Cuando la muestra utiliza “inconsistencia preoperatoria y postoperatoria” como condición de selección prioritaria, es necesario comprobar si esta condición aumenta el sesgo de selección. Las personas que se someten a una cirugía y reciben resultados patológicos suelen ser diferentes de aquellas que no se someten a cirugía; la ubicación de la lesión, el riesgo del paciente, la capacidad del hospital y la toma de decisiones del médico influyen en la posibilidad de operar. Si el objetivo de la investigación son los modelos de imágenes preoperatorias, el estudio de casos únicamente con patología quirúrgica puede generar un sesgo de validación. Dichas muestras se pueden utilizar como un subconjunto de desafío especializado y se puede crear un conjunto de validación separado más cercano a la población de usuarios objetivo, lo que indica que la etiqueta de patología solo cubre un grupo de pacientes específico.

Cómo la incertidumbre de las etiquetas y la revisión de expertos entran en el diseño de datos

La complejidad de los casos a menudo significa que las etiquetas mismas son más inciertas. Diferentes médicos pueden tener opiniones diferentes sobre el estadio de la enfermedad, los límites de la lesión, la gravedad o la categoría diagnóstica; una conclusión patológica también puede modificarse después de una tinción adicional. Un único fichero de etiqueta esconde esta incertidumbre. Para los objetivos clave, se recomienda conservar las anotaciones iniciales, las anotaciones de revisión, las conclusiones del veredicto, los motivos y las pruebas correspondientes. Si es necesario, conserve el criterio independiente y la confianza de varios anotadores en lugar de guardar solo un valor final.

El control de calidad de la anotación médica puede utilizar un muestreo estratificado: los casos básicos se utilizan para controlar la coherencia de la rutina; los casos complejos aumentan la proporción de anotaciones independientes realizadas por dos personas; los casos divergentes se entregan a expertos de alto nivel para que los resuelvan; Se utilizan pruebas aleatorias ciegas para evaluar la repetibilidad y la posible deriva. El indicador no sólo debe ser la tasa de acuerdo general, sino también analizar el desequilibrio de categorías, las categorías límite y los diferentes departamentos por separado. Se pueden complementar estadísticas como la kappa de Cohen y el alfa de Krippendorff, pero las estadísticas consistentes no prueban validez clínica; deben revisarse junto con las definiciones clínicas y las fuentes de evidencia.

También se deben distinguir los roles de auditoría. Los anotadores son responsables de extraer o interpretar según las especificaciones; los revisores verifican las aplicaciones de definición y la evidencia fuente; los jueces resuelven disputas; y los líderes de gobernanza de datos confirman los permisos y los límites de uso. Cada rol debe tener calificaciones, alcance de tareas y un registro de cambios. Para etiquetas de texto libre, se debe guardar la asignación entre fragmentos de texto originales y etiquetas estructuradas; para anotaciones de imágenes o patologías, las herramientas de anotación, las coordenadas, las versiones, los campos de visión o los identificadores de corte deben conservarse para su revisión.

Cómo evaluar modelos de casos complejos sin dejarse engañar por un solo AUROC

La evaluación de cola compleja no puede informar solo un AUROC. Si los casos positivos son raros, el AUPRC, la sensibilidad bajo umbrales clínicos fijos y el valor predictivo positivo pueden ser más directos; si el modelo genera probabilidad de riesgo, es necesario observar la intercepción de calibración, la pendiente de calibración, la calibración de grupo y el desempeño cerca del umbral clínico; si se trata de una tarea de múltiples clases o múltiples etiquetas, también se deben informar los indicadores a nivel de categoría y las matrices de confusión. A los resultados se les deben dar intervalos de confianza y explicar cómo se manejan los exámenes duplicados o agrupados a nivel de paciente.

El rendimiento promedio general debe presentarse simultáneamente con los resultados escalonados. Se puede analizar por dimensión de complejidad, departamento, sitio, integridad modal, rango de edad, sexo, año de datos y tipo de dispositivo. Informe el tamaño de la muestra, el número de positivos, la tasa de faltantes y la incertidumbre para cada subgrupo para evitar sacar conclusiones sólidas a partir de muestras muy pequeñas. La validación externa también debería evaluar las diferencias en los procesos de etiquetado y los procesos de recopilación de datos; cuando el rendimiento se degrada, distinga entre cambios en el espectro de casos, deriva de datos, cambios en la definición de etiquetas y generalización insuficiente del modelo. La explicación del modelo

no debe basarse únicamente en mapas de calor de atención o clasificaciones de importancia. Para las muestras de desafío, se debe realizar un seguimiento de los casos de error: ¿El modelo utilizó diagnósticos después del momento de predicción?¿Tratar el texto del hospital o del dispositivo como un atajo?¿La imagen se centra en áreas relevantes para la tarea?¿Se cita evidencia sobre el curso de la enfermedad que contradice la conclusión? Estos problemas deben ser revisados ​​por ingenieros y expertos clínicos, y los tipos de fallas se convierten en la siguiente ronda de datos y elementos de mejora de la evaluación.

Convierta las especificaciones de adquisiciones en un plan de cola científico Los indicadores adjuntos a

se pueden convertir en una "tabla retrato de complejidad auditable": identificación del paciente, alcance de la consulta, valores originales de cada indicador, base de cálculo, si se alcanza el umbral, motivos por los que no se determinó, ubicación de la evidencia y estratificación final. Durante la verificación de aceptación, la tabla de indicadores y el texto original del registro médico se verifican aleatoriamente no solo para verificar si las estadísticas cumplen las condiciones, sino también para verificar si el texto original respalda los resultados, si las ventanas estadísticas son consistentes y si hay cálculos repetidos. La distribución de casos por departamento y modalidad debe compararse con los escenarios de aplicación de destino al mismo tiempo.

Una secuencia de diseño más estable es: primero definir las tareas clínicas y las poblaciones objetivo; luego determinar dimensiones de complejidad y variables operativas; congelar las reglas y verificarlas en una pequeña muestra; evaluar los sitios, departamentos, modalidades y distribución de la población seleccionados; separar cohortes representativas y cohortes de desafío; luego realizar capacitación/validación/segmentación de pruebas a nivel de paciente; y finalmente realizar una evaluación externa independiente y un informe por niveles. Cada paso debe dejar una versión reproducible. La selección del umbral no sólo debe considerar la disponibilidad de datos, sino también garantizar que sean consistentes con la pregunta científica.

Langhui puede ayudar a establecer mapeo de campos de datos médicos, reglas de detección, especificaciones de etiquetado médico, procesos de revisión y pruebas ciegas, tarjetas de datos y marcos de evaluación de modelos dentro del alcance de la autorización del proyecto. La escala específica, los tipos de enfermedades, las instituciones, la asignación de expertos y los indicadores de aceptación están sujetos al contrato y al plan de implementación confirmados por ambas partes. El verdadero valor de los casos complejos no es escribir "dificultad" como etiqueta de marketing, sino hacerla observable, revisable y mejorable para qué grupos y bajo qué condiciones de información el modelo es confiable o no confiable.

La cohorte de casos también examina la diferencia entre “casos visibles” y “población objetivo”. Los registros médicos de un solo centro a menudo solo registran eventos que ocurrieron en el hospital, y es posible que los diagnósticos, los medicamentos anteriores y los resultados extrahospitalarios no sean visibles; los pacientes difíciles tienen más probabilidades de ser trasladados a hospitales de nivel superior. Si el objetivo de la investigación es ayudar a la toma de decisiones en un determinado tipo de hospital, la población objetivo debe limitarse a ese escenario; si se pretende que sea aplicable a una población más amplia, debe abarcar todos los centros y explicar el mecanismo de derivación. El alcance de las fuentes de datos determina las preguntas que el modelo puede responder. La integridad de los registros no puede confundirse con la integridad de los datos de salud del paciente.

Las métricas de complejidad pueden estar altamente correlacionadas entre sí. La gravedad, la duración de la estancia hospitalaria, la consulta y los diagnósticos de alta pueden estar determinados por el mismo proceso de enfermedad o proceso hospitalario, y agregarlos directamente dará como resultado una doble ponderación. Primero se puede informar la distribución marginal, la correlación y el patrón de coocurrencia de cada indicador, y luego se puede formar una estrategia estratificada basada en opiniones de expertos clínicos y análisis estadísticos. El análisis de sensibilidad del umbral también es importante: ¿cambia significativamente la composición de la cohorte después de ajustar ligeramente el umbral de duración de la estancia? Si el cambio es grande, significa que la estratificación depende del umbral, y esto debe indicarse al informar.

Para reducir el sesgo de selección, se recomienda conservar el denominador antes de la selección, el número de exclusiones en cada paso y los motivos. El diagrama de flujo de detección debe ilustrar cuántos casos se perdieron en cada etapa desde el conjunto de datos de origen hasta el muestreo final, vinculable, completo y que cumple con las reglas. Si sólo los pacientes con información completa terminan en la cola, el modelo puede ser más adecuado para pacientes con registros estandarizados en el sistema de información, en lugar de en un entorno más caótico del mundo real. Puede crear un "conjunto de desafíos de datos incompletos" separado para probar el comportamiento del modelo cuando faltan algunos campos o modos y aclarar qué entradas faltantes provocarán el rechazo o la revisión manual.

Al examinar casos complejos, los equipos de investigación pueden registrar previamente diseños de cohortes y subgrupos principales, especialmente cuando las reglas de estratificación pueden afectar los resultados de las pruebas. La fijación previa de definiciones, umbrales y puntos finales difíciles reduce el riesgo de ajustar "casos difíciles" después de ver los resultados del modelo. Si es necesario repetir las reglas, se deben explorar utilizando datos de desarrollo y luego congelarlas en definiciones en datos de validación independientes. Los cambios en los umbrales de los indicadores y las reglas de etiquetado deben escribirse en la versión del plan y se debe informar la estructura de la muestra antes y después del cambio. Para proyectos de datos basados ​​en adquisiciones, esto también ayuda a separar el cumplimiento de la aceptación de las conclusiones de la investigación científica: cumplir con la proporción del contrato significa que la entrega cumple con el acuerdo, pero no significa que se haya demostrado el desempeño clínico.

La evaluación jerárquica se puede utilizar al modelar para identificar si el modelo solo es efectivo en subconjuntos fáciles. Por ejemplo, observe los grupos de etiquetas claras y controvertidas, monomodalidad y multimodalidad completa, diagnóstico inicial y diagnóstico de seguimiento, departamento de rutina y consulta interdisciplinaria, patología consistente e inconsistente, etc. Las diferencias entre grupos no solo pueden explicarse por el sesgo del modelo, sino que también pueden surgir de diferencias en el tamaño de la muestra, el espectro de la enfermedad y la calidad de la etiqueta; por lo tanto, es necesario informar el tamaño original de la muestra, la distribución de las características y los intervalos de confianza junto con la revisión clínica. Si hay muy pocos datos para un determinado subgrupo, se debe marcar como evidencia insuficiente en lugar de presentar la estimación puntual inestable como una conclusión. Límites del método

y fuentes de datos

Este artículo resume los puntos clave de la ingeniería de datos y el diseño de cohortes basados en los campos de datos médicos y los documentos de requisitos de recompra proporcionados por los usuarios, y los analiza en conjunto con investigaciones públicas revisadas por pares, estándares técnicos y pautas regulatorias/de informes. Los campos, umbrales de filtro y cantidades en el archivo adjunto son ejemplos de especificaciones de requisitos y no prueban que los datos hayan sido adquiridos, entregados o hayan pasado la validación del modelo. Los algoritmos y procesos de este artículo se utilizan para investigaciones científicas y debates sobre diseño de ingeniería y no constituyen diagnósticos médicos ni recomendaciones de tratamiento. Los proyectos específicos están sujetos a autorizaciones, tarjetas de datos, contratos y revisiones de ética/cumplimiento.

Referencias y Normas Técnicas Declaración

1. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods, BMJ (2024)
2. DECIDE-AI: reporting guideline for early-stage clinical evaluation of AI decision support systems, Nature Medicine (2022)
3. External validation of clinical prediction models, BMJ (2024)
4. Good Machine Learning Practice for Medical Device Development, FDA / IMDRF