La multimodalidad no es tan simple como “imagen más texto”
Los modelos médicos multimodales a menudo se describen como una fusión de imágenes y texto, pero las tareas reales suelen contener al menos cuatro tipos de información: señales visuales, mediciones estructuradas, narrativas clínicas y contexto temporal. Los volúmenes de TC, las secciones completas de patología, los informes de radiología, los registros quirúrgicos, los indicadores de laboratorio y los códigos de diagnóstico tienen diferentes granularidades, mecanismos de error y tiempos disponibles. Simplemente unirlos puede dar lugar a una mayor aportación, pero no necesariamente a una evidencia clínica más fiable.
El primer paso debería ser preguntar claramente sobre el objetivo de predicción y los modos visibles. Por ejemplo, el modelo de generación de informes de radiología lee las imágenes una vez finalizado el examen; el modelo de riesgo preoperatorio sólo puede utilizar información antes de la cirugía; La herramienta del asistente de patología puede utilizar imágenes de cortes y antecedentes clínicos limitados. Si la tarea es predecir los resultados posoperatorios, la patología posoperatoria como característica provocará fugas en la etiqueta. Si las imágenes no están disponibles en la implementación clínica, los modelos que dependen de imágenes durante la fase de entrenamiento no podrán reproducirse. La definición de la tarea también debe indicar el momento objetivo, las fuentes de entrada y las modalidades permitidas. El archivo adjunto
asocia casos quirúrgicos, imágenes, curso de la enfermedad, patología y campos de informe, y requiere que las imágenes y los textos correspondan a la secuencia completa. Estos requisitos se pueden traducir en contratos modales: tipo de archivo, estructura, metadatos clave, umbrales de calidad, claves de asociación, ventanas de tiempo, fuentes de anotaciones y estado faltante para cada modalidad. Sólo cuando se apruebe el contrato podrá la ingeniería del modelo saber qué representa realmente cada muestra.
Integridad de datos de volumen DICOM y preprocesamiento interpretable El valor de
DICOM está en preservar los píxeles de la imagen, así como los metadatos espaciales y de adquisición. Los proyectos de CT al menos verifican PatientID con el mapeo de claves del paciente del proyecto, StudyDate, Modality, BodyPartExamined, SliceThickness, PixelSpacing, Rows, Columns, BitsAllocated y otra información necesaria mientras se verifican las referencias de UID, el número de instancias, la orientación de la imagen, el espaciado de los cortes, los cortes duplicados y los rangos de valores de píxeles. Diferentes secuencias reconstruidas pueden corresponder a diferentes núcleos, espesores de corte o etapas del agente de contraste; tratarlos como imágenes homogéneas confundirá la distribución de la entrada de entrenamiento.
Es necesario definir la "secuencia completa" por tarea. Para la clasificación del volumen, es posible que se requieran todos los cortes axiales elegibles; para la detección de lesiones, también pueden ser necesarias secuencias de localización y reconstrucción; para informar tareas de correlación, se deben conservar las secuencias e identificadores relevantes dentro del mismo examen. No puedes simplemente elegir tres fotogramas clave como reemplazo predeterminado para un CT completo. Si realiza un filtrado o remuestreo de fotogramas clave, se deben guardar las estadísticas del ID de la secuencia principal, el método de filtrado, la versión del algoritmo, la transformación espacial y los datos descartados. El preprocesamiento no es un detalle técnico invisible, sino parte del espectro de datos.
La desidentificación debe manejarse en los niveles de imagen y metadatos juntos. El estándar DICOM proporciona perfiles de atributos, pero el texto libre, las etiquetas privadas, los nombres y fechas grabados en píxeles, las asociaciones UID y la metainformación de archivos pueden presentar riesgos. Por otro lado, algunas tareas requieren la preservación de conexiones temporales, de grupo de edad o longitudinales relativas. El equipo de Privacidad y Gobernanza de Datos debe determinar qué configuración y controles de riesgo se utilizan y verificarlos mediante inspecciones de muestras. Las copias de investigación y las tablas de mapeo originales deben administrarse por separado, y las políticas de permisos, auditoría y retención deben integrarse en el proceso del proyecto.
La calidad de la imagen también incluye diferencias de equipamiento y adquisición. El fabricante del escáner, el núcleo de reconstrucción, el grosor del corte, el protocolo del agente de contraste, el ruido de la imagen, los artefactos de movimiento, el campo de visión y los cambios de protocolo pueden contribuir a los cambios de dominio. La evaluación del modelo debe documentar el sitio, el equipo, el año de la inspección y el protocolo, y evitar fugas involuntarias de muestras casi duplicadas del mismo centro en divisiones de capacitación y pruebas. Incluso si se conserva la secuencia completa, verifique si el escaneo cubre el sitio de destino, si la imagen es legible y si el sujeto cumple con los criterios de inclusión.
Las secciones patológicas completas deben conectarse capa por capa desde el paciente, la muestra hasta el parche.
Las imágenes patológicas de corte completo (WSI) suelen alcanzar miles de millones de píxeles. Durante el procesamiento del modelo, se dividen en una gran cantidad de parches locales y luego se resumen en representaciones de corte o a nivel de paciente. Si solo mira la etiqueta de diagnóstico final, es fácil pasar por alto el tipo de muestra, la ubicación de la muestra, la calidad del tejido, la tinción, la ampliación del escaneo y la versión del informe de patología. El nivel de datos correcto incluye al menos pacientes, visitas, muestras, bloques de tejido, portaobjetos, WSI, parches e informes; Los diferentes niveles deben tener identificadores de trazabilidad.
El texto del informe de patología puede proporcionar etiquetas débilmente supervisadas, pero el informe no siempre se corresponde uno a uno con cada parche. Toda la sección puede contener tumor, estroma, necrosis, inflamación y tejido normal simultáneamente. Copiar directamente los diagnósticos de malignidad a nivel del paciente en todos los parches generará una gran cantidad de etiquetas ruidosas. El aprendizaje de instancias múltiples, la agrupación de atención o la anotación de regiones pueden manejar etiquetas débiles, pero el rendimiento del algoritmo aún depende de la calidad de las etiquetas a nivel de caso, la selección de sectores y la cobertura de muestras. Si se estudia la detección de lesiones a nivel regional, se debe diseñar un proceso de revisión y etiquetado regional por parte de patólogos.
Los marcadores inmunohistoquímicos, las tinciones específicas, la descripción histológica y la estadificación TNM/AJCC deben abordarse junto con la conclusión. Los resultados del marcado deben conservarse como positivos/negativos, indeterminados o no analizados; Para la puesta en escena deberá indicarse la versión aplicable y la fuente de evidencia. Para los tumores malignos, la estadificación clínica, la estadificación por imágenes y la estadificación patológica posoperatoria no son campos sinónimos. Si la tarea del modelo utiliza etiquetas de etapa, debe quedar claro qué etapa se predice y en función de qué punto temporal y estándar. Los pacientes a los que les falta una determinada prueba no pueden marcarse directamente como negativos.
Tres rutas de fusión para emparejamiento de imágenes y textos
La fusión temprana combina texto, variables estructuradas y características visuales en la entrada o en capas anteriores, lo que puede capturar interacciones detalladas, pero requiere un emparejamiento de tiempo, muestra y etiqueta bastante preciso. La fusión a medio plazo permite que diferentes codificadores aprendan primero de forma independiente y luego alineen las modalidades mediante atención cruzada, aprendizaje contrastivo o espacio latente compartido para facilitar la retención de la experiencia modal. La fusión tardía primero produce resultados unimodales y luego fusiona decisiones. El sistema es más fácil de explicar y más tolerante ante la ausencia de ciertas modalidades, pero es posible que no pueda aprender una complementariedad intermodal compleja.
Antes de seleccionar un método de fusión, establezca una línea de base simple: solo variables clínicas, solo texto, solo imágenes y fusión tardía simple. Si un modelo multimodal complejo no supera consistentemente la línea de base, puede deberse a errores de emparejamiento, tamaño de muestra insuficiente, ruido de etiqueta o una modalidad que simplemente expresa la misma información repetidamente. Los experimentos de ablación que “eliminan una modalidad” también deben compararse con el rendimiento y la calibración de las pruebas en ausencia de la modalidad. Si un modelo solo funciona cuando todos los modos están completos, el final de la implementación debe confirmar que estas entradas son estables y están disponibles en la escena de destino.
El trabajo TITAN de Nature Medicine en 2025 demuestra una línea de investigación para aprender la representación completa, la descripción de regiones y la transferencia entre tareas con desidentificación a gran escala de imágenes e informes patológicos; PRISM2 de Nature Medicine en 2026 lleva a cabo más investigaciones sobre modelos patológicos básicos y supervisión del diálogo clínico. Estos artículos ilustran que el emparejamiento de informes y la representación multiescala son direcciones de investigación activas, pero los datos de capacitación, las tareas, las evaluaciones externas y las licencias de modelos de los artículos tienen sus propios límites, y sus indicadores en el artículo no deben traducirse directamente en la calidad de los datos o la promesa de beneficios clínicos de un determinado proyecto.
La etiqueta, la fuente y la hora determinan si la reseña se mantiene
Los informes de imágenes y los informes de patología son evidencia clínica, pero también pueden contener errores, retrasos, diferencias de versión o incertidumbre diagnóstica. Para el aprendizaje supervisado, las etiquetas deben conservar el tipo de fuente, el tiempo de generación, el estado de revisión, la versión de la regla y la incertidumbre. Las etiquetas extraídas automáticamente del texto del informe se deben muestrear y verificar con el informe original; Las pseudoetiquetas generadas por el modelo no deben confundirse con etiquetas de expertos sin revisión. Si la etiqueta proviene de patología postoperatoria, pero el ingreso son solo imágenes preoperatorias, se debe definir claramente su lapso temporal y población aplicable.
El conjunto de entrenamiento, el conjunto de validación y el conjunto de prueba deben aislarse por paciente para evitar múltiples cortes, múltiples exploraciones o informes repetidos del mismo paciente en todos los conjuntos. Para los datos de la misma institución, también puede haber filtraciones de imágenes casi duplicadas, documentos con plantillas, copias de posprocesamiento de imágenes y marcas de equipos. La verificación externa independiente debe intentar provenir de diferentes sitios o diferentes períodos de tiempo, y verificar si el proceso de etiquetado es consistente. Si el objetivo es una implementación en varios países, varios idiomas o varios dispositivos, la cobertura de datos también debe reflejar estas diferencias; La puntuación alta de un solo sitio no puede responder a la cuestión de la confiabilidad fuera del dominio.
deben exceder AUROC. La tarea de clasificación puede analizar AUPRC, sensibilidad, especificidad, valor predictivo positivo, valor predictivo negativo, calibración y rendimiento del umbral al mismo tiempo; la tarea de segmentación debe informar errores relacionados con límites y volúmenes; La generación de informes requiere coherencia fáctica, omisiones, falsos positivos y revisión de expertos clínicos. Se debe realizar un análisis de subgrupos para dispositivo, sitio, grupo de edad, sexo, subtipo de enfermedad, modalidad faltante y complejidad del caso, y se deben proporcionar intervalos de confianza. Los escenarios clínicos también evalúan la colaboración entre humanos y máquinas, los impactos en el flujo de trabajo y el manejo seguro de fallas.
Una lista de verificación de aceptación de datos multimodales procesables
La primera capa es el archivo y los metadatos: si se puede leer el DICOM, si la secuencia está completa, si la información espacial y de píxeles es válida; si se puede extraer la capa de texto del PDF, si el orden de las páginas y la tabla están completos; si la imagen patológica cumple con los requisitos de resolución y escaneo. El segundo nivel es la asociación: si existe una relación revisable entre las claves de los pacientes, las claves de las visitas, las fechas de los exámenes, los informes de imágenes, los registros quirúrgicos, los números de patología y los cortes. El tercer nivel es el contenido: si los campos clínicos, las etiquetas y las conclusiones de las imágenes se pueden ubicar en el texto original y si hay explicaciones para las deficiencias clave. La cuarta capa es la gobernanza: si se registran el alcance de la autorización, el proceso de desensibilización, los derechos de acceso, las reglas de retención y destrucción.
El "paquete completo para el paciente" debe utilizarse como una unidad para una inspección aleatoria, no como un solo documento. Estratificados por modalidad y complejidad, se revisó la evolución, pruebas, exámenes, cirugías, altas y trayectorias patológicas del mismo paciente. El adjunto propone que los campos del informe de imágenes incluyan fecha del examen, equipo, sitio, escaneo simple/escaneo mejorado, positivo/negativo, hallazgos de la imagen y conclusión; Estos campos se pueden convertir en tasa faltante, legalidad del valor y verificación de coherencia del texto original. Para errores de correlación graves encontrados en un solo caso, es necesario evaluar si se trata de un problema sistémico y ampliar el muestreo, en lugar de simplemente corregir un archivo.
Para el equipo de ingeniería de algoritmos, el paquete de lanzamiento final también debe tener un manifiesto reproducible: lista de muestra a nivel de paciente, hash de archivo modal, versión de datos, reglas de filtrado, resultados de segmentación, versión de canal de transformación, definición de etiqueta y script de evaluación. Los identificadores confidenciales no deben aparecer en listas públicas, pero se pueden usar identificaciones controladas dentro del proyecto para completar la trazabilidad. Las tarjetas de datos deben describir las poblaciones de cobertura, los sitios, los dispositivos, los plazos, las modalidades faltantes, los sesgos conocidos y las limitaciones. Dicha entrega respalda la recurrencia posterior y la revisión del cambio de modelo.
Establezca límites claros desde la preparación de datos hasta la validación clínica
El rendimiento básico de la investigación no equivale a la usabilidad clínica. Antes de ingresar al flujo de trabajo real, también es necesario verificar cómo funciona el sistema con los usuarios objetivo, los dispositivos objetivo, las cargas reales y las entradas anormales; si el resultado del modelo se comprende correctamente; si puede rechazar o avisar cuando la entrada es incierta o falta; si se producen nuevas desviaciones o cargas de trabajo. Los principios GMLP de FDA/IMDRF enfatizan la coincidencia de datos con la población objetivo, la independencia de capacitación y pruebas, la colaboración entre humanos y máquinas y el monitoreo del ciclo de vida completo; DECIDE-AI proporciona un marco de informes para la evaluación clínica temprana. Apoyan el diseño de procesos y no respaldan automáticamente un modelo. El equipo de desarrollo de
puede configurar el ciclo cerrado de evaluación para: fuente de datos y verificación de autorización, asociación a nivel de paciente, inspección de calidad de modalidad, revisión de etiquetas, segmentación de versiones, comparación de referencia y multimodalidad, validación externa, análisis de subgrupos y fallas, revisión de expertos y evaluación de regresión revisada. Cada vez que se actualizan los datos o el modelo, se debe registrar el alcance del cambio y el impacto en los indicadores. Si se agregan nuevos equipos, nuevas plantillas de informes o nuevos sitios, esto debe considerarse un cambio de distribución y el rendimiento clave debe revalidarse en lugar de asumir que el modelo se generalizará naturalmente.
Langhui puede ayudar en la clasificación de campos de datos médicos, control de calidad de datos de imágenes y patología, anotaciones médicas, pruebas ciegas y diseño de evaluación de algoritmos según el alcance confirmado del proyecto. Las fuentes de muestra específicas, el volumen de casos, la cobertura modal, la asignación de expertos y los resultados de aceptación deben estar sujetos a los documentos oficiales del proyecto; Este artículo no representa un inventario puntual, ensayos clínicos ni un compromiso con los efectos del diagnóstico y el tratamiento. El valor de los datos multimodales de alta calidad es que cada entrada, etiqueta, conclusión y restricción se puede verificar, lo que ayuda al equipo de algoritmos a hacer que el problema de investigación sea más reproducible.
La calidad del emparejamiento multimodal debe evaluarse de forma independiente en lugar de simplemente verificar si los archivos existen simultáneamente. La clave de paciente y visita, hora, sitio anatómico, número de examen, número de patología, registros quirúrgicos y citas de informes se pueden utilizar como evidencia coincidente, y los revisores clínicos pueden tomar muestras y confirmar si las imágenes y el texto realmente corresponden. Si las imágenes son del preoperatorio pero el informe es de la revisión postoperatoria, o las muestras patológicas se toman de diferentes partes, los archivos aún no están emparejados de manera efectiva en el mismo directorio de pacientes. El estado de coincidencia debe dividirse en confirmado, coincidencia automática pendiente, sospecha de discrepancia y no coincidente, y se debe establecer qué estado se puede utilizar en la tarea del modelo.
Los datos de evaluación también evitan la duplicación implícita de cortes, secuencias o imágenes derivadas del mismo paciente. El hash de imágenes y el hash de percepción pueden encontrar documentos idénticos o casi duplicados; las claves de paciente y las claves de examen pueden encontrar exámenes duplicados; Las plantillas de informes y las fechas pueden encontrar documentos duplicados. Las muestras casi duplicadas pueden hacer que la puntuación del conjunto de pruebas sea falsamente alta. Las reglas de deduplicación deben conservar la asignación de los registros eliminados al registro principal y ejecutarse antes de la segmentación de pacientes. Durante la evaluación externa, también es necesario registrar si la agencia verificadora aparece en los materiales de capacitación y si las imágenes se reproducen a partir del mismo suministro de datos o fuente pública.
Para los modelos generativos, la evaluación también debe centrarse en resultados que “parecen razonables pero no tienen evidencia”. Las preguntas y respuestas con imágenes y la generación de informes pueden verificar si faltan hallazgos clave, adiciones incorrectas, cambios de palabras negativos, sitios anatómicos incorrectos y expresiones de incertidumbre; Las descripciones de patología deben diferenciar entre lo que realmente es visible en las diapositivas y lo que se infiere del contexto clínico. Es necesario utilizar juntas las revisiones ciegas de expertos, la verificación de hechos basada en evidencia de referencia y la clasificación estructurada de errores. Si se utilizan indicadores de evaluación automática, primero se debe verificar su relación con el juicio de expertos, y la similitud del texto no puede equipararse directamente con la corrección clínica.
En términos de preprocesamiento de imágenes, normalización, ancho y nivel de ventana, remuestreo, recorte, normalización de color y filtrado de regiones de tejido pueden cambiar la señal vista por el modelo. Cada paso debe tener versiones, parámetros y registros de fallas, y tratar de mantener las mismas reglas en el entrenamiento y las pruebas. Para CT, el ancho de la ventana, el nivel de la ventana y la selección del núcleo de reconstrucción pueden afectar la textura; en patología, la normalización de la tinción puede aliviar las diferencias de escaneo, pero también puede borrar señales significativas de intensidad de la tinción. Ser validado mediante ablación y estratificación del sitio, y evitar tratar el preprocesamiento como un paso genérico e inofensivo.
Si el algoritmo se va a utilizar para la colaboración entre humanos y máquinas, el conjunto de datos y la evaluación deben registrar la línea de base del médico, el desempeño del modelo solo y el desempeño del médico más el modelo. Los modelos se mejoran en un conjunto de pruebas independiente y no hay garantía de que el flujo de trabajo de los médicos sea más seguro o más eficiente. El uso real también depende de si las recomendaciones cambian las decisiones, cuándo los médicos ignoran o sobrescriben los modelos, si los errores del modelo se descubren a tiempo, si las muestras de baja confianza se convierten en trabajo manual y si los usuarios con diferentes niveles de experiencia se benefician consistentemente. La evaluación clínica temprana debe centrarse primero en la usabilidad y el daño potencial, y luego evaluar gradualmente los resultados clínicos; no puede pasar directamente de las puntuaciones de coincidencia de imagen y texto fuera de línea a conclusiones sobre beneficios clínicos.
Para casos quirúrgicos, las imágenes deben formar una relación secuencial verificable con registros médicos preoperatorios, registros operativos, observaciones posoperatorias y resúmenes de alta. El ejemplo de especificación de adquisición en el archivo adjunto requiere que las imágenes preoperatorias/postoperatorias correspondan a la descripción del texto inmediato y estipula una determinada resolución mínima de imagen, número de imágenes por caso y cobertura de múltiples departamentos quirúrgicos; tales números son términos de aceptación del proyecto, no un estándar científico común para todas las investigaciones de imágenes. El diálogo de consulta también tiene una estructura modal independiente: las rondas de diálogo, las escenas de interpretación de la primera consulta/revisita/consulta de medicación/examen, las imágenes cargadas por el paciente y las conclusiones de la interpretación del médico deben estar relacionadas, y las imágenes no se pueden utilizar como etiquetas por separado del diálogo correspondiente. Sólo escribiendo explícitamente estas condiciones en el esquema de muestra se puede comprobar si la entrada del modelo está disponible en escenarios de uso reales y si es coherente con el texto.
y fuentes de datos
Este artículo resume los puntos clave de la ingeniería de datos y el diseño de cohortes basados en los campos de datos médicos y los documentos de requisitos de recompra proporcionados por los usuarios, y los analiza en conjunto con investigaciones públicas revisadas por pares, estándares técnicos y pautas regulatorias/de informes. Los campos, umbrales de filtro y cantidades en el archivo adjunto son ejemplos de especificaciones de requisitos y no prueban que los datos hayan sido adquiridos, entregados o hayan pasado la validación del modelo. Los algoritmos y procesos de este artículo se utilizan para investigaciones científicas y debates sobre diseño de ingeniería y no constituyen diagnósticos médicos ni recomendaciones de tratamiento. Los proyectos específicos están sujetos a autorizaciones, tarjetas de datos, contratos y revisiones de ética/cumplimiento.
Referencias y Normas Técnicas Declaración
- End-to-end multimodal pathology foundation model with clinical dialogue (PRISM2), Nature Medicine (2026)
- A whole-slide foundation model for digital pathology from real-world data (TITAN), Nature Medicine (2025)
- Longitudinal alignments and syntheses of multimodal clinical data for personalized medicine with the PULSE framework, Nature Computational Science (2026)
- DICOM PS3.15 Security and System Management Profiles
- Good Machine Learning Practice for Medical Device Development, FDA / IMDRF
- DECIDE-AI reporting guideline, Nature Medicine
