Resumen: Primero convierta el “paquete de casos” en un protocolo de evaluación verificable
La dificultad de la IA para las complicaciones de la diabetes no es permitir que el modelo nombre una enfermedad a partir de un registro médico, sino permitirle completar de manera estable tareas definibles en fuentes reales, en tiempo cruzado y complejas de evidencia clínica: leer los resultados correctos de las pruebas, retener la unidad y el tiempo, distinguir entre base de diagnóstico y especulación, identificar señales de alto riesgo y detenerse claramente cuando la evidencia es insuficiente.Un punto de referencia significativo debe medir estas capacidades por separado y no puede reemplazar la efectividad clínica con una "tasa de precisión" general.
Este paquete comprimido adjunto contiene 12 casos después del inventario estructural, que cubren cuatro categorías: neuropatía periférica diabética, nefropatía diabética, retinopatía diabética y pie diabético, con 3 casos en cada categoría; Hay 78 archivos PDF y 251 CSV, y el CSV suma alrededor de 3413 registros de datos.La cantidad de archivos y filas de la tabla describe la estructura de entrega y no es equivalente a la cantidad de pacientes únicos ni al tamaño de la muestra disponible para inferencia estadística.El archivo adjunto es adecuado como diccionario de datos, manual de anotaciones, interfaz de evaluación, proceso de arbitraje y piloto de viabilidad para la clasificación de errores;En esta etapa no es suficiente proporcionar clasificaciones modelo, prevalencia de enfermedades, sensibilidad o conclusiones sobre beneficios clínicos.
LumeSage sugirió nombrar el proyecto "LumeSage DiaComp-Bench" como marco piloto propuesto.El nombre no implica una lista oficial existente ni una verificación clínica completa.Este artículo proporciona instrucciones de evaluación auditables, tareas candidatas y rutas de construcción; la lista oficial se publicará después de que se hayan revisado la gobernanza, el tamaño de la muestra, los estándares de referencia, la verificación entre agencias y las reglas operativas.
1. Lo que nos dice el archivo adjunto y lo que aún no nos ha dicho
1.1 Los cuatro tipos de enfermedades no son cuatro etiquetas para una tarea
Los cuatro tipos de casos apuntan a diferentes cadenas de evidencia clínica. El juicio de la nefropatía diabética requiere indicadores de laboratorio, duración, comorbilidades y otras posibles causas;la clasificación de la retinopatía depende de la calidad de la imagen del fondo de ojo, las lesiones estandarizadas y las reglas de clasificación; la neuropatía periférica involucra diferentes evidencias como síntomas, examen sensorial, sensación protectora y neuroelectrofisiología; El pie diabético puede incluir la ubicación de la úlcera, su profundidad, la infección, la isquemia, la neuropatía y el resultado de la curación.Pueden compartir la gobernanza de datos y la infraestructura de medición, pero los valores de verdad de referencia, las poblaciones objetivo, los costos de error y las implicaciones de la disposición clínica no pueden simplemente fusionarse. Los datos de descripción en PDF y CSV en el archivo adjunto
contienen tanto la descripción del documento como campos estructurados.Los códigos de elementos de examen comunes, nombres, valores de resultados, unidades, rangos de referencia y marcas anormales en CSV también pueden incluir órdenes médicas, medicamentos, conclusiones de informes o hallazgos de exámenes.El PDF puede proporcionar información contextual, narrativa y de formato.Pero "hay un determinado campo en el archivo" no significa automáticamente que la definición del campo sea consistente, que la unidad esté unificada, que la fuente esté completa o que la etiqueta sea correcta.El archivo fuente, el número de página/columna, el valor original, el valor estandarizado, la unidad, la semántica de tiempo, la regla de conversión, el motivo de la falta y el estado de la revisión deben registrarse para cada campo durante la construcción.
Actualmente, el archivo adjunto no tiene un catálogo de imágenes entregadas como archivos JPEG, PNG, DICOM o fondo de ojo/OCT independientes.Por lo tanto, lo que se puede discutir en esta etapa es la extracción de evidencia de informes y formularios existentes, la comprensión de documentos y tareas de texto limitadas cuando exista evidencia de imágenes en el informe;no se puede afirmar que tenga las condiciones para la clasificación de imágenes del fondo de ojo, la interpretación de OCT, el reconocimiento de imágenes de heridas del pie o la evaluación de fusión de imágenes intermodales.Cuando se reciban imágenes en el futuro, también es necesario verificar el equipo, el protocolo de imágenes, la calidad de la imagen, las coordenadas anotadas, la institución de adquisición y el alcance de la autorización.
1.2 Se debe indicar claramente la “unidad de muestra” en una muestra pequeña
La unidad de análisis independiente es el caso/paciente, no el PDF, CSV, número de página, elemento de prueba o fila de registro. Un caso dividido en decenas de expedientes sólo aporta a un paciente independiente;Varias pruebas realizadas a la misma persona también están relacionadas entre sí.Dividir aleatoriamente las líneas de archivos en conjuntos de entrenamiento y prueba permitiría que la información sobre el mismo paciente traspase los límites e introduzca fugas graves.Si en el futuro se realiza formación o desarrollo, los pacientes deben agruparse en su conjunto; en entornos multicéntricos, la validación externa debe diseñarse por institución o por tiempo.
Cuando hay solo 3 casos por categoría de enfermedad, un solo caso representa un tercio del grupo para esa categoría de enfermedad.Incluso si los 12 casos son correctos, no se puede inferir que la sensibilidad clínica alcance el 100%.En esta etapa lo que se puede verificar es si el proceso está en marcha, si los campos tienen fuentes, si los desacuerdos de los expertos pueden ser arbitrados y si los errores son atribuibles; No se deben publicar listas de AUC, riesgo de enfermedad, generalización entre poblaciones o listas de pros y contras de los modelos.
2. Divida los cuatro tipos de complicaciones en tareas de evaluación reproducibles
La lista debe responder primero “qué se mide”, y luego “quién puntúa más alto”.Se recomienda establecer un catálogo de tareas en dos niveles: tareas de comprensión de datos generales y tareas específicas de enfermedades.Cada elemento forma una tarjeta de tareas con tipo de entrada fijo, población aplicable, resultado objetivo, fuente de evidencia, estándar de referencia, condiciones de exclusión, función de puntuación, nivel de riesgo clínico, versión y usos prohibidos.La respuesta debe poder rastrearse hasta la evidencia original;un modelo que sólo da una conclusión pero no una cadena de evidencia no debería tener la misma puntuación que un sistema rastreable.
Track A|Extracción estructurada de registros médicos y datos de exámenes
Extrae elementos de examen, resultados, unidades, intervalos de referencia, indicadores anormales, medicamentos y diagnósticos de PDF/CSV y vincula cada valor a un caso, evento de examen y hora.Los indicadores no solo verifican si los campos coinciden, sino que también deben verificar el valor, la unidad, el signo, el límite del intervalo, el análisis de la fecha y el posicionamiento de la fuente, respectivamente."No visto", "no marcado" y "negativo" en el informe no se pueden combinar en el mismo valor nulo; la fórmula y la precisión del redondeo deben registrarse para la conversión de unidades.Se recomienda informar la coincidencia exacta, la precisión/recuperación/F1 a nivel de campo, la precisión numérica y unitaria combinada, la precisión del análisis del tiempo, la precisión de la ubicación de la evidencia y la precisión del procesamiento de rechazo/falta.
Vía B | Nefropatía diabética: estado de riesgo longitudinal y consistencia de la evidencia
Si los datos se pueden rastrear hasta pruebas repetidas, el modelo de medición puede identificar correctamente valores, unidades, tendencias e intervalos de tiempo alrededor de eGFR, relación albúmina/creatinina urinaria (UACR), creatinina sérica, duración de la diabetes, presión arterial e información sobre medicamentos.Los "Estándares 2026 para el diagnóstico y tratamiento de la diabetes" de la ADA recomiendan monitorear la TFGe y la UACR para pacientes con diabetes y determinar la frecuencia de un nuevo examen según la estratificación del riesgo de ERC; esto muestra que la "ventana de tiempo" y los cambios continuos en sí mismos son parte de la definición de la tarea, en lugar de campos adicionales[1].La inferencia diagnóstica basada en un único valor anormal no puede reemplazar el diagnóstico clínico estandarizado y el juicio continuo.Si está realizando una tarea de predicción, el punto de partida de la predicción, el período de predicción, el resultado, el riesgo inicial, el procesamiento de cambios de tratamiento y los riesgos competitivos deben definirse de antemano, y este apéndice no tiene el tamaño de muestra requerido para formar una verificación confiable del modelo de riesgo.
Track C|Retinopatía diabética: informe de comprensión y prueba de imagen del fondo de ojo por separado
Actualmente es posible evaluar la extracción de "hallazgos-calificaciones-recomendaciones" de informes existentes, si los diferentes campos son inconsistentes entre sí y si las recomendaciones de referencia se basan en el texto original; sin embargo, sin imágenes independientes de fondo de ojo/OCT, no se puede evaluar la detección de lesiones a nivel de imagen, la clasificación, la localización de lesiones o la generalización entre cámaras.El punto de referencia de imágenes del fondo de ojo debe especificar el campo de visión de la imagen, los ojos izquierdo y derecho, la calidad de la imagen, el procesamiento de imágenes no calificado, el sistema de clasificación y el arbitraje del lector.Por ejemplo, los datos de investigación de retina multimodal publicados por "Scientific Data" en 2026 contienen 24,460 imágenes, que se refinan a cinco niveles de gravedad, siete tipos de lesiones y clasificación de edema macular OCT, lo que refleja los requisitos de evaluación de imágenes para etiquetas de grano fino, emparejamiento de modalidades y control de calidad.[2].Un estudio de modelo grande multimodal observó diferencias de rendimiento entre diferentes modelos y una menor sensibilidad de detección de gravedad en 309 ojos de 188 pacientes, recordando a la lista que la lista no solo puede informar la precisión general, sino que también debe mostrar diagnósticos omitidos y errores de clasificación.[3]。
Track D|Neuropatía periférica y pie diabético: estratificación de evidencia, gravedad y seguridad
La tarea administrativa de neuropatía periférica comprueba si los síntomas, los patrones de examen, los hallazgos sensoriales protectores y su correlación temporal se registran correctamente y detecta si el modelo escribe erróneamente "no registrado" como "examen normal".Los capítulos sobre neuropatía y cuidado de los pies de los "Estándares 2026 para el diagnóstico y tratamiento de la diabetes" de la ADA enfatizan la detección de neuropatía, la evaluación de riesgos del pie y el examen físico estandarizado; por lo tanto, la tarjeta de tareas debe aclarar el método de examen, la frecuencia del examen y el umbral de derivación para evitar tratar los registros faltantes como negativos.[7]. Las tareas medibles del pie diabético pueden comenzar con la extracción de la ubicación, el tamaño de la herida, los signos de infección, los indicios de isquemia, la clasificación y el resultado de los registros médicos;Las futuras tareas de imágenes deben tener condiciones de toma de imágenes estándar, referencia de escala, etiquetado de lesiones y resultados clínicos.Cuando no hay imágenes, la realización de la tarea de registro médico escrito no se puede utilizar para indicar la capacidad visual de la herida.Omitir una alerta de alto riesgo, rebajar un consejo de emergencia a uno de bajo riesgo o inventar un grado de úlcera de la nada deben registrarse como errores graves y reportarse por separado en lugar de compensarse con respuestas correctas en una gran cantidad de campos simples. El indicador
Para evitar que las puntuaciones enmascaren diferencias clínicas, las cuatro categorías de temas no deben combinarse en una única clasificación general.Si en el futuro es necesario proporcionar puntuaciones resumidas, se deben divulgar al mismo tiempo los indicadores originales, la composición de los casos, los intervalos de confianza, las reglas de ponderación y el ámbito de aplicación de cada vía;las modalidades y tareas faltantes deben mostrarse como "no evaluadas" y no pueden considerarse puntos cero ni aprobarse de forma predeterminada.
3. Normas de referencia, anotaciones de expertos y seguridad del paciente
3.1 El estándar de referencia es un sistema de evidencia trazable, no un voto
La verdad clínica no puede simplemente copiar el último campo diagnóstico que aparece en la historia clínica.Es necesario definir primero el nivel de evidencia de referencia para cada tarea: por ejemplo, las pruebas de laboratorio utilizan informes de laboratorio calificados e información de unidad/método; los resultados renales se construyen de acuerdo con las definiciones de las pautas y los períodos de tiempo específicos; la clasificación del fondo de ojo se basa en escalas previamente registradas, imágenes calificadas y lecturas de expertos; Los resultados del pie definen claramente la base y el momento de la infección, isquemia, curación o amputación.Cuando un caso no cumple con las condiciones, debe marcarse como "no se puede determinar/evidencia insuficiente" y no se pueden generar etiquetas por la fuerza.Cuando diferentes pruebas entran en conflicto, se deben conservar la causa del conflicto y el árbitro final en lugar de sobrescribir los datos originales.
recomienda que se establezca un grupo de expertos para cada enfermedad: el departamento de endocrinología es responsable del contexto clínico general de la diabetes, y los expertos en nefrología, oftalmología, neurología y relacionados con heridas/vasculares son respectivamente responsables de la definición de enfermedades especializadas; ingenieros de datos, estadísticos y gerentes de seguridad del paciente participan en la revisión de tareas y reglas de puntuación.Desarrollar manuales, ejemplos positivos y negativos, casos límite, códigos faltantes y números de versión antes del etiquetado; Los etiquetadores deben estar capacitados y pasar el conjunto de calibración antes de ingresar al etiquetado formal.Al menos dos expertos cualificados hacen anotaciones independientes; calcular indicadores de coherencia apropiados y dar categorías de desacuerdo; y un tercer experto senior arbitra.La κ de Cohen/Fleiss, la κ ponderada, la correlación intraclase o la tasa de acuerdo deben seleccionarse según el tipo de variable, y una estadística de consistencia no se puede aplicar mecánicamente a todas las etiquetas.
3.2 Trate “puede negarse a responder” como una habilidad confiable
Los sistemas sanitarios no deberían obtener altas calificaciones sólo porque tengan altas tasas de respuesta.La tarea debe establecer situaciones como incapacidad para juzgar, calidad de imagen insuficiente, pruebas clave faltantes, conflictos de etiquetas y más allá de la población aplicable, y evaluar si el modelo es apropiado para solicitar información complementaria o transferirla al personal clínico.Las puntuaciones deben informar la cobertura y las tasas de error de forma conjunta: reducir la cobertura puede mejorar la precisión, pero si el sistema sólo responde a casos fáciles, debe presentarse a través de una curva de cobertura de riesgo o un umbral de cobertura preestablecido; Los errores peligrosos, las falsas garantías y los diagnósticos infundados deben enumerarse por separado para los eventos de seguridad.
3.3 La autorización, la ética y el anonimato deben preceder a la evaluación comparativa del modelo
El nombre del archivo adjunto indica "insensibilizado", que es solo una declaración fuente y no constituye una prueba independiente de anonimización o uso legal.La detección automática de texto de este lote de materiales no logró detectar patrones comunes de información de identidad, pero no puede reemplazar la inspección página por página de los documentos originales, la inspección de imágenes/OCR, la inspección de metadatos, la evaluación de riesgos de reidentificación de combinaciones raras, la verificación de documentos de autorización y el juicio ético.Los datos a nivel de paciente deben establecer fuentes legales, propósitos de uso, alcance de autorización, personal de acceso, períodos de retención, eliminación y reglas de auditoría;La desidentificación todavía no significa necesariamente anonimización.Sólo se publicarán estadísticas generales suficientes para su visualización externa, y no se publicarán textos, capturas de pantalla ni combinaciones raras que puedan rastrearse hasta los casos. El conjunto de entrenamiento y el conjunto de pruebas privado implementan acceso descentralizado, y el envío de modelos y el acceso a datos dejan rastros.
4. Cuadro de mando: De respuestas correctas a respuestas creíbles, sólidas y utilizables
El siguiente es un marco de evaluación sugerido, no una puntuación calculada para el caso adjunto ni ningún modelo.El acceso a la gobernanza sirve como un umbral de veto de un voto: aquellos que no cumplan con la ética/autorización, la desensibilización, las bases de etiquetado, la verificación de fugas y la información de versión no participarán en la comparación de listas. Después de aprobar la admisión, las puntuaciones se establecen de acuerdo con las tareas objetivo de la pista específica; módulos como corrección de tareas clínicas, trazabilidad de evidencia, calidad de datos estructurados, seguridad y rechazo, solidez/rendimiento entre dominios se pueden establecer en una escala de 100 puntos.Sin embargo, los pesos específicos deben ser prerregistrados conjuntamente por expertos, usuarios clínicos y equipos estadísticos antes de congelar el conjunto de pruebas y verificarse mediante análisis de sensibilidad. Los pesos no deben ajustarse posteriormente para seguir el liderazgo de un determinado modelo.
| Dimensión | Observaciones sugeridas Ejemplos de indicadores aplicables | Ejemplos de métricas aplicables | Principales riesgos |
|---|---|---|---|
| Corrección de la tarea clínica | Extracción, clasificación, tendencia, clasificación o umbral de procesamiento preestablecido | precisión/recuperación, macropromedio F1, MAE, κ ponderado | Los indicadores generales cubren una pequeña cantidad de diagnósticos omitidos de alto riesgo |
| Evidencia rastreable | Conclusión: ¿Se pueden ubicar la página original, los campos, la hora de verificación y las reglas? | Precisión de ubicación de evidencia, tasa de coincidencia conjunta de valor/unidad | La respuesta es correcta pero la base es incorrecta o no se puede auditar |
| Seguridad e incertidumbre | Negativa a responder, actualización, reconocimiento de señales de advertencia, alucinaciones y omisiones clave | Tasa de error grave, curva de cobertura de riesgo, error de calibración | La sugerencia de error se diluye por igual |
| Robusto y justo Falta | , calidad del escaneo, equipo/institución, edad y otras estratificaciones | Diferencias estratificadas, intervalos de confianza, indicadores de deriva | Resultados de muestra insuficientes que generan conclusiones de subgrupo falsas La operación |
| se puede reproducir. Versión del modelo | , palabra de aviso, parámetros de inferencia, fecha y hash de datos | Diferencia en repeticiones y tasa de integridad de registros ambientales | Los resultados de la lista no se pueden revisar El indicador |
debe coincidir con la tarea. La extracción de campo informa la coincidencia exacta con precisión/recuperación/F1 a nivel de campo; los valores continuos informan errores y corrección de la unidad; la gravedad ordinal utiliza κ ponderada o matriz de confusión de rangos;las tareas de predicción brindan simultáneamente discriminación, calibración, beneficio neto en umbrales clínicos e intervalos de confianza;Las respuestas abiertas utilizan listas de hechos atómicos desarrolladas por expertos, respaldo de evidencia, omisiones críticas y escalas de gravedad, y verificación manual de coherencia por parte de revisores automatizados. La calibración no puede sustituirse por la "confianza autoinformada del modelo". Los estudios predictivos deben seguir recomendaciones de informes transparentes como TRIPOD+AI;Los datos de múltiples instituciones/grupos también deben informar sobre la heterogeneidad institucional y el análisis correspondiente.[4]。
Esta vez n=12 no es suficiente para estimar de manera estable estos indicadores generales.Los resultados piloto apropiados son listas de errores a nivel de caso (solo dentro de entornos autorizados), lagunas en la definición de tareas, desacuerdos en las anotaciones, errores sistemáticos de formato, tiempos de revisión manual, puntos de interrupción del proceso y puntuación de los resultados de las pruebas del guión.Las clasificaciones de modelos reales no se divulgan al mundo exterior.Antes de ingresar a la etapa de verificación formal, la demostración del tamaño de la muestra debe basarse en la prevalencia esperada, los objetivos de sensibilidad/especificidad, el ancho del intervalo de confianza permitido, la agrupación institucional, la proporción de seguimiento perdido y exámenes no válidos; pacientes en lugar de documentar unidades estadísticas de comportamiento, la estimación de intervalos debe utilizar preferentemente métodos que puedan reflejar la estructura de agrupamiento.
5. Cómo evitar fugas, sesgos y falsa precisión en las listas
5.1 Los conjuntos de pruebas ocultos deben poder evitar "deslizar las clasificaciones"
Si se divulgan todos los casos de prueba, el modelo puede recordar las respuestas en el corpus de entrenamiento, palabras clave o reglas artificiales. La lista debe utilizar un conjunto de desarrollo público y un conjunto oculto controlado en paralelo: definiciones de tareas públicas, especificaciones de campo, procedimientos de puntuación y muestras de desarrollo representativas; conservar un conjunto de pruebas privado autorizado, limitar la frecuencia de envío y conservar registros de llamadas de contenedores/API, resúmenes de entrada y salida, versiones de modelos y hashes de datos.El equipo del modelo debe declarar si utilizará datos de prueba para capacitación, ajuste o revisión manual. La adaptación del conjunto de pruebas causada por envíos repetidos debe controlarse mediante la reserva de nuevos lotes, conjuntos de deriva de tiempo y preguntas ocultas rotativas.
La segmentación debe ser realizada al menos por el paciente;una vez que se disponga de datos suficientes, se pueden agregar pruebas externas por hospital, equipo y tiempo. Verifique las visitas del mismo paciente en todas las visitas, copias de informes, plantillas homólogas, archivos PDF casi duplicados, texto copiado y duplicaciones de imágenes.En lugar de “tomar algunas muestras aleatorias de más centros”, la validación entre centros mantiene la institución completa como un dominio independiente e informa la composición de la muestra, los intervalos de los indicadores y los modos de falla de cada centro.Las tareas multimodales deben garantizar que las claves coincidentes de imágenes, informes, pruebas y resultados de casos sean confiables sin filtrar la identificación del paciente.
5.2 La evaluación debe centrarse en las consecuencias del uso clínico en lugar del rendimiento del modelo. La respuesta de casos
solo verifica las capacidades fuera de línea;El valor de la implementación también depende de si el modelo puede reducir las entradas repetidas, mejorar la integridad de los datos, acortar el tiempo de revisión de los expertos y no aumentar las referencias incorrectas, los informes perdidos o la carga de trabajo.Antes de ingresar al flujo de trabajo real, debe quedar claro mediante operación silenciosa, pilotos manuales, evaluaciones de usabilidad prospectivas y la investigación clínica necesaria si los médicos pueden ver el resultado del modelo, cuándo se puede sobrescribir, cómo se escalan las excepciones y quién revisa los errores.La clasificación de riesgos debe cubrir la clasificación auxiliar de bajo riesgo y las recomendaciones de diagnóstico/clasificación de alto riesgo, y las puntuaciones fuera de línea de muestras pequeñas no pueden usarse para reemplazar la evidencia regulatoria, ética o clínica.
Investigaciones recientes muestran que el rendimiento y la transferibilidad de la IA para imágenes médicas están estrechamente relacionados con el tamaño de la cohorte, los estándares de referencia, los escenarios de imágenes y los datos externos.DeepDKD utilizó una cohorte de desarrollo a gran escala y se validó en 10 conjuntos de datos multiétnicos en el estudio de nefropatía diabética por inferencia de imágenes de la retina, lo que proporciona un ejemplo metodológico de "pasar del desempeño de un solo centro a la validación externa" en lugar de conclusiones modelo que se pueden trasplantar directamente a estos 12 casos.[5]. Una revisión sistemática de la IA en el pie diabético también señaló que la falta de información sobre métricas como la calibración socava la interpretación del riesgo individual y la confiabilidad en la toma de decisiones.[6]. Por lo tanto, los puntos de innovación de este proyecto deben residir en el diseño de la evaluación, el consenso de expertos, la cadena de evidencia y las capacidades de verificación entre dominios, y no deben empaquetarse como un producto clínico verificado.
6. Del proceso piloto de 12 casos a la plataforma de evaluación multicéntrica
- Etapa 0|Acceso e inventarioConfirmar la autorización del proveedor de datos, la ruta ética, el uso de datos, el período de retención, el método de deduplicación a nivel de paciente y el rango de disponibilidad de imágenes/documentos; tarjeta de datos del formulario, informe faltante, diccionario de campo, pedigrí de archivos y lista de riesgos de privacidad.Los casos no se cargan en servicios de modelos externos hasta que se completan.
- Fase 1|12 Piloto de metodología de caso1–2 tareas adjudicables y revisables seleccionadas por expertos clínicos para cada enfermedad; anotación y arbitraje bipersonal; banco de trabajo de anotaciones de verificación, cita de evidencia, guión de puntuación, proceso de prueba ciega y etiqueta de gravedad de errores.Sólo se entregan informes de proceso, no se publican rankings ni estimaciones de desempeño.
- Etapa 2 | Diseño de población objetivo y tamaño de muestraNegociar con múltiples hospitales para cohortes prospectivas o retrospectivas para aclarar los criterios de inclusión, el espectro de la enfermedad, el equipo, la ventana de tiempo, el seguimiento de los resultados y la autorización de los datos.El equipo estadístico calculará el tamaño de la muestra en función de la precisión/intervalo de confianza del criterio de valoración principal y los requisitos del subgrupo; "reunir un lote de archivos" no se utilizará como estándar para la construcción de bases de datos.Realizar mapeo de variables intercentros, estandarización de unidades y alineación terminológica.
- Etapa 3 | Lista oficial y verificación ocultapublica la versión del protocolo, las reglas de envío de modelos, los indicadores de preinscripción, el tiempo de actualización de la lista, el conflicto de intereses y el mecanismo de apelación; configura conjuntos de desarrollo públicos y conjuntos ocultos controlados, informa resultados de subcentros y subtareas, calibración, incertidumbre, eventos de seguridad y grupos aplicables.Está prohibido reemplazar modalidades de imágenes no evaluadas con puntuaciones de tareas de texto.
- Fase 4|Eficacia clínica y seguimiento continuoEvaluar tiempo, calidad, seguridad y factores humanos en flujos de trabajo reales; monitorear la variación de equipos/población, cambios en la calidad de los insumos y escaladas de errores después de la entrada en funcionamiento.Cada vez que se cambian datos, directrices, interfaces de modelos o scripts de puntuación, se genera una nueva versión, se conservan los registros de reversión y las listas históricas y los resultados antiguos no se sobrescriben silenciosamente.
Se recomienda que la descripción de los datos siga la idea de una tarjeta de datos reutilizable e indique el tiempo de recolección, la categoría de la institución de origen, el calibre del recuento de casos y pacientes, las condiciones de inclusión, la definición de la etiqueta de cada tarea, los estándares de referencia, las funciones de los expertos, las deficiencias y sesgos, los permisos y métodos de acceso, los escenarios prohibidos, las diferencias de versión y las limitaciones conocidas.Para datos clínicos interinstitucionales, se pueden utilizar estándares comunes internacionalmente como OMOP CDM, LOINC, SNOMED CT e ICD como referencias de mapeo, pero se deben registrar los códigos originales, las versiones de las tablas de mapeo y los elementos no mapeables, y la semántica clínica original no se puede perder en aras de la "estandarización".
7. Propuesta de construcción de LumeSage y circuito cerrado comercial
Para los hospitales, el paquete de casos de enfermedades específicas no es una lista de IA ya preparada, sino la materia prima para iniciar proyectos de evaluación y producción de datos.Para el equipo médico de IA, poder responder "¿A qué grupo de personas, qué tarea, qué conjunto de etiquetas, a qué versión corresponde este resultado y a qué error corresponde este resultado?" puede respaldar mejor las decisiones de I+D que una puntuación total separada de los límites de la aplicación. La propuesta diferenciada de LumeSage se puede construir sobre tres líneas de entrega verificables: primero, los expertos definen tareas y estándares de referencia clínica;en segundo lugar, el equipo de ingeniería une documentos no estructurados, pruebas estructuradas, tiempo y fuentes en datos rastreables;En tercer lugar, el equipo de evaluación forma un circuito cerrado de iteraciones continuas mediante pruebas ciegas, estratificación de gravedad, verificación externa y gestión de versiones.
El valor de esta cadena de negocio va más allá de los modelos de formación: los hospitales pueden utilizar etiquetas unificadas y reglas de calidad para realizar investigaciones científicas, gobernanza de datos y cooperación multicéntrica;las empresas modelo pueden descubrir análisis de documentos, errores de unidad, degradación del rendimiento de subgrupos y una peligrosa subregistro antes de conectarse; los equipos de investigación pueden obtener protocolos experimentales que pueden revisarse;los pacientes se benefician de una cadena de evidencia más clara, una expresión de incertidumbre más apropiada y una colaboración entre humanos y máquinas más segura. Todos los valores deben verificarse mediante indicadores específicos del proyecto y no pueden inferirse únicamente en función de la cantidad de datos o la clasificación en la lista.
Por lo tanto, se recomienda que este proyecto se inicie como un "piloto de investigación DiaComp-Bench": primero cree una tarjeta de datos y cuatro catálogos de tareas de enfermedades, limitando 12 casos solo para el proceso de anotación de expertos y la verificación de herramientas de evaluación; crear una cohorte multicéntrica después de completar la revisión de cumplimiento; expertos clínicos, estadísticos, ingenieros de algoritmos y personal de seguridad del paciente congelan conjuntamente estándares de referencia, indicadores y conjuntos ocultos; después de la verificación externa y la evaluación del flujo de trabajo real, decida si divulgar las clasificaciones y sus límites aplicables. Esto no sólo respeta la evidencia actual, sino que también deja un camino claro para la posterior formación de un sistema de evaluación de IA de alta calidad, reproducible y clínicamente valioso para las complicaciones de la diabetes.
Referencias
- [1] Comité de Práctica Profesional de la Asociación Estadounidense de Diabetes. 11. Enfermedad renal crónica y gestión de riesgos: estándares de atención en diabetes—2026. Cuidado de la diabetes. 2026;49(Suplemento 1):S246–S260. DOI 10.2337/dc26-S011.
- [2] Tang Z, Wang L, Guo Z, et al. Un conjunto de datos de imágenes de retina multimodal para la detección de retinopatía diabética utilizando modelos básicos. Datos científicos. 2026;13:639. DOI 10.1038/s41597-026-07005-9.
- [3] ¿Pueden los modelos multimodales de lenguaje grande diagnosticar la retinopatía diabética a partir de fotografías del fondo de ojo? Una evaluación cuantitativa. Ciencia Oftalmológica. 2026;6(1):100911. DOI 10.1016/j.xops.2025.100911.
- [4] Collins GS, Lunas KGM, Dhiman P, et al. Declaración TRIPOD+AI: guía actualizada para informar modelos de predicción clínica que utilizan métodos de regresión o aprendizaje automático. BMJ. 2024;385:e078378. DOI 10.1136/bmj-2023-078378.
- [5] Meng et al. Diagnóstico por biopsia no invasiva de la enfermedad renal diabética mediante aprendizaje profundo aplicado a imágenes de retina: un estudio poblacional. The Lancet Salud digital. 2025. DOI 10.1016/j.landig.2025.02.008.
- [6] Modelos de clasificación de úlceras del pie diabético mediante técnicas de inteligencia artificial y aprendizaje automático: revisión sistemática. Revista de investigación médica en Internet. 2025;27:e69408. DOI 10.2196/69408.
- [7] Comité de Práctica Profesional de la Asociación Estadounidense de Diabetes. 12. Retinopatía, neuropatía y cuidado de los pies: estándares de atención en la diabetes—2026. Cuidado de la diabetes. 2026;49(Suplemento 1):S261–S276. DOI 10.2337/dc26-S012.
Descripción de la MetodologíaLa descripción de los archivos adjuntos en este artículo se limita a un inventario estructural a nivel de archivo; el contenido de la historia clínica a nivel del paciente no se muestra ni se reproduce. La detección de desensibilización automatizada no constituye una certificación de cumplimiento de la privacidad, ni los datos adjuntos constituyen un conjunto de capacitación pública ni clasificaciones de modelos clínicamente validados. Las definiciones clínicas y el uso deben ser juzgados por un profesional médico calificado junto con las pautas aplicables, un historial médico completo y las regulaciones locales.
