La multimodalité n’est pas aussi simple que « image plus texte »
Les modèles médicaux multimodaux sont souvent décrits comme une fusion d'images et de texte, mais les tâches réelles contiennent généralement au moins quatre types d'informations : des signaux visuels, des mesures structurées, des récits cliniques et un contexte temporel. Les volumes de tomodensitométrie, les sections entières de pathologie, les rapports de radiologie, les dossiers chirurgicaux, les indicateurs de laboratoire et les codes de diagnostic ont chacun des granularités, des mécanismes d'erreur et des temps disponibles différents. Le simple fait de les assembler peut entraîner une contribution plus importante, mais ne donne pas nécessairement lieu à des preuves cliniques plus fiables.
La première étape doit être de poser des questions claires sur la cible de prédiction et les modes visibles. Par exemple, le modèle de génération de rapports de radiologie lit les images une fois l'examen terminé ; le modèle de risque préopératoire ne peut utiliser que les informations recueillies avant la chirurgie ; l'outil d'assistant de pathologie peut utiliser des images de tranches et des antécédents cliniques limités. Si la tâche consiste à prédire les résultats postopératoires, la pathologie postopératoire en tant que caractéristique entraînera une fuite d'étiquette. Si les images ne sont pas disponibles lors du déploiement clinique, les modèles qui s'appuient sur des images pendant la phase de formation ne pourront pas se reproduire. La définition de la tâche doit également indiquer le moment cible, les sources d’entrée et les modalités autorisées. La pièce jointe
associe les champs de cas chirurgicaux, d'images, d'évolution de la maladie, de pathologie et de rapport, et nécessite que les images et les textes correspondent à la séquence complète. Ces exigences peuvent être traduites en contrats modaux : type de fichier, structure, métadonnées clés, seuils de qualité, clés d'association, fenêtres temporelles, sources d'annotations et statut manquant pour chaque modalité. Ce n’est que lorsque le contrat est approuvé que l’ingénierie du modèle peut savoir ce que représente réellement chaque échantillon.
Intégrité des données de volume DICOM et prétraitement interprétable La valeur du
DICOM réside dans la préservation des pixels de l'image ainsi que des métadonnées d'acquisition et spatiales. Les projets CT vérifient au moins PatientID par rapport au mappage des clés du patient du projet, StudyDate, Modality, BodyPartExamined, SliceThickness, PixelSpacing, Rows, Columns, BitsAllocated et d'autres informations nécessaires tout en vérifiant les références UID, le nombre d'instances, l'orientation de l'image, l'espacement des tranches, les tranches en double et les plages de valeurs de pixels. Différentes séquences reconstruites peuvent correspondre à différents noyaux, épaisseurs de tranche ou stades d'agent de contraste ; les traiter comme des images homogènes perturbera la distribution des données de formation.
« Séquence complète » doit être définie par tâche. Pour la classification des volumes, toutes les coupes axiales éligibles peuvent être requises ; pour la détection des lésions, des séquences de localisation et de reconstruction peuvent également être nécessaires ; pour les tâches de corrélation de rapport, les séquences et les identifiants pertinents au sein du même examen doivent être conservés. Vous ne pouvez pas simplement choisir trois images clés pour remplacer par défaut un CT complet. Si vous effectuez un filtrage ou un rééchantillonnage d'images clés, les statistiques de l'ID de séquence parent, de la méthode de filtrage, de la version de l'algorithme, de la transformation spatiale et des données supprimées doivent être enregistrées. Le prétraitement n'est pas un détail technique invisible, mais une partie du spectre des données.
La désidentification doit être traitée ensemble aux niveaux de l’image et des métadonnées. La norme DICOM fournit des profils d'attributs, mais le texte libre, les balises privées, les noms et dates gravés en pixels, les associations UID et les métainformations de fichiers peuvent tous présenter des risques. D’un autre côté, certaines tâches nécessitent la préservation de liens temporels, de groupes d’âge ou longitudinaux relatifs. La configuration et les contrôles de risque utilisés doivent être déterminés par l'équipe de confidentialité et de gouvernance des données et vérifiés par des échantillons d'inspections. Les copies de recherche et les tables de mappage originales doivent être gérées séparément, et les politiques d'autorisations, d'audit et de conservation doivent être intégrées dans le processus de projet.
La qualité d’image inclut également les différences d’équipement et d’acquisition. Le fabricant du scanner, le noyau de reconstruction, l'épaisseur de la tranche, le protocole de l'agent de contraste, le bruit de l'image, les artefacts de mouvement, le champ de vision et les modifications du protocole peuvent tous contribuer aux changements de domaine. L'évaluation du modèle doit documenter le site, l'équipement, l'année d'inspection et le protocole, et éviter les fuites accidentelles d'échantillons presque identiques provenant du même centre lors des fractionnements de formation et de test. Même si la séquence complète est conservée, vérifiez si l’analyse couvre le site cible, si l’image est lisible et si le sujet répond aux critères d’inclusion.
Les sections pathologiques complètes doivent être connectées couche par couche du patient, de l'échantillon au patch
Les images pathologiques en tranches entières (WSI) atteignent généralement des milliards de pixels. Lors du traitement du modèle, ils sont divisés en un grand nombre de correctifs locaux, puis résumés en représentations par tranches ou au niveau du patient. Si vous ne regardez que l'étiquette de diagnostic final, il est facile de négliger le type d'échantillon, le lieu d'échantillonnage, la qualité des tissus, la coloration, le grossissement de la numérisation et la version du rapport de pathologie. Le niveau de données correct comprend au moins les patients, les visites, les échantillons, les blocs de tissus, les lames, les WSI, les patchs et les rapports ; les différents niveaux doivent avoir des identifiants de traçabilité.
Le texte du rapport de pathologie peut fournir des étiquettes faiblement supervisées, mais le rapport ne correspond pas toujours de manière individuelle à chaque patch. La section entière peut contenir simultanément une tumeur, un stroma, une nécrose, une inflammation et des tissus normaux. La copie directe des diagnostics de malignité au niveau du patient sur tous les correctifs générera un grand nombre d'étiquettes bruyantes. L'apprentissage multi-instance, le regroupement d'attention ou l'annotation de régions peuvent gérer des étiquettes faibles, mais les performances de l'algorithme reposent toujours sur la qualité des étiquettes au niveau du cas, la sélection des tranches et la couverture des échantillons. Si la détection des lésions au niveau régional est étudiée, un processus régional d’étiquetage et d’examen par les pathologistes doit être conçu.
Les marqueurs immunohistochimiques, les colorations spécifiques, la description histologique et la classification TNM/AJCC doivent être abordés avec la conclusion. Les résultats de marquage doivent être conservés comme positifs/négatifs, indéterminés ou non testés ; la version applicable et la source des preuves doivent être indiquées pour la mise en scène. Pour les tumeurs malignes, la stadification clinique, la stadification par imagerie et la stadification pathologique postopératoire ne sont pas des domaines synonymes. Si la tâche modèle utilise des étiquettes d'étape, il doit être clair quelle étape est prédite et en fonction de quel moment et de quelle norme. Les patients qui ne réussissent pas un certain test ne peuvent pas être directement marqués comme négatifs.
Trois voies de fusion pour l'appariement d'images et de textes
La fusion précoce combine du texte, des variables structurées et des caractéristiques visuelles au niveau de l'entrée ou des couches antérieures, ce qui peut capturer des interactions fines, mais nécessite une association de temps, d'échantillons et d'étiquettes assez précise. La fusion à moyen terme permet à différents encodeurs d'apprendre de manière indépendante d'abord, puis d'aligner les modalités par le biais d'une attention croisée, d'un apprentissage contrastif ou d'un espace latent partagé pour faciliter la rétention de l'expertise modale. La fusion tardive produit d’abord des résultats monomodaux, puis fusionne les décisions. Le système est plus facile à expliquer et plus tolérant à l’absence de certaines modalités, mais il ne sera peut-être pas capable d’apprendre une complémentarité intermodale complexe.
Avant de sélectionner une méthode de fusion, établissez une base de référence simple : variables cliniques uniquement, texte uniquement, image uniquement et fusion tardive simple. Si un modèle multimodal complexe ne surpasse pas systématiquement la ligne de base, cela peut être dû à des erreurs d'appariement, à une taille d'échantillon insuffisante, à du bruit d'étiquette ou à une modalité exprimant simplement la même information de manière répétée. Les expériences d'ablation qui « suppriment une modalité » doivent également être comparées aux performances des tests et à l'étalonnage en l'absence de la modalité. Si un modèle ne fonctionne que lorsque tous les modes sont terminés, la fin du déploiement doit confirmer que ces entrées sont stables et disponibles dans la scène cible. Les travaux TITAN de
Nature Medicine en 2025 démontrent une ligne de recherche pour l'apprentissage de la représentation en tranches complètes, de la description de régions et du transfert entre tâches avec désidentification à grande échelle d'images et de rapports pathologiques ; Le PRISM2 de Nature Medicine en 2026 mène en outre des recherches autour des modèles pathologiques fondamentaux et de l'encadrement du dialogue clinique. Ces articles illustrent que l'appariement de rapports et la représentation multi-échelle sont des directions de recherche actives, mais que les données de formation, les tâches, les évaluations externes et les licences modèles des articles ont leurs propres limites, et leurs indicateurs papier ne doivent pas être directement traduits en qualité des données ou en promesses de bénéfices cliniques d'un certain projet.
L'étiquette, la source et l'heure déterminent si l'avis est valable
Les rapports d'imagerie et les rapports de pathologie sont des preuves cliniques, mais ils peuvent également contenir des erreurs, des retards, des différences de version ou une incertitude diagnostique. Pour l'apprentissage supervisé, les étiquettes doivent conserver le type de source, la durée de génération, le statut de révision, la version de la règle et l'incertitude. Les étiquettes automatiquement extraites du texte du rapport doivent être échantillonnées et vérifiées avec le rapport original ; Les pseudo-labels générés par le modèle ne doivent pas être confondus avec les labels d'experts sans examen. Si l’étiquette provient d’une pathologie postopératoire, mais que l’entrée concerne uniquement des images préopératoires, sa durée et la population applicable doivent être clairement définies.
L'ensemble de formation, l'ensemble de validation et l'ensemble de test doivent être isolés par patient pour éviter plusieurs tranches, plusieurs analyses ou des rapports répétés du même patient sur plusieurs ensembles. Pour les données de la même institution, il peut également y avoir des fuites d'images quasi-dupliquées, de documents modèles, de copies de post-traitement d'images et de marquages d'équipement. Une vérification externe indépendante devrait tenter de provenir de différents sites ou de différentes périodes et vérifier si le processus d'étiquetage est cohérent. Si l’objectif est un déploiement multi-pays, multi-langues ou multi-appareils, la couverture des données doit également refléter ces différences ; le score élevé d'un seul site ne peut pas répondre à la question de la fiabilité hors domaine.
doivent dépasser AUROC. La tâche de classification peut examiner simultanément l'AUPRC, la sensibilité, la spécificité, la valeur prédictive positive, la valeur prédictive négative, l'étalonnage et les performances de seuil ; la tâche de segmentation doit signaler les erreurs liées aux limites et aux volumes ; la génération de rapports nécessite une cohérence factuelle, des omissions, des faux positifs et un examen par des experts cliniques. Une analyse de sous-groupe doit être effectuée pour le dispositif, le site, le groupe d'âge, le sexe, le sous-type de maladie, la modalité manquante et la complexité du cas, et des intervalles de confiance doivent être indiqués. Les scénarios cliniques évaluent également la collaboration homme-machine, les impacts sur le flux de travail et la gestion sûre des pannes.
Une liste de contrôle d'acceptation des données multimodales exploitable
La première couche est le fichier et les métadonnées : si le DICOM peut être lu, si la séquence est complète, si les pixels et les informations spatiales sont valides ; si la couche de texte PDF peut être extraite, si l'ordre des pages et le tableau sont complets ; si l'image pathologique répond aux exigences de résolution et de numérisation. Le deuxième niveau est l'association : s'il existe une relation vérifiable entre les clés des patients, les clés des visites, les dates d'examen, les rapports d'imagerie, les dossiers chirurgicaux, les numéros de pathologie et les coupes. Le troisième niveau est le contenu : si les domaines cliniques, les étiquettes et les conclusions de l'imagerie peuvent être localisés dans le texte original, et s'il existe des explications pour les principales lacunes. Le quatrième niveau est la gouvernance : si la portée de l'autorisation, le processus de désensibilisation, les droits d'accès, les règles de conservation et de destruction sont enregistrés.
Le « dossier complet du patient » doit être utilisé comme une unité pour une inspection aléatoire, et non comme un simple document. Stratifiés par modalité et complexité, l'évolution, les tests, les examens, les interventions chirurgicales, les sorties et les trajectoires pathologiques du même patient ont été revérifiés. La pièce jointe propose que les champs du rapport d'image incluent la date de l'examen, l'équipement, le site, l'analyse simple/l'analyse améliorée, les résultats positifs/négatifs, les résultats de l'image et la conclusion ; ces champs peuvent être convertis en taux manquant, en légalité des valeurs et en contrôle de cohérence du texte original. Pour les erreurs de corrélation graves détectées dans un seul cas, il est nécessaire d’évaluer s’il s’agit d’un problème systémique et d’élargir l’échantillonnage, plutôt que de simplement corriger un seul fichier.
Pour l'équipe d'ingénierie des algorithmes, le package de version finale doit également avoir un manifeste reproductible : liste d'échantillons au niveau du patient, hachage de fichier modal, version des données, règles de filtrage, résultats de segmentation, version du pipeline de transformation, définition d'étiquette et script d'évaluation. Les identifiants sensibles ne doivent pas apparaître dans les listes publiques, mais les identifiants contrôlés peuvent être utilisés au sein du projet pour compléter la traçabilité. Les fiches de données doivent décrire les populations couvertes, les sites, les appareils, les délais, les modalités manquantes, les biais connus et les limites. Une telle livraison prend en charge la récurrence ultérieure et l'examen des changements de modèle.
Fixez des limites claires, de la préparation des données à la validation clinique
Les performances de base de la recherche n’équivalent pas à l’utilisabilité clinique. Avant d'entrer dans le flux de travail réel, il est également nécessaire de vérifier comment le système fonctionne sous les utilisateurs cibles, les appareils cibles, les charges réelles et les entrées anormales ; si les résultats du modèle sont correctement compris ; s'il peut rejeter ou demander lorsque l'entrée est incertaine ou manquante ; si de nouveaux écarts ou charges de travail surviennent. Les principes GMLP de la FDA/IMDRF mettent l'accent sur la correspondance des données avec la population cible, l'indépendance de la formation et des tests, l'équipe homme-machine et la surveillance du cycle de vie complet ; DECIDE-AI fournit un cadre de reporting pour une évaluation clinique précoce. Ils prennent en charge la conception de processus et n'approuvent pas automatiquement un modèle. L'équipe de développement du
peut définir la boucle fermée de l'évaluation pour : la vérification de la source de données et de l'autorisation, l'association au niveau du patient, l'inspection de la qualité des modalités, l'examen des étiquettes, la segmentation des versions, la comparaison de référence et multimodalité, la validation externe, l'analyse des sous-groupes et des échecs, l'examen par des experts et l'évaluation de régression révisée. Chaque fois que les données ou le modèle sont mis à jour, l'ampleur du changement et l'impact sur les indicateurs doivent être enregistrés. Si de nouveaux équipements, de nouveaux modèles de rapport ou de nouveaux sites sont ajoutés, cela doit être considéré comme un changement de distribution et les performances clés doivent être revalidées plutôt que de supposer que le modèle se généralisera naturellement.
Langhui peut aider au tri des champs de données médicales, au contrôle de la qualité des données d'imagerie et de pathologie, aux annotations médicales, aux tests aveugles et à la conception de l'évaluation des algorithmes en fonction de la portée confirmée du projet. Les sources d'échantillons spécifiques, le volume de cas, la couverture modale, l'attribution des experts et les résultats d'acceptation doivent être soumis aux documents officiels du projet ; cet article ne représente pas un inventaire ponctuel, des essais cliniques ou un engagement envers le diagnostic et les effets du traitement. L’intérêt des données multimodales de haute qualité réside dans le fait que chaque entrée, étiquette, conclusion et restriction peut être vérifiée, aidant ainsi l’équipe chargée de l’algorithme à rendre le problème de recherche plus reproductible.
La qualité du couplage multimodal doit être évaluée indépendamment plutôt que de simplement vérifier si les fichiers existent simultanément. La clé du patient et de la visite, l'heure, le site anatomique, le numéro d'examen, le numéro de pathologie, les dossiers chirurgicaux et les citations du rapport peuvent être utilisés comme preuves correspondantes, et les examinateurs cliniques peuvent échantillonner et confirmer si les images et le texte correspondent réellement. Si les images proviennent de préopératoires mais que le rapport provient d'un examen postopératoire, ou si les échantillons pathologiques sont prélevés dans différentes parties, les fichiers ne sont toujours pas efficacement appariés dans le même répertoire de patients. Le statut de correspondance doit être divisé en confirmé, correspondance automatique en attente, non-concordance suspectée et sans correspondance, et le statut pouvant être utilisé dans la tâche modèle doit être défini.
Les données d'évaluation empêchent également la duplication implicite de coupes, de séquences ou d'images dérivées du même patient. Le hachage d'image et le hachage perceptuel peuvent trouver des documents identiques ou presque en double ; les clés de patient et les clés d'examen peuvent trouver des examens en double ; les modèles de rapport et les dates peuvent trouver des documents en double. Des échantillons presque en double peuvent donner un score faussement élevé à l’ensemble de tests. Les règles de déduplication doivent conserver le mappage des enregistrements supprimés avec l'enregistrement principal et être exécutées avant la segmentation des patients. Lors de l'évaluation externe, il est également nécessaire d'enregistrer si l'agence de vérification apparaît dans le matériel de formation et si les images sont reproduites à partir de la même source de données ou source publique.
Pour les modèles génératifs, l'évaluation doit également se concentrer sur les résultats qui « semblent raisonnables mais n'ont aucune preuve ». Les questions-réponses d'images et la génération de rapports peuvent vérifier les résultats clés manquants, les ajouts incorrects, les mots inversés négatifs, les sites anatomiques incorrects et les expressions d'incertitude ; les descriptions pathologiques doivent faire la différence entre ce qui est réellement visible sur les diapositives et ce qui est déduit du contexte clinique. Les examens aveugles par des experts, la vérification des faits fondée sur des données probantes et la classification structurée des erreurs doivent être utilisés ensemble. Si des indicateurs d'évaluation automatique sont utilisés, leur relation avec le jugement d'un expert doit d'abord être vérifiée, et la similarité du texte ne peut pas être directement assimilée à l'exactitude clinique.
En termes de prétraitement de l'image, de normalisation, de largeur et de niveau de fenêtre, de rééchantillonnage, de recadrage, de normalisation des couleurs et de filtrage des régions tissulaires, tous peuvent modifier le signal vu par le modèle. Chaque étape doit avoir des versions, des paramètres et des journaux d'échecs, et essayer de conserver les mêmes règles lors de la formation et des tests. Pour CT, la largeur de la fenêtre, le niveau de la fenêtre et la sélection du noyau de reconstruction peuvent affecter la texture ; pour la pathologie, la normalisation des taches peut atténuer les différences de numérisation, mais peut également effacer les signaux significatifs d’intensité des taches. Soyez validé par l'ablation et la superposition de sites, et évitez de traiter le prétraitement comme une étape générique et inoffensive.
Si l'algorithme doit être utilisé pour la collaboration homme-machine, l'ensemble de données et l'évaluation doivent enregistrer la référence du médecin, les performances du modèle seules et les performances du médecin plus le modèle. Les modèles sont améliorés sur un ensemble de tests indépendants et rien ne garantit que le flux de travail du médecin sera plus sûr ou plus efficace. L'utilisation réelle dépend également de la question de savoir si les recommandations modifient les décisions, si les médecins ignorent ou écrasent les modèles, si les erreurs de modèle sont découvertes à temps, si les échantillons peu fiables sont convertis en travail manuel et si les utilisateurs ayant des niveaux d'expérience différents en bénéficient systématiquement. L'évaluation clinique précoce doit d'abord se concentrer sur la facilité d'utilisation et les dommages potentiels, puis évaluer progressivement les résultats cliniques ; il ne peut pas passer directement des scores de correspondance image-texte hors ligne aux conclusions sur les avantages cliniques.
Pour les cas chirurgicaux, les images doivent former une relation séquentielle vérifiable avec les dossiers médicaux préopératoires, les dossiers opératoires, les observations postopératoires et les résumés de sortie. L'exemple de spécification d'approvisionnement en pièce jointe exige que les images préopératoires/postopératoires correspondent à la description textuelle immédiate et stipule une certaine résolution d'image minimale, un nombre d'images par cas et une couverture de plusieurs services chirurgicaux ; ces chiffres constituent des conditions d'acceptation de projet et non une norme scientifique commune à toute la recherche en imagerie. Le dialogue de consultation a également une structure modale indépendante : les cycles de dialogue, les scènes d'interprétation de la première consultation/consultation de nouvelle consultation/consultation médicamenteuse/examen, les images téléchargées par le patient et les conclusions de l'interprétation du médecin doivent toutes être liées, et les images ne peuvent pas être utilisées comme étiquettes séparément du dialogue correspondant. Ce n'est qu'en écrivant explicitement ces conditions dans l'exemple de schéma que vous pourrez vérifier si l'entrée du modèle est disponible dans des scénarios d'utilisation réels et si elle est cohérente avec le texte.
et sources de données
Cet article résume les points clés de l'ingénierie des données et de la conception de cohortes basées sur les champs de données médicales et les documents d'exigence de rachat fournis par les utilisateurs, et en discute en conjonction avec des recherches publiques évaluées par des pairs, des normes techniques et des directives réglementaires/de reporting. Les champs, les seuils de filtre et les quantités dans la pièce jointe sont des exemples de spécifications d'exigences et ne prouvent pas que les données ont été achetées, livrées ou ont réussi la validation du modèle. Les algorithmes et processus décrits dans cet article sont utilisés pour la recherche scientifique et les discussions sur la conception technique et ne constituent pas un diagnostic médical ou des recommandations de traitement. Les projets spécifiques sont soumis à des autorisations, des fiches de données, des contrats et des examens d'éthique/conformité. Références
et normes techniques Déclaration
- End-to-end multimodal pathology foundation model with clinical dialogue (PRISM2), Nature Medicine (2026)
- A whole-slide foundation model for digital pathology from real-world data (TITAN), Nature Medicine (2025)
- Longitudinal alignments and syntheses of multimodal clinical data for personalized medicine with the PULSE framework, Nature Computational Science (2026)
- DICOM PS3.15 Security and System Management Profiles
- Good Machine Learning Practice for Medical Device Development, FDA / IMDRF
- DECIDE-AI reporting guideline, Nature Medicine
