Pourquoi « l'agrégation par patient » modifie la valeur algorithmique des données
Les échantillons de formation à l'intelligence artificielle médicale sont souvent livrés sous forme de fichiers : un PDF, une image, un tableau structuré, qui peuvent être ouverts individuellement, mais une fois rassemblés, on ne sait pas forcément s'ils proviennent du même patient, de la même hospitalisation ou du même stade clinique. Pour le modèle, ce n’est pas un petit défaut de finition, mais la définition de l’échantillon en elle-même ne tient pas. Si le scanner dans l'entrée du modèle appartient à un autre patient, ou si le diagnostic de sortie ne correspond pas à l'évolution de la maladie, le modèle peut apprendre la mauvaise association et les indicateurs d'évaluation perdront la base d'interprétation. Le package de données au niveau du patient
redéfinit « l'échantillon » d'un fichier isolé à un objet clinique avec des limites : l'identité du patient utilise une clé anonymisée stable ; il y a plusieurs visites ou hospitalisations sous le patient ; chaque visite est associée à la documentation du cours, aux examens, aux tests, aux ordonnances du médecin, aux séquences d'imagerie et aux preuves pathologiques. De cette manière, l'équipe de formation peut clarifier si l'échantillon est au niveau du patient, de la visite, de l'examen ou du document unique, et par conséquent empêcher les données de la même personne de fuir à travers l'ensemble de formation et l'ensemble de tests. La pièce jointe
propose de lier les documents structurés CSV, PDF, DICOM et pathologie sous le même identifiant de patient, et exige que chaque package patient vérifie l'intégrité intermodale. Cette direction correspond à la résolution d’entités et à la parenté des données dans l’ingénierie algorithmique : une clé patient doit connecter plusieurs entités cliniques, mais cela ne signifie pas que tous les types de données doivent exister. Le modèle de données correct doit faire la distinction entre « ne s'est pas produit », « cliniquement non applicable », « non collecté », « collecté mais non livré », « échec d'association » et « qualité non qualifiée », plutôt que d'écrire toutes les valeurs manquantes sous forme de valeurs nulles.
Créez le package patient dans un modèle de données standardisé au lieu d'un tableau récapitulatif aplati
Un modèle ancré contient généralement cinq types d'entités principales. La première catégorie est Patient : utilise un identifiant pseudonymisé à l'échelle du projet et n'enregistre pas directement le champ d'identité réel. La deuxième catégorie est Rencontre : elle décrit les événements ambulatoires, d'hospitalisation, d'urgence ou de suivi, en enregistrant l'heure de début et de fin, l'établissement, le service et le type de visite. La troisième catégorie est ClinicalEvent : elle indique des événements tels que l'évolution de la maladie, le diagnostic, l'examen, l'examen d'imagerie, la chirurgie, les médicaments ou la sortie. La quatrième catégorie est Artefact : pointe vers le PDF source, l'étude/la série DICOM, le rapport de pathologie ou la diapositive. La cinquième catégorie est l'assertion : champs d'enregistrement, conclusions, emplacements des preuves, statut de la révision et versions obtenues à partir de l'extraction du texte original ou de l'annotation manuelle.
Des relations explicites doivent être utilisées entre ces entités plutôt que de s'appuyer uniquement sur les noms de fichiers. Un patient peut avoir plusieurs visites médicales ; une visite médicale peut être associée à plusieurs documents et plusieurs examens ; un rapport d'imagerie peut décrire un examen, qui à son tour contient plusieurs séries DICOM ; un rapport de pathologie peut être associé à un ou plusieurs échantillons, sites d'échantillonnage et lames. Pour les rapports, les champs structurés et les images qui doivent être joints, la table de relations doit enregistrer la clé associée, la méthode de correspondance, le niveau de confiance, la fenêtre temporelle, l'état de la révision manuelle et le motif de l'exception. Lorsqu'il n'existe pas de base fiable, elle doit être conservée comme « à vérifier » et aucune correspondance forcée n'est autorisée pour augmenter le taux d'exhaustivité. La sémantique du champ
doit également être standardisée. La date doit au moins distinguer l'heure de survenance de l'événement, l'heure de collecte, l'heure d'émission du rapport, l'heure d'enregistrement du document, l'heure de révision du document et l'heure d'entrée sur la plateforme de données. Les valeurs doivent conserver la valeur d'origine, l'unité, l'intervalle de référence, l'indicateur d'anomalie et la valeur standardisée ; Le diagnostic doit conserver le texte original, le système de codage, la version de codage et la base de cartographie. Les commandes de médicaments peuvent conserver le nom d’origine du médicament, sa posologie, sa fréquence, son itinéraire et son statut d’exécution ; les codages standard tels que les codes ATC sont des mappages auxiliaires et ne doivent pas couvrir le texte clinique original. L'objectif du modèle de données unifié est d'être à la fois calculable et récupérable.
Comment le texte original, les champs structurés et les fichiers multimodaux forment une chaîne de preuves
S'il ne reste que des résultats structurés, il sera difficile pour les réviseurs ultérieurs de déterminer si les champs sont des enregistrements originaux, des extractions de règles, des prédictions de modèle ou des ajouts manuels. Chaque champ clé doit pouvoir être retracé jusqu'à la source : identification du fichier, type de document, numéro de page ou fragment de texte, chemin du champ d'origine, méthode d'extraction, rôle de l'annotateur, heure de révision et version des données. Pour les rapports d'imagerie, les conclusions du rapport peuvent être liées à la date de l'examen, à la modalité, au site et à l'identification de l'étude/série ; pour les résultats de pathologie, le rapport de pathologie, les informations sur les échantillons et les coupes correspondantes doivent être connectés. La chaîne de preuves permet aux ensembles de formation en aval de retracer les erreurs au lieu de simplement découvrir leur existence. La pièce jointe
met en avant des exigences relatives aux documents tels que la couche de texte extractible, la correspondance entre les patients et les visites et les dossiers de sortie nécessaires. Ces contrôles couvrent en réalité deux axes qualité différents : l’un est la lisibilité machine et l’autre la fermeture clinique. Le fait que le texte PDF puisse être copié ne signifie pas que l’extraction du texte est sans erreur ; l'ordre des tableaux, des notes de bas de page, des unités, de la pagination et de la numérisation doit être vérifié de manière aléatoire. L’existence d’un dossier de sortie ne signifie pas que l’évolution de la maladie est terminée ; il convient de vérifier qu'il se situe dans la même plage de visites que le diagnostic d'admission, le processus d'hospitalisation et le résultat de la sortie. Pour les indicateurs clés, comparez les champs structurés et les preuves textuelles originales pour estimer l’exactitude de l’extraction et les taux d’omission.
Le même « diagnostic » peut changer progressivement au cours de l'admission, de la révision des cours, des dossiers opératoires, des rapports de pathologie et des résumés de sortie. Le supprimer dans un diagnostic final efface les informations importantes sur le temps et l’incertitude des études modèles. Une approche plus prudente consiste à conserver l'énoncé du diagnostic avec le temps, le rôle de l'auteur, la base du texte original et le statut, et à faire une distinction claire entre le « diagnostic clinique de travail », le « diagnostic révisé », le « diagnostic postopératoire », le « diagnostic pathologique » et le « diagnostic de sortie ». Les modèles peuvent sélectionner les fonctionnalités disponibles avant une certaine heure pour chaque tâche, tout en évitant de consulter des informations ultérieures dans les tâches de prédiction.
DICOM et pathologie ne peuvent être réduits à quelques images représentatives Les images
sont des données de séquence avec un contexte d'acquisition, et non une collection de fichiers JPEG. Pour la tomodensitométrie ou l'IRM, le niveau, l'orientation, l'espacement des pixels, l'épaisseur de la tranche, le noyau de reconstruction, le stade de l'agent de contraste et le nombre d'images du dossier d'examen, de l'étude, de la série et de l'instance affectent tous l'entrée de l'algorithme. L'annexe souligne que la séquence complète, les examens multiples d'un même patient et les images préopératoires et postopératoires doivent être conservés. Au cours du projet, il est également nécessaire de vérifier si la série est complète, si les instances en double, les couches manquantes, l'orientation et les informations géométriques sont cohérentes, et de vérifier la date et le lieu d'inspection dans le rapport avec les métadonnées DICOM. Si l'objectif de formation ne nécessite en réalité que la sélection d'images clés, la stratégie de sélection et la relation entre la séquence parent doivent également être enregistrées. La pathologie
comporte également plusieurs niveaux : le numéro de pathologie, l'échantillon, le bloc de tissu, la coupe, l'image numérique de coupe entière (WSI), le patch local et la conclusion du rapport ne peuvent pas être mélangés dans un seul fichier. Le grossissement de la numérisation, la taille des pixels, le type de coloration, le scanner, la couverture tissulaire et les artefacts de l'image de la diapositive affectent tous la facilité d'utilisation. Les champs macroscopiques, microscopiques, immunohistochimiques et de stade du rapport ont chacun une signification sémantique ; La stadification TNM/AJCC des cas de cancer nécessite l'enregistrement de la version et de la source. La pathologie postopératoire peut ou non être cohérente avec l'imagerie préopératoire ou le diagnostic clinique ; ce dernier constitue une différence importante entre les étiquettes et devrait être conservé en tant que phénomène pouvant faire l'objet de recherches plutôt que directement supprimé en tant qu'erreur de données. La désidentification DICOM
n’équivaut pas non plus à la suppression d’un champ PatientName. DICOM PS3.15 décrit les fichiers de configuration de confidentialité au niveau des attributs, mais le processus réel doit également prendre en compte les relations UID et de référence, les attributs privés, le texte libre, le texte gravé en pixels, les zones de début de fichier et les risques de réidentification après combinaison avec d'autres données. Lors du maintien de certains âges ou caractéristiques d'âge nécessaires en fonction de la mission, une approche contrôlée, minimale et vérifiable doit être utilisée et évaluée par les parties responsables de la gouvernance des données et de la confidentialité. Les clés des patients peuvent être utilisées pour une corrélation interne, mais la table de cartographie doit être isolée des données de recherche, strictement autorisée, et la pseudonymisation ne peut pas être confondue avec l'anonymat.
De l'acceptation des données à la vérification de l'utilisabilité du modèle
L’acceptation du colis patient comprend au moins quatre niveaux. La couche structure vérifie si les répertoires, les formats de fichiers et les entités requises existent ; la couche association vérifie si les patients, les visites, les examens, les rapports et les images sont correctement connectés ; la couche de contenu vérifie de manière aléatoire les champs, les couches de texte, l'intégrité des images et les preuves documentaires cliniques ; la couche de gouvernance vérifie la portée de l’autorisation, la désidentification, le contrôle d’accès et les périodes de conservation. L'idée contenue dans la pièce jointe consistant à « vérifier les fichiers CSV/PDF/image/pathologie sous le même identifiant, vérifier les horodatages et les textes originaux et vérifier la proportion d'échantillons difficiles » peut être réécrite en une règle d'acceptation reproductible, et les entrées ayant échoué peuvent être affichées dans une liste de différences qui peuvent être localisées.
L'acceptation technique ne signifie pas que les performances du modèle sont disponibles. La tâche de modèle doit définir séparément la population cible, le moment de l'index, la fenêtre de prédiction, la source de l'étiquette, la définition positive, les conditions d'exclusion et les scénarios d'utilisation clinique. La formation, la validation et les tests doivent être répartis sur une base patient ; si le même patient a plusieurs visites, plusieurs séquences d'images ou plusieurs coupes, ils doivent être isolés dans leur ensemble. La composition de l'échantillon, l'hôpital, le temps, l'équipement, le service et la complexité des cas affecteront tous la généralisation externe, et les changements de distribution ne peuvent pas être éliminés en augmentant la taille du fichier.
L'objectif ultime est de rendre les données réutilisables, auditables et réinterprétables pendant le cycle de vie du modèle. Les champs et les règles d'association définis lors de la passation des marchés doivent être mappés aux cartes de données, aux versions des ensembles de formation, aux ensembles d'évaluation, à l'analyse des erreurs et aux enregistrements de révision ultérieurs. Si un champ passe de l'extraction du texte original à une double révision manuelle, ou si une séquence d'images subit un nouveau processus de désidentification, les différences de version et l'impact sur les évaluations existantes doivent être conservés. Un package patient n’est pas un fichier ZIP fixe de manière permanente, mais un produit de données structuré autour d’entités cliniques, de preuves sources, d’autorisations et d’état de qualité.
Dans quels aspects Langhui peut-il fournir une assistance vérifiable ?
Les projets d'IA médicale nécessitent souvent la traduction des spécifications d'approvisionnement en interfaces de données, en définitions d'échantillons et en logique d'acceptation. En se concentrant sur l'autorisation du projet et la portée convenue, Langhui peut aider à trier le dictionnaire de données, les règles d'association au niveau du patient, la correspondance entre les fichiers sources et les champs structurés, les spécifications d'annotation médicale, les plans de contrôle qualité de l'échantillonnage et la conception de l'évaluation du modèle. Le contenu spécifique de la livraison, les sources de données, l'échelle, la couverture du sujet et les indicateurs de qualité doivent être soumis au contrat de projet, à la fiche de données et au plan de réception confirmés par les deux parties ; cet article ne représente pas un engagement concernant un échantillon spécifique ou des résultats de livraison.
Une façon exécutable de commencer consiste à sélectionner d'abord un échantillon représentatif autorisé pour effectuer un POC à petite échelle : vérifier la cartographie sur le terrain, le lien entre le patient et la visite, l'alignement temporel, la lecture DICOM/pathologie, les limites de désensibilisation, la cohérence des annotations et les rapports d'acceptation. Le POC ne doit pas seulement examiner « l'ouverture réussie », mais également enregistrer la catégorie d'échec, le coût de correction et les limites de l'échantillon qui ne peuvent pas être couvertes avant de décider de l'étendre. Pour les données médicales, divulguer clairement les lacunes et les incertitudes a souvent plus de valeur technique que de donner un score total apparemment beau. La construction du package patient
doit également gérer le cycle de vie de la clé d’identité. L'identifiant interne du projet doit être généré par un processus contrôlé, en évitant l'utilisation directe de numéros identifiables tels que les numéros d'identification, les numéros de téléphone portable et les numéros de dossier médical ; la correspondance entre sources doit utiliser des règles déterministes ou probabilistes approuvées et enregistrer la base de correspondance et l'état de conflit. L'appariement probabiliste ne doit pas seulement produire un identifiant final, mais doit également fournir des seuils, le nombre de candidats et un examen humain. Si un patient ne peut pas être apparié de manière fiable, il est préférable de le laisser comme un échantillon non lié plutôt que de le fusionner de manière incorrecte car « le dossier du patient doit être complet ». La question de savoir si la même clé de pseudonyme peut être réutilisée entre différents projets doit être déterminée par la portée du système d'autorisation et de gouvernance.
D'un point de vue technique, il est préférable de contrôler la qualité des données séparément avant la collecte, le traitement, la livraison et la formation. L'extrémité source vérifie l'intégrité, les autorisations et le format du fichier ; la fin du traitement vérifie l'analyse, le mappage de champs, l'établissement de relations et la désidentification ; le manifeste des contrôles de fin de livraison, la vérification des fichiers et les résultats de l'échantillonnage ; puis vérifie les tâches cibles, les étiquettes, la segmentation des patients et les versions de données avant la formation. Les règles de qualité doivent avoir des niveaux de gravité : par exemple, l'inadéquation des patients et l'exposition d'informations identifiables devraient bloquer la livraison ; un petit nombre de suppressions de champs non critiques peuvent être acceptées après divulgation ; les suppressions modales doivent être jugées si elles dépassent l'accord du contrat de tâche. Donner un seul « taux de réussite » masque les différences dans le risque d'erreurs différentes.
La conception de la base de données doit prendre en compte à la fois la préservation du texte original et l'utilisation d'algorithmes. Les données originales sont enregistrées en lecture seule et additionnées de contrôle ; les résultats de l'analyse sont stockés dans une table dérivée, enregistrant la version de l'analyseur et la durée d'exécution ; les champs révisés sont écrasés par de nouvelles versions de la logique plutôt que d'être réécrits sans trace. Générez une liste lisible par machine des entités attendues, des entités réelles, des hachages de fichiers sources, des résultats de corrélation, de l'état du contrôle qualité et des codes d'exception pour chaque package patient. Si une cartographie diagnostique est corrigée par un expert clinique, la cartographie originale et la justification de la révision sont conservées pour faciliter la reproductibilité de l'expérience. Les journaux d'accès aux fichiers bruts sensibles et les autorisations d'accès aux données de formation doivent être gérés séparément.
Les dossiers destinés aux patients doivent également clarifier la différence entre « échantillon minimum disponible » et « échantillon étendu ». Pour certaines tâches de PNL, un document traçable sur l’évolution de la maladie est suffisant ; pour la prédiction longitudinale, les patients doivent disposer d'au moins un point temporel, une fenêtre d'observation et un résultat clairs ; pour la corrélation imagerie-pathologie, il peut être nécessaire que la chirurgie, l'imagerie, les échantillons et le diagnostic pathologique puissent tous être connectés de manière fiable. Si tous les cas sont examinés selon le même ensemble de critères complets, il est facile d’écarter les données de haute qualité qui peuvent être utilisées pour des tâches monomodales ; à l’inverse, mélanger des packages incomplets dans une formation multimodale rendra également opaque le mécanisme de modalité manquante du modèle. Le catalogue de données peut fournir des règles à trois niveaux : « essentiel requis », « requis sous condition » et « extensions facultatives » et filtrer par tâches.
Les indicateurs de qualité doivent couvrir l'exactitude, l'exhaustivité, la cohérence, l'actualité, l'unicité et la traçabilité, plutôt que simplement être exprimés en termes de taux manquants. Par exemple, le taux d’exhaustivité des identifications des patients peut être de 100 %, mais si les erreurs sont fusionnées entre les hôpitaux, la précision reste médiocre ; Les fichiers DICOM peuvent être lus, mais les patients et les rapports ne correspondent pas correctement et la cohérence n'est toujours pas garantie ; Les PDF comportent une couche de texte, mais les tableaux clés sont extraits dans le mauvais ordre et la qualité du contenu est encore insuffisante. Pour chaque indicateur, le dénominateur, la base de sondage, la définition de réussite et l'intervalle de confiance doivent être indiqués, et le niveau de risque d'erreurs critiques doit être présenté séparément. De cette façon, les acheteurs, les fournisseurs de données et les équipes de modélisation peuvent tous discuter des améliorations autour des mêmes faits.
Chaque paquet de données doit également avoir un statut de cycle de vie clair, par exemple reçu, analysé, en attente d'examen, disponible pour des tâches spécifiées, utilisation restreinte, retiré ou expiré pour destruction. Les changements de statut doivent conserver l'heure, le rôle opérationnel et la base pour empêcher que les fichiers de l'ancienne version ne soient lus par le système de formation après l'approbation de la nouvelle version. Si l'utilisation des données change, par exemple depuis l'extraction sur le terrain jusqu'à la modélisation préalable à la formation ou à l'évaluation interinstitutionnelle, vous devez reconfirmer si l'autorisation originale couvre cette utilisation. Les politiques d'accès aux données peuvent distinguer les documents originaux, les images désensibilisées, les données structurées et les balises dérivées par rôle, et effectuer un archivage ou une suppression convenus une fois le projet terminé. La corrélation au niveau du patient rend la recherche multimodale plus précieuse et augmente le risque d'identification combinatoire. Les capacités de corrélation et les droits d'accès doivent donc être intégrés ensemble dans la gouvernance, plutôt que de simplement procéder à une désensibilisation au moment de l'exportation.
Lorsqu'elles sont transmises entre les équipes, les spécifications des packages patient doivent également fournir des exemples de catalogue clairs, des types de données de champ, des valeurs autorisées, des versions d'encodage, des règles nulles et des exemples d'exceptions. Par exemple, il convient d'indiquer dans la description du champ si « l'heure de l'examen » fait référence à un rendez-vous, à une numérisation ou à l'émission d'un rapport ; « image positive » doit indiquer si elle est basée sur la conclusion du rapport ou sur un examen manuel. Les tableaux structurés doivent contenir des ID de champ stables pour faciliter l'identification des changements de nom de champ ou de la dérive sémantique au cours de plusieurs cycles de livraison. Des scripts de validation et les résultats attendus sont fournis pour les champs clés, permettant aux équipes d'approvisionnement, d'annotation, d'algorithme et de contrôle qualité d'utiliser toutes les mêmes règles. Si la partie destinataire découvre des anomalies dans les données, elle doit signaler les fichiers, les champs, les preuves textuelles originales et les tâches d'impact via des tickets de problème au niveau du cas afin de former une boucle fermée de réparation traçable.
Les informations sur l’auteur appartiennent également au contexte clinique. Après autorisation et désidentification nécessaire, les attributs d'identité indirects tels que le rôle d'auteur, le titre professionnel et le service peuvent être conservés pour distinguer les dossiers des résidents, les visites de médecins supérieurs, les consultations de spécialistes et les documents des chirurgiens ; les noms et numéros d’identification seront supprimés conformément aux règles du projet. Si tous les auteurs sont uniformément remplacés par « docteur », cela réduira non seulement la traçabilité de la source, mais rendra également impossible pour les chercheurs d'analyser les différences sémantiques entre les différents types de documents et les rôles de signataires. Pour les commandes de médicaments et de non-médicaments, le dossier du patient doit conserver le nom de la commande d'origine, le nom commun, la posologie, la fréquence, l'itinéraire, l'heure d'exécution et le statut ; des codes standard tels que ATC peuvent être utilisés comme champs de mappage, et la base du mappage doit être enregistrée. Les codes standards ne peuvent pas être utilisés pour écraser la commande originale.
et sources de données
Cet article résume les points clés de l'ingénierie des données et de la conception de cohortes basées sur les champs de données médicales et les documents d'exigence de rachat fournis par les utilisateurs, et en discute en conjonction avec des recherches publiques évaluées par des pairs, des normes techniques et des directives réglementaires/de reporting. Les champs, les seuils de filtre et les quantités dans la pièce jointe sont des exemples de spécifications d'exigences et ne prouvent pas que les données ont été achetées, livrées ou ont réussi la validation du modèle. Les algorithmes et processus décrits dans cet article sont utilisés pour la recherche scientifique et les discussions sur la conception technique et ne constituent pas un diagnostic médical ou des recommandations de traitement. Les projets spécifiques sont soumis à des autorisations, des fiches de données, des contrats et des examens d'éthique/conformité. Références
et normes techniques Déclaration
- Longitudinal alignments and syntheses of multimodal clinical data for personalized medicine with the PULSE framework, Nature Computational Science (2026)
- Digital Imaging and Communications in Medicine (DICOM), PS3.15 Security and System Management Profiles
- WHO Europe: Governance for health data
- FDA / IMDRF: Good Machine Learning Practice for Medical Device Development
