Précisons d’abord à quelle tâche « complexe » fait référence et qui est compliquée
Les cas complexes sont courants dans la communication médicale, mais doivent être concrétisés dans les ensembles de données d'apprentissage automatique. Pour la classification des images, la difficulté peut provenir de petites lésions, de signes vagues ou de la coexistence de plusieurs maladies ; pour le raisonnement diagnostique, la difficulté peut être due à de multiples diagnostics différentiels, à l'évolution de la maladie et à des tests incohérents ; pour la prédiction du parcours de traitement, la difficulté peut être liée aux comorbidités, aux soins interdisciplinaires ou aux différences dans la réponse au traitement. Un long séjour hospitalier, des diagnostics multiples et des consultations multiples ne sont que des indicateurs indirects et ne peuvent remplacer la définition de la difficulté clinique de la tâche elle-même.
Si les tâches cibles ne sont pas définies au préalable, un échantillonnage basé sur la « complexité » peut facilement créer une confusion conceptuelle : certains cas sont complexes en raison d'une maladie grave, certains sont complexes en raison d'un grand nombre de documents, et certains sont simplement des systèmes d'information à haute intégrité. Les modèles formés peuvent apprendre à prédire le flux de travail hospitalier, la longueur des documents ou les modèles de transfert plutôt que de cibler les phénotypes de maladies. La première étape devrait consister à former un cadre de complexité de cas qui répertorie les tâches cibles, les points de décision cliniques, les entrées disponibles, les étiquettes de sortie, les populations applicables et les scénarios d'échec qui devraient être couverts. La pièce jointe de
propose de construire des fichiers de haute difficulté en utilisant des champs tels que la révision du diagnostic, le nombre de services de consultation, la durée du séjour, les soins intensifs/unités de soins intensifs, les visites historiques, le nombre de diagnostics de sortie, la notification de maladie grave et l'issue de non-guérison, et préfère les cas chirurgicaux dans lesquels le diagnostic préopératoire et la pathologie postopératoire sont incohérents. Ces indicateurs conviennent comme indices d'échantillonnage calculables et ont l'avantage d'être auditables et traçables ; cependant, ils ne sont que des agents de dépistage dans les spécifications du projet et ne constituent pas une échelle reconnue de gravité de la maladie, et on ne peut pas non plus en déduire que les cas sélectionnés représentent « tous les cas complexes du monde réel ».
Par conséquent, les « cas complexes » peuvent être décomposés en plusieurs dimensions : incertitude clinique, durée de la maladie, fardeau de la comorbidité, implication multidisciplinaire, intensité du traitement, différences d’imagerie ou d’interprétation pathologique, exhaustivité des données et changements dans les résultats. Chaque dimension est enregistrée séparément, ce qui permet aux patients d'être élevés sur certaines dimensions et faibles sur d'autres. Une stratification complète peut faciliter l’échantillonnage mais ne doit pas écraser les indicateurs d’origine. Les études modèles peuvent également rapporter les résultats par dimension pour éviter qu’un score global ne masque l’hétérogénéité des cas complexes.
Définir des indicateurs de filtrage en tant que variables révisables
Chaque variable de filtrage nécessite une définition opérationnelle. Nombre de révisions de diagnostic : comptez les révisions ou les diagnostics supplémentaires dans quels types de documents, comptez par patient ou par visite, et comment supprimer les doublons des émissions répétées. Nombre de services de consultation : sur la base de la demande formelle de consultation, du dossier de consultation ou du service auteur du document, le fait que les services transférés soient comptés deux fois. Durée de l'hospitalisation : utilisez les jours naturels, les heures ou les différences dans les dates d'admission et de sortie, et comment gérer les transferts entre hôpitaux. Nombre de visites médicales historiques : limitez la fenêtre temporelle et la gamme de systèmes antérieurs qui peuvent être associés pour éviter toute erreur d'appréciation selon laquelle l'absence de données historiques signifie l'absence de visites médicales antérieures.
L'admission en USI/CCU doit définir clairement l'enregistrement réel du lit, les heures de transfert d'entrée et de sortie et l'observation à court terme ; l'avis de maladie grave ou critique doit faire la distinction entre les documents de notification formels et les descriptions de l'évolution de la maladie ; le numéro de diagnostic de sortie doit indiquer s'il comprend des symptômes, des complications et des codages répétés ; le résultat de la sortie « non guéri » doit clarifier les règles originales de dénombrement et de cartographie. Les valeurs des variables doivent être liées aux champs source ou HIS et enregistrer l'heure d'extraction, la version de la règle, les vérificateurs et la gestion des exceptions. De cette façon, des évaluateurs indépendants peuvent recalculer les résultats de la sélection.
Pour chaque seuil, il est recommandé de sauvegarder trois ou plusieurs états : satisfait, non satisfait et incapable de déterminer ; et enregistrez également les raisons des sources de données manquantes et indisponibles, des fenêtres temporelles incomplètes ou de l'échec de la reconnaissance des documents.« Aucun enregistrement en soins intensifs trouvé » ne peut être assimilé à « le patient n'a eu aucune expérience en soins intensifs » à moins que la couverture des sources de données ne soit complète. Pour les cas proches du seuil, un examen manuel peut éviter une classification erronée due à l'exactitude de la date, à des documents en double ou à des erreurs de codage. Le seuil lui-même doit être gelé avant l'échantillonnage ; en cas d'ajustement à mi-parcours, la version et l'impact de chaque changement de règle sur le nombre de files d'attente seront conservés.
De l’échantillonnage difficile aux cohortes représentatives : deux objectifs ne peuvent être confondus
L'enrichissement des exemples concrets a une valeur évidente : améliorer la couverture de la formation du modèle face à des cas extrêmes, découvrir des erreurs non observées dans les ensembles de données classiques et évaluer la robustesse face à des sous-populations rares ou des contradictions intermodales. Cependant, les cohortes à difficulté élevée et les populations de déploiement cibles présentent souvent des spectres de cas différents. Si l'ensemble de tests comporte trop de cas de soins intensifs, de multimorbidité ou de cas chirurgicaux complexes, les performances globales peuvent ne pas être représentatives d'une utilisation clinique ordinaire ; si l'ensemble de formation est sur-enrichi, les probabilités et les seuils du modèle peuvent ne pas convenir à la véritable prévalence.
Au moins trois files d'attente doivent être distinguées. La première est la file d’attente représentative, qui est utilisée pour estimer les performances globales du scénario cible ; la seconde est la file d'attente des défis, qui couvre spécifiquement les situations complexes, rares ou à haut risque ; et le troisième est la file d'attente de développement, qui est utilisée pour la formation ou le réglage des paramètres de l'algorithme. Ils peuvent partager certaines définitions mais diffèrent par leur objectif, leurs taux d'échantillonnage et leurs méthodes de reporting. La transmission des résultats sur les ensembles de défis ne peut pas remplacer la validation représentative ; des mesures moyennes représentatives ne peuvent pas masquer les échecs dans des sous-groupes difficiles.
Pour estimer les performances globales de la population déployée à partir d'échantillons enrichis, il est nécessaire de comprendre la probabilité d'échantillonnage, la répartition de la population cible et d'envisager une pondération ou un recalibrage ; mais cela repose sur un mécanisme d’échantillonnage raisonnable et des informations suffisantes sur la population cible. Nous ne pouvons pas simplement utiliser « 20 % pour un niveau de difficulté élevé et 80 % pour un niveau normal » pour déduire le taux d’occurrence naturelle. Si la stratification 200/800 dans la pièce jointe n'est qu'un ratio d'approvisionnement, il s'agit d'une exigence de composante de prestation, et non d'une estimation épidémiologique clinique. Les rapports de recherche doivent clairement distinguer le plan d’échantillonnage de la population cible.
Pour le modèle, la représentativité des échantillons difficiles se reflète non seulement dans les indicateurs de condition, mais également dans le site, l'équipement, l'âge, le sexe, la langue, la méthode de référence, la qualité des documents et les modalités disponibles. Si les cas complexes proviennent seulement de quelques grands hôpitaux, d’un certain service ou d’un établissement spécifique, le modèle peut considérer les caractéristiques institutionnelles comme des difficultés. Un échantillonnage stratifié par centre et par département, suivi d'une inspection de la distribution pour chaque dimension, peut aider à détecter de tels biais.
La pathologie et le diagnostic préopératoire sont incohérents : conserver les différences est plus précieux que forcer l'unification
La différence entre le diagnostic de travail préopératoire et le diagnostic pathologique postopératoire est une information importante dans le processus de diagnostic clinique. Cela peut résulter de résultats d'imagerie atypiques, d'une plage d'échantillonnage limitée, d'une hétérogénéité des lésions, de résultats peropératoires, d'un examen pathologique ou de modifications des versions des normes de diagnostic. La différence ne signifie pas automatiquement que le jugement préopératoire était erroné, ni que la pathologie doit être l’étalon-or parfait. Pour les données de formation, le fait de couvrir directement le diagnostic préopératoire avec des conclusions pathologiques entraînera une demande incorrecte du modèle pour répondre à la « réponse finale connue », alors que la tâche réelle peut consister à effectuer une estimation du risque sur la base de preuves limitées avant la chirurgie.
Dans le modèle de données, la source et l'heure du diagnostic doivent être conservées : impression d'imagerie préopératoire, diagnostic clinique de travail, résultats peropératoires, pathologie initiale, supplément d'immunohistochimie, examen par un expert, diagnostic final et leurs preuves respectives. Des étiquettes de type différentielles peuvent être établies, telles que des changements dans les catégories de diagnostic, des changements de stade, des changements dans les jugements bénins et malins, des emplacements de lésions incompatibles, un échantillonnage insuffisant ou une incertitude ; les étiquettes sont confirmées par un processus d’examen médical qualifié et conservent leur cohérence et leur statut contesté. L'étiquette du modèle dépend du problème cible et un seul résultat final ne doit pas être utilisé pour toutes les tâches.
Lorsque l'échantillon utilise « l'incohérence préopératoire et postopératoire » comme condition de dépistage prioritaire, il est nécessaire de vérifier si cette condition augmente le biais de sélection. Les personnes qui subissent une intervention chirurgicale et reçoivent des résultats pathologiques sont souvent différentes de celles qui ne subissent pas de chirurgie ; l'emplacement de la lésion, le risque pour le patient, la capacité de l'hôpital et la décision du médecin influencent tous l'opportunité d'opérer. Si la recherche vise les modèles d’imagerie préopératoires, l’étude des cas présentant uniquement une pathologie chirurgicale peut entraîner un biais de validation. De tels échantillons peuvent être utilisés comme sous-ensemble de défi spécialisé, et un ensemble de validation distinct, plus proche de la population d'utilisateurs cible, peut être créé, indiquant que l'étiquette pathologique ne couvre qu'un groupe de patients spécifique.
Comment l'incertitude des étiquettes et l'examen par les experts entrent dans la conception des données
La complexité des cas signifie souvent que les étiquettes elles-mêmes sont plus incertaines. Différents médecins peuvent avoir des opinions différentes sur le stade de la maladie, les limites des lésions, la gravité ou la catégorie diagnostique ; une conclusion pathologique peut également être modifiée après une coloration supplémentaire. Un seul fichier d’étiquette cache cette incertitude. Pour les cibles clés, il est recommandé de conserver les annotations initiales, les annotations de révision, les conclusions du verdict, les motifs et les preuves correspondantes. Si nécessaire, conservez le jugement indépendant et la confiance de plusieurs annotateurs au lieu de sauvegarder une seule valeur finale.
Le contrôle qualité des annotations médicales peut utiliser un échantillonnage stratifié : des cas de base sont utilisés pour contrôler la cohérence de routine ; les cas complexes augmentent la proportion d'annotations indépendantes par deux personnes ; les cas divergents sont confiés à des experts de haut niveau pour jugement ; des tests aveugles aléatoires sont utilisés pour évaluer la répétabilité et la dérive potentielle. L'indicateur ne doit pas seulement être le taux d'accord global, mais également analyser séparément le déséquilibre des catégories, les catégories limites et les différents départements. Des statistiques telles que le kappa de Cohen et l’alpha de Krippendorff peuvent être complétées, mais des statistiques cohérentes ne prouvent pas leur validité clinique ; ils doivent être examinés conjointement avec les définitions cliniques et les sources de données probantes.
Les rôles d'audit doivent également être distingués. Les annotateurs sont chargés d’extraire ou d’interpréter selon les spécifications ; les examinateurs vérifient les applications de définition et les sources de preuves ; les arbitres résolvent les différends ; et les responsables de la gouvernance des données confirment les autorisations et les limites d'utilisation. Chaque rôle doit avoir des qualifications, une portée de tâches et un enregistrement des changements. Pour les balises de texte libre, le mappage entre les fragments de texte original et les balises structurées doit être enregistré ; pour les annotations d’images ou de pathologies, les outils d’annotation, les coordonnées, les versions, les champs de vision ou les identifiants de tranche doivent être conservés pour examen.
Comment évaluer des modèles de cas complexes sans se laisser tromper par un seul AUROC
L'évaluation de la file d'attente complexe ne peut pas signaler un seul AUROC. Si les cas positifs sont rares, l'AUPRC, la sensibilité en dessous de seuils cliniques fixes et la valeur prédictive positive peuvent être plus directes ; si le modèle génère une probabilité de risque, il est nécessaire d'examiner l'ordonnée à l'origine, la pente d'étalonnage, l'étalonnage de groupe et les performances proches du seuil clinique ; s'il s'agit d'une tâche multi-classes ou multi-étiquettes, des indicateurs au niveau des catégories et des matrices de confusion doivent également être rapportés. Les résultats doivent être dotés d'intervalles de confiance et expliquer comment le regroupement au niveau des patients ou les examens en double sont traités.
La performance moyenne globale doit être présentée simultanément avec les résultats échelonnés. Il peut être analysé par dimension de complexité, département, site, exhaustivité modale, tranche d'âge, sexe, année de données et type d'appareil. Indiquez la taille de l'échantillon, le nombre de positifs, le taux d'absences et l'incertitude pour chaque sous-groupe afin d'éviter de tirer des conclusions solides à partir de très petits échantillons. La validation externe devrait également évaluer les différences dans les processus d'étiquetage et les processus de collecte de données ; lorsque les performances se dégradent, faites la distinction entre les changements de spectre de cas, la dérive des données, les changements de définition d'étiquette et la généralisation insuffisante du modèle. L'explication du modèle
ne doit pas reposer uniquement sur des cartes thermiques d'attention ou des classements d'importance. Pour les échantillons de défi, un retour en arrière des cas d'erreur doit être effectué : le modèle a-t-il utilisé des diagnostics après le moment de la prédiction ? Traiter le texte de l'hôpital ou de l'appareil comme un raccourci ? L'image est-elle centrée sur les domaines pertinents pour la tâche ? Des preuves concernant l’évolution de la maladie sont-elles citées qui contredisent la conclusion ? Ces problèmes doivent être examinés par des experts cliniques et des ingénieurs, et les types de défaillances sont convertis en la prochaine série d'éléments d'amélioration des données et de l'évaluation.
Transformez les spécifications d'approvisionnement en un plan de file d'attente scientifique Les indicateurs attachés au
peuvent être transformés en un « tableau portrait de complexité vérifiable » : identification du patient, étendue de la consultation, valeurs originales de chaque indicateur, base de calcul, si le seuil est atteint, raisons de l'échec de la détermination, emplacement des preuves et stratification finale. Lors du contrôle d'acceptation, le tableau des indicateurs et le texte original du dossier médical sont vérifiés de manière aléatoire pour vérifier non seulement si les statistiques remplissent les conditions, mais également pour vérifier si le texte original soutient les résultats, si les fenêtres statistiques sont cohérentes et s'il y a des calculs répétés. La répartition des cas par département et par modalité doit être comparée simultanément aux scénarios d'application cibles.
Une séquence de conception plus stable consiste à : définir d'abord les tâches cliniques et les populations cibles ; puis déterminer les dimensions de complexité et les variables opérationnelles ; geler les règles et les vérifier sur un petit échantillon ; évaluer les sites, départements, modalités et répartition de la population sélectionnés ; séparer les cohortes représentatives et les cohortes de défi ; puis effectuez une formation/validation/segmentation des tests au niveau du patient ; et enfin mener une évaluation externe indépendante et un rapport par niveaux. Chaque étape doit laisser une version reproductible. La sélection du seuil ne doit pas seulement tenir compte de la disponibilité des données, mais également garantir qu'elle est cohérente avec la question scientifique.
Langhui peut aider à établir une cartographie des champs de données médicales, des règles de dépistage, des spécifications d'étiquetage médical, des processus de tests et d'examen à l'aveugle, des cartes de données et des cadres d'évaluation de modèles dans le cadre de l'autorisation de projet. L'échelle spécifique, les types de maladies, les institutions, l'affectation des experts et les indicateurs d'acceptation sont soumis au contrat et au plan de mise en œuvre confirmés par les deux parties. La véritable valeur des cas complexes n'est pas d'écrire « difficulté » comme une étiquette marketing, mais de la rendre observable, révisable et améliorable pour quels groupes et dans quelles conditions d'information le modèle est fiable ou non.
La cohorte de cas examine également la différence entre les « cas visibles » et la « population cible ». Les dossiers médicaux monocentriques n’enregistrent souvent que les événements survenus à l’hôpital, et les diagnostics, les médicaments antérieurs et les résultats hors de l’hôpital peuvent ne pas être visibles ; les patients difficiles sont plus susceptibles d’être transférés vers des hôpitaux de niveau supérieur. Si l'objectif de la recherche est d'aider à la prise de décision dans un certain type d'hôpital, la population cible doit être limitée à ce scénario ; si l’on veut qu’il soit applicable à une population plus large, il doit couvrir tous les centres et expliquer le mécanisme d’orientation. La portée des sources de données détermine les questions auxquelles le modèle peut répondre. L’exhaustivité des dossiers ne peut être confondue avec l’exhaustivité des informations sur la santé des patients.
Les métriques de complexité peuvent être fortement corrélées les unes aux autres. La gravité, la durée du séjour, les diagnostics de consultation et de sortie peuvent tous être motivés par le même processus de maladie ou le même processus hospitalier, et leur addition directe entraînera une double pondération. La distribution marginale, la corrélation et le modèle de cooccurrence de chaque indicateur peuvent être signalés en premier, puis une stratégie stratifiée peut être élaborée sur la base des avis d'experts cliniques et d'une analyse statistique. L’analyse de sensibilité du seuil est également importante : la composition de la cohorte change-t-elle de manière significative après un léger ajustement du seuil de durée de séjour ? Si le changement est important, cela signifie que la stratification dépend du seuil, ce qui doit être signalé lors du reporting.
Afin de réduire les biais de sélection, il est recommandé de conserver le dénominateur avant la sélection, le nombre d'exclusions à chaque étape et les motifs. L'organigramme de sélection doit illustrer le nombre de cas perdus à chaque étape, depuis le pool de données sources jusqu'à l'échantillonnage final conforme aux règles, pouvant être lié, complété par l'étiquette. Si seuls les patients disposant d’informations complètes se retrouvent dans la file d’attente, le modèle pourrait être plus adapté aux patients disposant de dossiers standardisés dans le système d’information, plutôt qu’à un environnement réel plus chaotique. Vous pouvez créer un « ensemble de défis de données incomplètes » distinct pour tester le comportement du modèle lorsque certains champs ou modes sont manquants, et clarifier quelles entrées manquantes déclencheront un rejet ou une révision manuelle.
Lors du dépistage de cas complexes, les équipes de recherche peuvent pré-enregistrer des modèles de cohortes et des sous-groupes majeurs, en particulier lorsque les règles de stratification peuvent affecter les résultats des tests. La préfixation de définitions, de seuils et de points finaux difficiles réduit le risque d'ajuster des « cas difficiles » après avoir vu les résultats du modèle. Si les règles doivent être itérées, elles doivent être explorées à l’aide de données de développement, puis figées dans des définitions dans des données de validation indépendantes. Les modifications des seuils d'indicateurs et des règles d'étiquetage doivent être inscrites dans la version du plan, et la structure de l'échantillon avant et après la modification doit être déclarée. Pour les projets de données basés sur l'approvisionnement, cela permet également de séparer la conformité à l'acceptation des conclusions de la recherche scientifique : le respect du ratio contractuel signifie que la livraison est conforme à l'accord, mais ne signifie pas que la performance clinique a été prouvée.
L'évaluation hiérarchique peut être utilisée lors de la modélisation pour identifier si le modèle n'est efficace que sur des sous-ensembles faciles. Par exemple, observez les groupes d'étiquettes claires et controversées, monomodalité et multimodalité complètes, diagnostic initial et diagnostic de suivi, service de routine et consultation interdisciplinaire, pathologie cohérente et incohérente, etc. Les différences entre les groupes ne peuvent pas seulement être expliquées par un biais du modèle, mais peuvent également résulter de différences dans la taille de l'échantillon, le spectre de la maladie et la qualité de l'étiquette ; par conséquent, la taille de l'échantillon d'origine, la distribution des caractéristiques et les intervalles de confiance doivent être rapportés conjointement avec l'examen clinique. S'il y a trop peu de données pour un certain sous-groupe, cela doit être marqué comme preuve insuffisante plutôt que de présenter l'estimation ponctuelle instable comme une conclusion. Limites de la méthode
et sources de données
Cet article résume les points clés de l'ingénierie des données et de la conception de cohortes basées sur les champs de données médicales et les documents d'exigence de rachat fournis par les utilisateurs, et en discute en conjonction avec des recherches publiques évaluées par des pairs, des normes techniques et des directives réglementaires/de reporting. Les champs, les seuils de filtre et les quantités dans la pièce jointe sont des exemples de spécifications d'exigences et ne prouvent pas que les données ont été achetées, livrées ou ont réussi la validation du modèle. Les algorithmes et processus décrits dans cet article sont utilisés pour la recherche scientifique et les discussions sur la conception technique et ne constituent pas un diagnostic médical ou des recommandations de traitement. Les projets spécifiques sont soumis à des autorisations, des fiches de données, des contrats et des examens d'éthique/conformité. Références
et normes techniques Déclaration
- TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods, BMJ (2024)
- DECIDE-AI: reporting guideline for early-stage clinical evaluation of AI decision support systems, Nature Medicine (2022)
- External validation of clinical prediction models, BMJ (2024)
- Good Machine Learning Practice for Medical Device Development, FDA / IMDRF
