Résumé : Transformer la « difficulté » en mesures vérifiables
L'intelligence artificielle médicale passe des questions et réponses de connaissances à la compréhension du papier, à l'intégration intermodale des preuves, au traitement de textes cliniques et au flux de travail des agents. La réponse correcte du modèle à un problème difficile peut provenir de la mémoire, de la récupération, de l'invocation d'un outil, d'une supposition accidentelle ou d'un véritable raisonnement en plusieurs étapes ; si la liste ne permet pas de distinguer ces mécanismes, il sera difficile de répondre aux questions qui préoccupent le plus les acheteurs et les équipes R&D : sur quels types de tâches le modèle est-il fiable, où les erreurs se sont produites et les résultats peuvent-ils être reproduits ?
HLE (Humanity’s Last Exam) fournit une référence méthodologique importante : utiliser des questions académiques difficiles soulevées par des experts pour évaluer la capacité du modèle sur des tâches fermées et vérifiables. Le benchmark HLE introduit dans son article Nature contient 2 500 questions interdisciplinaires, soulignant que les questions sont originales, les conditions sont claires, les réponses sont vérifiables et les questions privées sont réservées à l'observation du surapprentissage des ensembles publics. Il s’agit d’un référentiel de compétences académiques générales, et non d’un outil de validation clinique médicale, et ne doit pas être confondu avec une certification clinique.[1] Le projet d'exigences fourni par les utilisateurs du
prévoit 500 questions chacun pour la biologie/médecine, les autres/questions et l'ingénierie, pour un total de 1 500 questions. La médecine et les sciences de la vie couvrent la biologie moléculaire et cellulaire, la génomique, l'immunité, les neurosciences, la bioinformatique, la médecine translationnelle, le diagnostic clinique et la pathologie. Cette échelle et cette classification sont une exigence de l'avant-projet et ne font pas partie de la composition officielle de l'ensemble de données HLE ou du plan d'expansion officiel. Pour la transformer en prestation professionnelle, il faut d'abord définir l'objectif de l'évaluation, puis contrôler la qualité des questions, la source médicale, la difficulté de dépistage et l'incertitude statistique.
Cet article propose un ensemble de solutions indépendantes « d'évaluation du raisonnement de la recherche scientifique de type HLE médicale ». Il évalue la capacité du modèle à traiter des questions de recherche médicale de niveau expert avec des sources traçables et des réponses déterminables ; il n’extrapole pas les performances des tests aux résultats du diagnostic et du traitement du patient. LumeSage peut fournir un soutien basé sur des projets autour de la gouvernance des données médicales, de la collaboration dans la conception de questions, de l'annotation d'experts médicaux, du contrôle qualité, du fonctionnement des modèles et des rapports d'évaluation, mais le personnel spécifique, les ressources, le volume de questions, le cycle et les limites des capacités doivent être confirmés sur la base du contrat, de l'autorisation et des ressources expertes avant le démarrage du projet.
1. Pourquoi le domaine médical a-t-il besoin d'une évaluation à haute difficulté de type HLE ?
1. Les résultats des examens réguliers ne suffisent plus pour répondre aux questions de R&D
Le test à choix multiples présente les avantages d'un faible coût, d'une notation automatique rapide et de résultats intuitifs, mais il peut facilement tester la familiarité des connaissances et la capacité de reconnaissance des options. Les questions de recherche médicale nécessitent souvent de comprendre les modèles expérimentaux, d'identifier les facteurs de confusion, d'interpréter les populations applicables, de suivre les niveaux de preuve ou de combiner des conditions provenant de plusieurs sources. Ce n’est pas parce qu’un modèle répond correctement à un point de connaissance unique qu’il peut expliquer d’où vient la conclusion et quelles conditions sont indispensables, ni qu’il fonctionne de manière stable sous différentes institutions et distributions de données. Les questions de style
HLE peuvent concentrer l'évaluation sur des tâches à réponse limitée de niveau expert : telles que la dérivation d'un terme standard, d'une catégorie de variation, d'une explication expérimentale ou d'une valeur numérique explicite basée sur des conditions de recherche données, plutôt que de demander au modèle de rédiger un long essai qui ne peut pas être noté de manière stable. Les questions médicales doivent toujours limiter les questions à la recherche universitaire ou à des situations hypothétiques explicites, et ne pas fournir de diagnostic, de traitement ou de suggestions de médicaments pour des individus réels. Ceci est conforme aux exigences de l’annexe concernant les questions sans choix, les réponses finales uniques, l’exhaustivité conditionnelle et le raisonnement en plusieurs étapes.
2. La difficulté doit venir de la structure du raisonnement et non de l'empilement de mots inhabituels
Le « niveau doctorat » ne peut pas être défini uniquement par les noms de maladies impopulaires, des abréviations complexes ou des détails dans un seul article. Les questions de haute qualité doivent avoir une charge de raisonnement claire : combiner au moins deux liens de connaissances pertinents, obligeant le modèle à identifier les conditions des questions, à appliquer des méthodes de recherche ou des concepts professionnels et à obtenir une réponse finale vérifiable. Si la question nécessite de deviner l'intention de l'auteur, s'appuie sur des diagrammes non fournis, comporte plusieurs réponses raisonnables, ou si les faits clés changent à mesure que le guide est mis à jour mais que la version n'est pas indiquée, alors elle peut mesurer l'ambiguïté plutôt que la capacité.
Par conséquent, le modèle de question doit d'abord préciser ce que chaque type de tâche espère mesurer : intégration des connaissances, analyse de la conception de la recherche, inférence de mécanismes, interprétation des résultats, jugement statistique et méthodologique, normalisation de la terminologie moléculaire ou clinique, etc. ; utilisez ensuite des exemples de questions représentatifs pour calibrer la difficulté des questions et les règles de notation. Chaque question doit avoir une chaîne traçable de « surface de la question – base de raisonnement – réponse finale – source », et si nécessaire, des réponses acceptables, des unités, des synonymes et des limites de notation.
3. L'atout important des classements médicaux est la crédibilité, pas le classement de championnat
HLE a mis l'accent sur les questions fermées et vérifiables dans la conception et a amélioré la qualité des questions grâce à un examen en plusieurs étapes ; le document aborde également le fait que les experts ne sont pas d'accord sur certaines questions. Cela rappelle à l'équipe d'évaluation médicale : la participation d'experts en la matière ne signifie pas automatiquement que les réponses sont naturelles et incontestées. Les questions et réponses de référence nécessitent encore un contrôle de qualité et un arbitrage.[1] La préimpression HLE-Verified ultérieure a rapporté la vérification systématique, la révision et l'étiquetage de l'incertitude de la question d'origine, et a observé des changements dans la précision du modèle après la révision ; il s'agit d'un résultat de recherche pré-imprimé, et on ne peut pas en déduire directement que la banque de questions médicales produira également des changements de même ampleur, mais il met en évidence le risque important que « le benchmark lui-même puisse être bruyant ».[2]
2. Convertir le projet d'exigences en un plan d'évaluation médicale
1. Réservez le nombre prévu de 500 questions médicales et effectuez d'abord une conception de quota hiérarchique
Il est recommandé d'utiliser 500 questions comme montant de planification de projet de la banque de questions médicales et des sciences de la vie, plutôt que de les diviser mécaniquement à parts égales entre les huit matières secondaires dès le début. L'équipe du projet, les experts médicaux et l'équipe d'algorithmes ont produit conjointement un plan pour clarifier les tâches de test proposées dans chaque direction, la taille de l'échantillon, les restrictions sur les types de questions, les niveaux de source, les évaluateurs professionnels requis et si cela implique un contenu de guide urgent. Les huit directions stables répertoriées en annexe peuvent servir de point de départ : biologie moléculaire et cellulaire/biochimie, génétique et génomique, microbiologie et immunologie, neurosciences et biophysique, évolution écologique et biologie marine, biologie computationnelle et bioinformatique, médecine fondamentale et translationnelle et médecine clinique/diagnostic/pathologie.
L'attribution du volume de questions doit refléter la couverture du plan et ne doit pas impliquer que chaque direction de subdivision dispose déjà du même nombre de sources de questions ou de ressources expertes équivalentes. Le rapport hiérarchique doit également afficher le « quota de conception, le nombre réel de questions disponibles, le nombre d'éliminations dues à des problèmes de qualité et les domaines non couverts ». Pour les directions de subdivision avec trop peu d’échantillons, seuls les résultats exploratoires sont rapportés et aucun classement indépendant apparemment précis n’est donné. Avant de démarrer le projet, les utilisateurs cibles doivent également être clairement définis : équipes de modèles de recherche scientifique, acheteurs de données médicales, équipes de produits d’IA médicale ou encore recherche et développement d’algorithmes internes. Les types de questions d’évaluation et la granularité du rapport requis par les différents utilisateurs sont différents.
2. La question doit être originale, les faits peuvent être cités et le fil de la question et la chaîne de raisonnement ne peuvent pas être copiés.
Vous pouvez citer des faits provenant d'articles fiables, de guides, de bases de données ou de normes faisant autorité comme base, mais la formulation de la question, les combinaisons de situations et les chemins de raisonnement doivent être originaux et ne peuvent pas copier directement les banques de questions publiques, les exercices de dissertation, les exercices de manuels ou le contenu en ligne. Le DOI, la version, la date de publication, la date d'accès et les arguments spécifiques à l'appui doivent être enregistrés pour les conclusions dans des sources publiques ; si la source contient des errata, une rétractation ou une mise à jour des lignes directrices, elle doit être examinée pour les mises à jour.
La gestion des sources doit être encore affinée : il est préférable d'indiquer la source principale et la source de recoupement indépendante pour une question ; enregistrer les paragraphes, tableaux ou chapitres qui soutiennent la réponse ; conserver la première entrée de la question dans la base de données, la dernière révision, l'état actuel et le numéro de version. Si la question nécessite de déduire les résultats de l'article, la question doit fournir les conditions nécessaires ou inclure des éléments cités dans la tige de la question pour empêcher le modèle de « répondre accidentellement » sur la base uniquement d'une certaine version des connaissances de formation. Les versions des bases de données du domaine biomédical, les définitions statistiques, les versions du génome de référence, la nomenclature des médicaments et les classifications des maladies peuvent toutes affecter la réponse et doivent être figées en tant que conditions ou écrites clairement.
3. La banque de questions doit tenir compte à la fois des enjeux de recherche et des limites de sécurité médicale.
recommande le développement prioritaire de quatre catégories de tâches : premièrement, une analyse méthodologique de recherche basée sur des matériaux clairs, comme l'identification des conclusions qui peuvent être étayées par la conception de la recherche ; deuxièmement, les mécanismes biologiques et le raisonnement à plusieurs niveaux, comme le lien entre les changements moléculaires et les observations expérimentales ; troisièmement, des explications structurées en génétique, bioinformatique et pathologie, mais avec une référence claire aux versions, seuils et termes de sortie ; quatrièmement, le raisonnement situationnel académique en recherche clinique ou en diagnostic, fournissant des conditions d'hypothèse complètes et exigeant la réponse à une question professionnelle limitée.
Tous les cas doivent être des scénarios synthétiques, des adaptations originales de données de recherche accessibles au public ou des données soumises à une autorisation de conformité, à une anonymisation et à une approbation d'utilisation. Les risques liés à la confidentialité, aux droits d’auteur, aux informations sensibles et à la réidentification doivent être examinés avant de publier publiquement des questions et des modèles de réponses. Toute description personnelle de santé ne doit pas être présentée comme une véritable consultation ; en ce qui concerne la gravité de la maladie et la prise de décision en matière de traitement, son objectif éducatif ou de recherche doit être clair et les plans de traitement individualisés pouvant être directement mis en œuvre doivent être évités.
3. Gérer séparément la qualité des questions et les scores du modèle
1. 98 % est l'objectif de qualité, pas le taux de réussite du modèle Le projet d'exigences
stipule que le taux de solvabilité global et le taux d'exactitude des réponses de chaque champ de premier niveau ne doivent pas être inférieurs à 98 %. Cela doit être converti en un seuil de qualité des questions : pour un échantillonnage ou un examen complet, au moins 98 % des questions doivent remplir des conditions suffisantes, la réponse de référence peut être révisée, la chaîne de raisonnement est cohérente avec la réponse, la source est valide et les règles de notation sont claires. Le projet doit indiquer simultanément le numérateur, le dénominateur, la méthode d'échantillonnage et l'intervalle de confiance, et ne peut pas simplement indiquer un pourcentage ; s'il y a des questions non qualifiées parmi les 500 questions, elles doivent être réparées, remplacées ou supprimées de l'ensemble d'évaluation principal selon des règles prédéfinies. Le taux de réussite du modèle
≤62,5 % correspond à la condition de filtrage des difficultés. La réponse est « Combien de réponses correctes un modèle spécifié peut-il obtenir dans certains paramètres ? » et savoir si la question elle-même est correcte sont deux choses différentes. Ne considérez pas les « mauvaises réponses au modèle » comme une preuve que la qualité de la question est conforme aux normes, et vous ne devez pas non plus confondre une difficulté élevée avec des questions plus scientifiques. La sélection des énigmes doit être effectuée après avoir examiné la validité des réponses ; sinon, les ambiguïtés, les conditions manquantes, les connaissances obsolètes ou les décisions manquées par le correcteur seront récompensées.
2. Résolvez d'abord les conflits de champ entre 8 et 24 analyses.
Champ de pièce jointe une exigence model_response_counts résume 24 réponses modèles, une autre exigence modèle_réponses contient exactement 8 éléments, ce qui indique également que chacun des trois modèles a été exécuté 8 fois. Ces trois choses ne peuvent pas être vraies en même temps. Il est recommandé d'unifier comme suit : pré-geler 3 versions de modèle pour chaque question et exécuter chaque modèle indépendamment 8 fois, de sorte que le tableau de réponses d'origine doit contenir exactement 24 éléments ; en même temps, augmenter modèle_id
Modèle_version、model_version、run_id
Tentative、attempt、invite_hash、outil_politique、décodage_config
Horodatage、timestamp、raw_response、réponse_normalisée、est_correct、niveleuse_version et autres champs. Comptez respectivement les sorties correctes, incorrectes, rejetées et invalides selon le modèle. La somme de tous les sous-éléments doit être égale à 8 ; la somme du total des questions doit être égale à 24. Si le marché ne nécessite en réalité que 8 fois pour un modèle, les exigences de 8 fois pour chacun des trois modèles et le « résumé 24 fois » doivent être supprimés et ne peuvent pas être temporairement expliqués lors de la livraison.
Il est recommandé d'enregistrer chaque exécution sous forme de ligne JSONL et d'utiliser stable question_id Regroupe les questions, les réponses de référence et les sources, ou imbrique 24 réponses dans un objet question et les écrit dans le schéma minItems=maxItems=24. Une structure exécutable comprend : le stockage d'objets de questions question_id/domain/sub_domain/question/reasoning_steps/answer/reference_sources/rubric/version ; L'objet en cours d'exécution enregistre le modèle et appelle les paramètres, les réponses, les réponses normalisées et les scores. devrait être clair raisonnement_étapes est une chaîne de solutions de référence pour les réviseurs, et non une chaîne de pensée cachée qui doit être exposée par le modèle ; les évaluations doivent être notées sur la base des réponses finales et des preuves explicatives observables afin d'éviter de s'appuyer sur un texte de raisonnement invérifiable dans le modèle.
3. Huit répétitions ne peuvent être utilisées que pour une sélection préliminaire et ne peuvent pas prétendre à un classement précis.
Lorsque chaque modèle ne comporte que 8 exécutions par question, le taux de réussite d'une seule question ne peut prendre que des valeurs discrètes telles que 0, 12,5 %, 25 %, etc. Si le seuil est supérieur à 0 et pas supérieur à 0,625, la plage de rétention réelle est 1 à 5 fois correcte. Ce paramètre peut être utilisé comme règle de présélection, mais ne peut pas différencier de manière fiable les modèles adjacents ni estimer avec précision les capacités globales. Il est recommandé de déclarer l'intervalle de confiance numérateur/dénominateur et le rapport binomial de chaque modèle, ainsi que de stratifier et de résumer par sujet, domaine et type de tâche ; la comparaison formelle doit être basée sur un nombre suffisant de sujets et un plan statistique prédéfini, plutôt que sur un petit nombre d'échantillonnages répétés pour générer l'ordre de classement global.
doit geler le nom du modèle et la version exacte, la date d'accès, les mots d'invite du système, le modèle de mot d'invite de l'utilisateur, le contexte et les matériaux de recherche, les autorisations de l'outil, les paramètres de température et d'échantillonnage, le jeton maximum, les règles de délai d'attente et de nouvelle tentative avant l'exécution. Des pistes distinctes doivent être mises en place pour les modèles dotés de récupération/outils et les modèles purement à livre fermé, car ils utilisent des limites d'information différentes. Enregistrez la demande et la réponse originales, l'état de l'échec, le journal des coûts et des opérations, et divulguez les conditions d'évaluation dans les rapports publics pour faciliter la récurrence.
4. Scoring et reporting : ne pas se contenter de donner un taux de précision
Pour les questions à réponse standard unique, la notation déterministe est préférable : majuscules, espaces, unités, termes synonymes et formats convenus standardisés, mais toutes les variantes acceptables doivent être répertoriées avant évaluation et vérifiées par des évaluateurs professionnels. Les questions numériques précisent les tolérances et les chiffres significatifs ; les noms de gènes, de protéines, de médicaments et de maladies spécifient des bases de données ou des versions standard de dénomination. L’exactitude médicale ne peut pas être laissée au seul juge LLM générique non calibré. Si nécessaire pour des questions d'explication ouvertes ou complexes, une grille d'évaluation fine basée sur des preuves sources doit être développée, notée aveuglément et indépendamment par au moins deux évaluateurs de domaine, arbitrant les désaccords et rapportant l'accord et les ratios d'arbitrage.
Il est recommandé que le rapport inclue au moins : l'exactitude globale et les intervalles de confiance, les scores à chaque niveau de domaine/tâche, la répartition de la difficulté des questions, les taux d'erreur de rejet et de formatage, l'étalonnage des réponses et les performances des réponses sélectives, l'exactitude des preuves sources, les performances des ensembles privés ou hors délai, les fluctuations des exécutions répétées, les types et la gravité des erreurs, ainsi que la latence d'inférence, les appels d'outils et les coûts. En particulier, les tâches de recherche médicale doivent distinguer différents modes d’échec tels que « la conclusion est correcte mais la base est fausse », « la réponse est correcte mais la prémisse n’est pas remplie », « des informations insuffisantes pour une identification correcte » et « un excès de confiance en donnant une mauvaise réponse ». La page publique de la liste
peut utiliser des scores complets, mais elle doit fournir des pondérations transparentes, un champ d'application, des méthodes de traitement des éléments manquants et des intervalles de confiance ; il est plus fiable de fournir un portrait multidimensionnel des capacités pour éviter qu'un seul score total ne dissimule la sécurité, la reproductibilité ou des lacunes spécifiques d'une sous-spécialité. Les méthodes, les exemples de questions et les codes statistiques peuvent être rendus publics, mais les questions privées contrôlées, les questions hors délai ou les questions de mise à jour continue doivent être conservées pour réduire la pollution et optimiser de manière ciblée. Il devrait y avoir des règles claires de gestion des données pour les banques de questions publiques et cachées, et la transparence de la recherche scientifique ne devrait pas être sacrifiée au nom de « prévenir la fraude sur les listes ».
5. Frontières scientifiques : l’évaluation de type HLE ne peut remplacer l’évaluation clinique Les évaluations de type
HLE sont les mieux adaptées pour répondre à une question limitée : le modèle peut-il résoudre une tâche académique difficile, fermée et vérifiable dans des conditions données ? Il ne peut à lui seul démontrer la précision du diagnostic, les avantages cliniques, l'adéquation du flux de travail du médecin, la conformité des dispositifs médicaux ou la sécurité à long terme chez de vrais patients.
La vérification de l’IA médicale doit être élargie étape par étape en fonction des usages et des risques. Le cadre en cinq étapes, publié dans npj Digital Medicine en 2026, propose une évaluation par étapes depuis la validation technique, la robustesse opérationnelle, les interactions contrôlées, les preuves cliniques jusqu'à l'intégration dans le monde réel, soulignant que plusieurs niveaux de validation sont encore nécessaires entre les performances du modèle et la valeur clinique réelle.[3] Des études d'évaluation médicale à grande échelle telles que CLEVER démontrent la voie à suivre pour une évaluation experte aveugle et structurée de cas et de réponses nouvellement construits par des médecins en exercice, qui peuvent être utilisées comme référence pour l'évaluation ouverte de textes cliniques, plutôt que comme seule norme.[4]
Par conséquent, la banque de questions médicales de type HLE doit être positionnée comme une couche d'évaluation spéciale pour la capacité de raisonnement scientifique, qui peut compléter les questions et réponses sur les connaissances médicales, l'évaluation ouverte de la sécurité, le flux de travail de simulation, la vérification des données externes et la recherche prospective. Si des données au niveau du patient, des dossiers médicaux réels ou des tâches de recommandation clinique sont utilisés, un examen éthique supplémentaire, une autorisation, une protection de la vie privée, un plan d'analyse statistique et une évaluation clinique correspondante doivent être effectués. Chaque indicateur de la liste doit avoir un niveau de preuve clair, et les scores de laboratoire ne peuvent pas être commercialisés comme garantie de résultats cliniques.
6. La solution implémentable de Langhui : de la qualité des données à l'opération d'évaluation
En réponse à la banque de questions multi-champs et aux exigences d'enregistrement en cours proposées dans la pièce jointe, Langhui peut organiser un flux de travail basé sur un projet par étape : Plan directeur de la demande et des risques
1. Clarifiez l'objectif, le modèle testé, les limites du sujet, les sources de cas, les limites de sécurité médicale, les quotas d'échantillons et les critères d'acceptation avec les clients et les experts du domaine pour former un plan de questions signable et un dictionnaire de données.2. Question originale et dossier de preuves organise la question, la base de la solution de référence, la réponse finale, le lien source/DOI, la date de version, les réponses acceptables, les règles de notation et le statut des droits d'auteur dans des enregistrements structurés. Les faits qui ne peuvent pas être confirmés sont d'abord marqués comme en attente et n'entreront pas dans la collection officielle.3. Examen par des experts et arbitrage des désaccords Des experts médicaux ou des sciences de la vie ayant une orientation professionnelle appropriée examineront respectivement la signification, les réponses et les sources de la question, enregistreront les raisons du désaccord, et l'arbitre désigné effectuera l'examen final. Les différentes qualifications et spécialités couvertes doivent être divulguées de manière véridique, et un « examen par des experts » général ne doit pas être utilisé pour remplacer les dossiers de dotation et d’examen.4. Contrôle qualité des données et de la banque de questions effectue une vérification sur le terrain, un identifiant unique, un gel de version, une sélection des doublons et des quasi-duplicates, une vérification de l'accessibilité des sources, une vérification des fuites de questions, une vérification d'autorisation et de désidentification, et génère une liste de problèmes et des enregistrements de révision.5. Fonctionnement du modèle contrôlé exécute le modèle selon la configuration gelée, en enregistrant les demandes, les sorties, les méta-informations du modèle, les trajectoires des outils, les temps et les coûts ; Les tâches à livre fermé et assistées par outils sont divisées en pistes et sont notées de manière déterministe selon les règles des questions, et les exceptions sont examinées manuellement de manière aveugle.6. Rapport d'évaluation et plan de retest produit des indicateurs de stratification révisables, des estimations d'intervalles, des cas d'erreur de modèle, des limites de couverture de tâches et des types de questions supplémentaires suggérés ; mettre en place une gestion des ensembles cachés, des tests périodiques, des changements de version et des mécanismes de surveillance de la pollution.
Cette solution est liée au positionnement commercial ouvert de Langhui dans le sens de la collecte de données médicales, de la standardisation des données, de l'annotation médicale, du contrôle qualité et des services d'évaluation. La capacité véritablement livrable ne doit pas seulement être reflétée par « le nombre de questions qui se posent », mais plutôt par la question de savoir si la source, l'autorisation, la qualité du jugement, le processus expert, le fonctionnement du modèle et les preuves d'acceptation peuvent être connectés dans une chaîne. Sur la base de ses propres capacités de gouvernance des données, de processus d'annotation et d'ingénierie d'évaluation, Langhui peut aider ses clients à décomposer les exigences de la banque de questions abstraites en packages de travail implémentables ; chaque projet doit toujours être basé sur des ressources expertes réelles, l'autorisation des données, les conditions de livraison et la portée écrite. Comprendre Service de données médicales LumeSage Service d'ensemble de données 与 数据集服务。
7. Étapes recommandées du projet et critères d'acceptation
recommande de créer d'abord un échantillon de faisabilité interdisciplinaire à petite échelle, plutôt que de déployer 500 questions à la fois. La première étape consiste à compléter le plan de questions, les spécifications de champ et un petit nombre d'échantillons de vérifications de questions pour vérifier si différents experts peuvent répondre et juger selon les mêmes règles ; la deuxième étape est la production continue et l'examen aveugle par domaine pour observer les raisons de l'élimination et la cohérence des experts ; la troisième étape consiste à geler l'ensemble de données, la configuration opérationnelle du modèle et le plan statistique, et à terminer l'évaluation formelle ; la quatrième étape consiste à publier un rapport avec une description de la méthode et des règles de mise à jour de version. Chaque étape fixe les conditions de poursuite, de refonte ou de suspension.
Les suggestions d'acceptation sont divisées en six catégories : exhaustivité des champs et du format, solvabilité des questions et validité de la source de réponse, exhaustivité des dossiers d'examen et d'arbitrage par des experts, traçabilité des enregistrements d'opérations de modèle, cohérence du script de notation et des contrôles ponctuels, rapport hiérarchique et exhaustivité des explications statistiques.98 % peut être utilisé comme objectif du projet pour le seuil de qualité de la banque de questions, mais il faut d'abord convenir s'il s'agit d'un échantillonnage ou d'un examen complet, de la définition de l'erreur, du nombre de réparations autorisées, du calibre du dénominateur et des méthodes de traitement pour les questions qui ne peuvent pas être couvertes. Le seuil de difficulté du modèle est répertorié séparément comme condition de sélection pour la sélection des questions et ne peut pas être mélangé avec l'acceptation de la qualité de la banque de questions pour former un score total.
En termes d'exécution commerciale, le lot de travaux peut couvrir la conception des questions et la vérification des sources, l'examen par des experts, le tri structuré des données, la plate-forme/le script d'exploitation, l'analyse statistique, le reporting et la maintenance continue. L'acheteur doit spécifier dans le contrat le nombre de questions, le ratio de champs, les qualifications d'experts et les méthodes d'investissement, le format de livraison, la propriété intellectuelle, la portée de l'utilisation des données, les responsabilités en matière de confidentialité et de sécurité, les échantillons d'acceptation et la gestion des modifications de chaque package. Ce type de répartition rend la charge de travail et les responsabilités en matière de qualité transparentes, et permet également aux projets de démarrer plus facilement avec des projets pilotes à petite échelle et de déterminer les investissements ultérieurs en fonction des résultats de la vérification. Conclusion
: Promouvoir une itération responsable de l'IA médicale avec des problèmes révisables
Le domaine médical a besoin de questions d'évaluation plus difficiles, mais il a également besoin de questions capables de résister au questionnement, à une notation claire, à des environnements opératoires reproductibles et à une interprétation restreinte des résultats. L'inspiration de HLE n'est pas seulement de rendre les questions difficiles, mais de transformer les connaissances des experts en outils de mesure avec des limites, des réponses et des enregistrements d'audit. Pour les scénarios médicaux, la validité des sources, la sécurité médicale, la confidentialité et la stratification des preuves cliniques doivent également être ajoutées.
L'évaluation du raisonnement de la recherche scientifique médicale de style HLE proposée par Lang Hui est une voie de construction qui peut être discutée, pilotée et progressivement élargie sur la base de preuves. L'étape suivante devrait consister à commencer par un schéma directeur de la demande et un petit nombre d'échantillons de questions interdisciplinaires, à utiliser des méthodes de double examen par des experts et à geler les méthodes de vérification, puis à décider de la taille de la banque de questions, de la stratégie de divulgation et de la méthode de fonctionnement de la liste. Le professionnalisme de la liste se reflète finalement dans le fait que chaque score explique clairement : ce qui est mesuré, sur quoi cela se base, d'où peut provenir l'erreur et ce qui ne peut pas être déduit. Le
常见问题
参考资料
[1] Consortium des contributeurs HLE. Une référence de questions académiques de niveau expert pour évaluer les capacités de l'IA. *Nature*. 2026 ; 649 : 1139-1146. est ce que je:10.1038/s41586-025-09962-4 Page officielle du projet；HLE。
[2] Zhai W, et coll. HLE-Verified : une vérification systématique et une révision structurée du dernier examen de l’humanité. arXiv : 2602.13964, 2026. La pré-impression doit être interprétée en fonction du niveau de preuve de la pré-impression.论文。
[3] Un cadre d'évaluation en cinq phases pour l'intelligence artificielle médicale diagnostique et prédictive. *npj Médecine numérique*. 2026 ; publié le 3 septembre. est ce que je:10.1038/s41746-026-03155-7。
[4] Évaluation du modèle clinique en grand langage par examen par des experts (CLEVER) : développement et validation d'un cadre. *JMIR AI*. 2025;4: e72153. est ce que je:10.2196/72153。
[5] Centre pour la sécurité de l'IA, Scale AI. Présentation de HLE-Diamond. 2026-09-22. Description officielle du projet 官方项目说明. Ce que ce projet a annoncé est un sous-ensemble raffiné de HLE, qui ne constitue pas la référence médicale mentionnée dans cet article et ne signifie pas non plus une approbation officielle de ce plan.
