摘要：
Depois que a IA médica entra no estágio de modelo multimodal e básico, os recursos verdadeiramente escassos não são apenas arquivos de casos, mas dados de alta qualidade e protocolos de avaliação que podem responder "em quais tarefas, que tipo de pessoas, em quais equipamentos e processos clínicos os modelos são confiáveis?"Este anexo contém três amostras significativamente diferentes: o pacote compactado de exame físico especial contém 11 PDFs, totalizando 426 páginas, cobrindo tópicos como metabolismo, cardiovascular e cerebrovascular, digestão, olhos, pulmões, cérebro, cavidade oral, músculo-esquelético, reprodução, imunidade e tumores, bem como um relatório abrangente; o pacote de "superfície panorâmica" contém 10 DICOs M, o modo de exibição de informações do cabeçalho é PX, o campo do fabricante é MEYER e a matriz de imagem é principalmente 1536 × 3101, que é uma amostra de raio-X panorâmica oral em vez de CT; há 5 PDFs de página única e 5 XLSXs no pacote de eletrocardiograma. Cada formulário possui apenas uma linha de dados e as colunas são sexo, idade e diagnóstico.
Esses materiais podem ser usados como ponto de partida para a plataforma de avaliação médica multitarefa, mas não podem ser usados diretamente como um conjunto de treinamento ou um conjunto de teste de lista. Os laudos de exame físico precisam separar texto livre, resultados estruturados, intervalos de referência, marcadores anormais e recomendações; a imagem oral requer sistemas de posicionamento dos dentes, ocorrências de lesões e rótulos de qualidade de imagem; os eletrocardiogramas exigem correspondência de tempo e fonte entre formas de onda e rótulos de diagnóstico, definições de categoria e isolamento no nível do paciente. O resultado, o nível de verdade e o custo do erro dos três tipos de tarefas são diferentes e não devem ser misturados em uma única precisão ou classificação geral.
Este artigo propõe uma estrutura de avaliação de "acesso de governança - definição de tarefas - padrões de referência - testes cegos em camadas - verificação externa - avaliação do fluxo de trabalho - governança de versão". Recomenda-se que Langhui comece em um caminho independente e adote conjuntos de configuração ocultos, testes entre organizações e dispositivos, arbitragem especializada e estratificação da gravidade do erro para formar gradualmente um serviço de referência de dados médicos auditável, reproduzível e iterável.
1. Identifique primeiro as amostras com precisão para evitar confundir amostras de arquivo com conjuntos de dados
1.1 Exame físico especial: relatório especial e relatório abrangente coexistem Existem 11 PDFs no pacote compactado
, com um total de 426 páginas. O documento abrange uma variedade de orientações especiais de saúde e há um relatório combinado significativamente mais longo. Isso mostra que os ativos de dados podem conter múltiplas estruturas, como modelos de tópicos, relatórios abrangentes, repetições de seções transversais e páginas de resumo/detalhe. As estatísticas baseadas apenas no “número de cópias do PDF” não equivalem ao número de pacientes, exames ou amostras de tarefas independentes; o relatório abrangente pode conter conteúdos de vários tópicos e, se a duplicação não for feita no nível do documento e no nível do paciente, a mesma conclusão do exame pode ser contada repetidamente.
O pedigree do documento deve ser estabelecido primeiro ao construir: chave anônima do paciente, evento de exame, versão do relatório, categoria do tópico, versão do modelo gerado, intervalo de páginas, fonte do campo estruturado e confiança de análise. Cada campo extraído deverá ser capaz de retornar ao número da página, parágrafo ou posição da tabela, distinguindo medidas originais, conclusões do relatório, derivação de regras e sugestões de geração de modelos. Para intervalos de referência, guarde a unidade, a fonte do laboratório/equipamento, as condições aplicáveis de sexo e idade e a versão atual do relatório. Você não pode simplesmente salvar um rótulo "alto/baixo".
1.2 Imagem panorâmica oral: o nome nominal do anexo não é igual ao modo real As informações do cabeçalho DICOM
mostram 10 estudos e séries independentes, a modalidade é PX, a matriz da imagem é principalmente 1536×3101, e também há 1200×2326, e o campo do fabricante é MEYER. Este lote de amostras deve ser entendido com base em imagens de raios X panorâmicas orais digitais, em vez de projetar tarefas baseadas em dados de volume de TC. A sugestão de restauração profissional aqui é: o nome do projeto, a etiqueta da interface, o cartão de dados e o documento devem usar "raio-X panorâmico oral/filme panorâmico" e só serem marcados como CT após serem confirmados pelo departamento de imagem de que realmente é CT. A classificação modal incorreta pode levar a erros no pré-processamento, indicadores de erros e disputas de aceitação de compras.
Além disso, existem campos de identificação não vazios, como nome/ID do paciente, data de nascimento, sexo, data do exame e instituição no cabeçalho DICOM. Mesmo que a amostra seja apenas para análise interna, a disseminação externa e o upload devem ser interrompidos primeiro, e a verificação de autorização, desidentificação e inspeção de texto/código QR da camada de pixel devem ser concluídas; O DICOM UID precisa ser remapeado de acordo com regras consistentes e uma tabela de mapeamento controlada deve ser mantida. Simplesmente alterar o nome do arquivo ou remover a etiqueta de nome não é suficiente para completar a desidentificação.
1.3 Eletrocardiograma: Existem apenas 5 registros no formulário de apoio, que é uma amostra do processo
O anexo contém 5 PDFs de ECG de página única e 5 XLSXs. O formulário possui três campos: sexo, idade e diagnóstico. Cada cópia possui um registro. É adequado para verificar “se o arquivo de forma de onda de um caso corresponde a uma linha de rótulos clínicos”. Também pode ser usado para projetar o dicionário de dados e entregar a aceitação de acordo. No entanto, isto não constitui uma coorte representativa de arritmia e não é suficiente para estimar a sensibilidade, especificidade, diferenças de subgrupos ou generalização do modelo. Quando há apenas cinco casos, adicionar uma amostra errada altera significativamente a proporção; mesmo que uma bela pontuação seja calculada, não há explicação estatística estável.
Os dados oficiais devem esclarecer a velocidade do papel do ECG, ganho, número de derivações, taxa de amostragem, equipamento, filtragem, duração do registro, abandono da derivação e qualidade da forma de onda; a imagem PDF precisa confirmar se pode retornar à forma de onda digital original. Se o modelo só puder ler imagens em papel, erros de reconstrução de pixels e de calibração de tempo/tensão deverão ser inseridos na avaliação; se a forma de onda original estiver disponível, a unidade de amostragem, o carimbo de data/hora, a sequência de derivação e o valor de verificação do sinal deverão ser salvos.
2. O núcleo do benchmark médico: dividido em faixas de acordo com tarefas clínicas e valores verdadeiros de referência
A lista não deve começar com a "taxa de precisão abrangente da IA médica", mas deve estabelecer tarefas separadas para as três modalidades e, em seguida, unificar os protocolos de governança, relatórios e operação.
Faixa A: Noções básicas sobre relatórios de exames físicos e comunicação de risco
pode ser dividido em: extração de campo (verificar itens, resultados, unidades, intervalos de referência, marcadores anormais); análise da estrutura do relatório (tópicos, resumos, conclusões, recomendações); verificação de consistência de regras (se os resultados entram em conflito com marcadores anormais); estratificação de risco (de acordo com diretrizes predefinidas ou regras especializadas); geração de resumos para profissionais; comunicação explicativa para assuntos. Cada tarefa requer um design separado de valores de verdade: a extração de campo é baseada na anotação de duas pessoas e na vinculação da posição do texto original, o julgamento de risco médico requer versões de diretrizes ou consenso de especialistas, e a geração de recomendações requer uma avaliação de suporte factual, condições aplicáveis, omissões de risco e se deve induzir autodiagnóstico e tratamento.
Faixa B: Análise de imagem panorâmica oral
pode ser dividido em qualidade de imagem e legibilidade, detecção de posição dente/dente ou segmentação de instância, periodontal ou cárie e outras tarefas de lesão clara, localização de estrutura anatômica e geração de relatório. O sistema de codificação da posição dos dentes precisa ser congelado antes do início do projeto, e dentes perdidos, dentes impactados, dentição mista, restaurações, sobreposições, desfoque de movimento e truncamento devem ter rótulos explícitos. Recomenda-se que a tarefa de detecção relate o número de falsos positivos por caso e FROC; o relatório da tarefa de segmentação Dados, distância da superfície e resultados estratificados por posição dentária/tamanho da lesão; a geração de relatórios não apenas faz semelhança de texto, mas requer precisão de fatos clínicos e revisão de erros de omissão/sobrediagnóstico.
Faixa C: interpretação da forma de onda de ECG e previsão de risco
Deve ser feita uma distinção entre o diagnóstico de ritmo/condução/morfologia do ECG atual e a tarefa prospectiva de usar o ECG para prever doenças ou resultados futuros. O antigo valor verdadeiro de referência pode vir das interpretações de vários eletrocardiologistas, relatórios clínicos e evidências de exames necessários; este último deve predefinir momentos de previsão, definições de resultados, janelas de acompanhamento, riscos concorrentes e mudanças de tratamento. No mínimo, as métricas relatam AUROC médio macro, AUPRC, sensibilidade/especificidade, calibração, intervalos de confiança e limites de decisão, e interpretam valores preditivos positivos por prevalência da doença e origem do dispositivo.
Capacidade abrangente entre modais: apenas sublistas controladas
Se você deseja avaliar se o modelo multimodal pode combinar relatórios de exame físico, radiografias orais e ECGs, você precisa de pares verdadeiros do mesmo paciente, do mesmo evento de exame ou dentro de uma janela de tempo razoável, e é necessária autorização para cada modalidade. Três amostras não relacionadas não podem ser combinadas num “caso multimodal”. As tarefas intermodais requerem detecção adicional de incompatibilidade de tempo, vazamento de informações, modalidades ausentes e se o modelo faz inferências sobre modalidades para as quais não há evidências. Recomenda-se estabelecer três faixas separadamente primeiro e, em seguida, configurar uma sublista de fusão após atender aos requisitos de relacionamento de dados e tamanho da amostra.
*Figura 2｜Além do desempenho da tarefa, a lista também deve relatar segurança, generalização, qualidade dos dados, custo e maturidade das evidências.*
3. Tamanho da amostra e nível de evidência: O que cinco casos de ECG e dez filmes panorâmicos podem mostrar? O valor das amostras
é principalmente para verificar se a leitura de arquivos, mapeamento de campos, anonimato, lógica de emparelhamento e manuais de anotação são executáveis; eles não demonstram desempenho clínico modelo. A maturidade dos dados pode ser dividida em quatro níveis: Verificação de disponibilidade de arquivo
1. 文件可用性验证O pacote compactado está completo, o arquivo pode ser analisado, DICOM/PDF/XLSX não está danificado e os campos e imagens podem ser lidos corretamente.2. Piloto de viabilidade de marcação 标注可行性试点Um pequeno número de amostras representativas foi duplamente padronizado e arbitrado para confirmar que não havia ambigüidade na terminologia, posição do dente, rótulo de ECG e definições de campo do relatório.3. Desenvolvimento e testes internosAlcance o tamanho da amostra pré-calculado e isole por paciente, os conjuntos de teste de desenvolvimento/validação/cego são mutuamente exclusivos, o conjunto de teste é selado.4. Verificação externa e prospectivaValidado em agências, dispositivos, tempo e pessoas para observar melhor o fluxo de trabalho real, a segurança e a eficácia da tomada de decisões.
Cada nível deve indicar a unidade amostral, inclusão/exclusão, quantidade de pacientes, quantidade de exames, quantidade de arquivos e relações de duplicatas na ficha de dados. O tamanho da amostra deve ser calculado com base no endpoint primário, no desempenho esperado, na precisão do intervalo de confiança, nas proporções das classes e na estrutura do cluster, em vez de trabalhar de trás para frente a partir de “quantos documentos estão disponíveis”. Várias páginas de relatórios de exames físicos não podem ser consideradas como múltiplos pacientes; múltiplas imagens e múltiplos ECGs da mesma pessoa não podem ser distribuídos entre coleções.
4. Engenharia de qualidade de dados: da inspeção de recebimento ao valor real auditável
recomenda estabelecer um pipeline de qualidade de seis camadas: Camada de arquivo
- 文件层lista ZIP, soma de verificação, formato de arquivo, número de páginas, resolução, capacidade de análise, arquivos duplicados e arquivos danificados. Camada de identidade e autorização
- 身份与授权层legalidade da fonte, escopo de uso, consentimento informado/abordagem ética, avaliação de impacto na privacidade, acordo de revogabilidade/exclusão. Camada estrutural
- 结构层relação paciente-exame-relatório-imagem-tabela, carimbo de data/hora, unidade, dicionário de campos, semântica de valor nulo e versão. Camada de conteúdo clínico
- 临床内容层Corpo do rótulo, versão do guia, padrões de inclusão e exclusão, fonte de valor de verdade de referência, amostras difíceis e incapazes de determinar o status. Camada de anotação
- 标注层Experiência especializada, calibração de treinamento, anotação independente, classificação de discordâncias, arbitragem, inspeção aleatória e rastreamento de versão. Camada de avaliação
- 评测层segmentação em nível de paciente, auditoria de desduplicação, registro de acesso de teste cego, ambiente de execução, instantâneo de modelo, congelamento de limite, intervalo estatístico e análise de erros.
O exame físico especial deve conectar a "posição do texto fonte - valor extraído - unidade - codificação padrão - reescrita do modelo" de cada campo para evitar deixar apenas o resumo final. As radiografias dentárias precisam reter informações disponíveis sobre orientação DICOM, espaçamento de pixels, exposição e fabricante/dispositivo, minimizando ao mesmo tempo metadados identificáveis em versões públicas. O ECG precisa reter a forma de onda original ou esclarecer a fonte da imagem e verificar a integridade e a calibração de tempo/tensão derivação por derivação. Códigos de erro rastreáveis são usados para todas as exceções, como falha de análise, incerteza da posição esquerda/direita/do dente, incompatibilidade entre relatórios e imagens, falta de informações do dispositivo e evidência insuficiente de valores verdadeiros.
5. Design estatístico de classificação: evite “pontuações altas, mas não podem ser repetidas”
A lista deve publicar versões de protocolo e resultados em vez de apenas uma lista de classificação. Cada modelo precisa registrar o modelo/peso/versão da API, palavras de prompt, pré-processamento, chamadas de ferramenta, limites, sementes aleatórias, data de execução e processamento de amostra com falha. O treinamento, a verificação e o isolamento do teste no nível do paciente devem ser concluídos antes da modelagem; vários relatórios do mesmo paciente, PDFs e imagens derivadas do mesmo exame e ECGs repetidos devem ser desduplicados ou agrupados. As respostas dos testes são controladas por um responsável independente, que define os orçamentos das consultas e repete as auditorias de envio.
Intervalos de confiança, desempenho estratificado, calibração e espectros de falha devem ser fornecidos além do indicador principal. Use indicadores de nível de paciente e indicadores de nível de lesão lado a lado para imagens para evitar amostras pseudograndes causadas por um único dente ou número de pixels; considerar a correlação estatística de registros repetidos do mesmo paciente para ECG; realizar um método de agrupamento de autoatendimento para relatórios de exames físicos por paciente, e não por campo/página. A macro-média e a micro-média devem ser interpretadas simultaneamente, e AUPRC, falsos positivos por caso e desempenho limite são fornecidos quando as classes estão desequilibradas.
Um mapeamento de “pontuação de risco” precisa ser estabelecido: diagnósticos perdidos que colocam em risco a segurança, recomendações incorretas, extensões infundadas e vazamentos de privacidade devem ser apresentados separadamente e não podem ser compensados por pontuações altas para formato ou texto. A revisão especializada pode usar ordem aleatória anônima, revisão dupla e arbitragem; o pontuador LLM é usado apenas para pré-seleção em larga escala ou assistência de consistência e deve ser calibrado no padrão ouro de anotação manual, e sua preferência por estilo de linguagem, extensão da resposta e marca do modelo deve ser monitorada.
6. Inspirações metodológicas de pesquisas de ponta
Nos últimos anos, o modelo básico de ECG e a pesquisa de benchmark começaram a enfatizar conjuntos de dados externos, generalização entre dispositivos, qualidade do rótulo e nível de diagnóstico clínico. O estudo CODE-II relatou avaliações de migração em parâmetros de referência externos, como PTB-XL e CPSC, e destacou que a qualidade dos rótulos e os sistemas de diagnóstico clinicamente significativos são tão críticos quanto a escala dos dados; estudos como o ECG-CLIP estenderam a avaliação à identificação de doenças, riscos futuros e previsão de resultados, indicando que "interpretar as formas de onda atuais" e "prever a saúde futura" devem ser tópicos separados. O trabalho da "Nature" no EchoNext em 2025 demonstrou o valor do design da avaliação multi-hospitalar e dos estudos de detecção prospectiva, sugerindo que a AUC retrospectiva estática não é suficiente para responder se doenças não diagnosticadas podem ser encontradas em cenários clínicos.
Em termos de imagens orais, a pesquisa do modelo de linguagem visual panorâmica publicada na "Nature Biomedical Engineering" em 2026 combinou informações odontológicas em nível de instância com relatórios de texto e configurou avaliação de preferência de especialistas; isso apóia a linha de tarefa "posicionamento estruturado de imagem + semântica de relatório", mas não significa que quaisquer dez fotos panorâmicas possam reproduzir conclusões em nível de papel. O benchmark precisa divulgar a população específica aplicável, o equipamento de imagem, o nível de anotação e o centro de testes externo para evitar que o modelo obtenha pontuações de atalho em um único dispositivo ou plano de fundo do modelo.
Para cenários de exame físico e saúde preventiva, a avaliação deve mudar de perguntas e respostas médicas estáticas para uma cadeia completa: se o modelo é lido corretamente, se pode ser combinado com intervalos de referência aplicáveis, se identifica anormalidades que exigem revisão profissional, se fornece comunicação clara, mas não excessiva, e se recomenda os próximos passos apropriados sem substituir o julgamento do médico. Benchmarks de conversação sobre saúde, como o HealthBench, enfatizam a avaliação baseada em interações reais de saúde e critérios de pontuação refinados; ao transferir suas idéias para relatórios de exame físico, backlinks de evidências de relatórios originais, verificação de unidade/intervalo de referência, gravidade de omissão anormal e encaminhamentos de revisão clínica devem ser adicionados.
7. Sugestões de Langhui para construção de lista: Use “evidência verificável” para formar diferenças
Langhuike posiciona a plataforma como um serviço profissional de dados, produção especializada e avaliação contínua para a equipe de IA médica e de ciências biológicas, em vez de uma "agência de classificação de modelo" não verificada. Na primeira fase, recomenda-se a construção de três trilhas particulares de avaliação: compreensão do laudo do exame físico, análise estruturada da imagem panorâmica oral e interpretação e predição do ECG. Cada faixa fornece cartões de dados, rotulagem de POPs, descrições de padrões de referência, protocolos de testes cegos, resultados de linha de base, estratificação de erros e relatórios de versão. Os dados sensíveis são avaliados tanto quanto possível em hospitais ou ambientes controlados, e apenas estatísticas agregadas e informações metodológicas autorizadas são divulgadas em relatórios públicos.
O líder empresarial define o propósito de cada faixa, os especialistas clínicos/biológicos definem os verdadeiros valores e riscos, os engenheiros de dados mantêm pedigrees e verificações, a equipe de algoritmos congela o protocolo em execução e a equipe independente de controle de qualidade gerencia os testes cegos e a reprodução. As vantagens de Langhui devem reflectir-se na clarificação da procura, na correspondência de peritos, na consistência da rotulagem, na gestão de dados intermodais, nos testes cegos e na resolução de problemas; qualquer tamanho de caso, qualificações médicas, efeito de modelo ou números de impacto clínico devem ter evidências públicas antes de serem usados para divulgação no mercado.
8. Rota de implementação recomendada de 90 dias
Semana 1-2: Inventário de dados e autorização. Estabelece listas e hashes em nível de arquivo; realizar avaliação de risco de privacidade e verificação de desidentificação em DICOM oral; confirmar a fonte, versão do modelo, pacientes duplicados e finalidade de saída do relatório do exame físico; verificar se o ECG PDF e XLSX correspondem ao mesmo caso e esclarecer se pode ser utilizado para pesquisa.
Semanas 3 a 5: Tarefas e design de etiquetas. Defina entradas, saídas, populações-alvo, exclusões, padrões de referência, gravidade do erro, funções de especialistas e scorecards para cada uma das três faixas. Os campos do exame físico são marcados com exemplos; os filmes dentários congelam o sistema de posicionamento dos dentes e as etiquetas de qualidade de imagem; O ECG determina a classificação diagnóstica e o nível de evidência.
Semanas 6 a 9: Piloto de padrão duplo em pequena escala. Use amostras aprovadas para testar padrões, medir consistência e taxa de arbitragem; revisar regras e congelar versões. Atualmente, cinco casos de ECG e dez casos panorâmicos são usados apenas para execuções de testes de processo e as classificações de desempenho não podem ser divulgadas.
Semanas 10-13: Expansão de capacidade e preparação para teste cego. Calcular o tamanho da amostra com base no endpoint primário, construir fontes multicêntricas/equipamentos; partição por nível de paciente; selar o conjunto de teste; completar o modelo de linha de base, protocolo de teste externo, auditoria de privacidade e cartão de dados. A primeira versão dos resultados do acompanhamento será divulgada somente depois que o tamanho da amostra e os limites de governança forem atingidos. Conclusão
Não deixe o tamanho da amostra criar a “ilusão da lista”
Cada um dos três pacotes compactados fornece uma entrada digna de construção contínua: o relatório do exame físico pode ser desenvolvido em uma compreensão do relatório e avaliação da comunicação de saúde, o DICOM panorâmico oral pode ser desenvolvido em uma referência para a posição do dente e identificação de lesões, e a tabela de emparelhamento do eletrocardiograma pode ser usada como um contrato de dados de rótulo de forma de onda de amostra. No entanto, o tamanho atual da amostra, os metadados e as evidências de anotação não são suficientes para apoiar afirmações de desempenho clínico ou classificações de modelos públicos. Um caminho mais responsável é primeiro verificar a origem e os riscos de identidade, depois solidificar as tarefas, padrões de referência, segmentação, testes cegos e planos estatísticos e, finalmente, usar evidências prospectivas entre organizações, entre dispositivos e para testar se o modelo é realmente utilizável. O valor profissional de
Langhui não reside em empacotar amostras limitadas em uma “grande lista”, mas em ajudar hospitais, equipes de pesquisa e equipes de algoritmos a transformar cada passo em uma cadeia de evidências rastreável, revisável e capaz de melhoria contínua. Isto pode não apenas aumentar o valor dos dados de treinamento, mas também tornar os resultados da lista mais justos, mais explicáveis e mais próximos das decisões reais de negócios.
Referências
Estes estudos fundamentam a discussão metodológica; os resultados não comprovam o desempenho de modelos nas amostras fornecidas.
- CODE-II: a large-scale dataset for artificial intelligence in ECG analysis. npj Digital Medicine. 2026.
- Development and external validation of a contrastive learning foundation model for ECG-based prediction of cardiovascular diseases and outcomes. 2026.
- Detecting structural heart disease from electrocardiograms using AI. Nature. 2025.
- Bridging the gap from clinical to home ECG: quantifying and overcoming accuracy loss in AI-enabled single-lead ECG models. npj Digital Medicine. 2026.
- Towards clinical-level interpretation of dental panoramic radiography using an instance-guided vision-language model. Nature Biomedical Engineering. 2026.
- Towards Better Dental AI: A Multimodal Benchmark. NeurIPS Datasets and Benchmarks. 2025.
- HealthBench: an evaluation for AI systems and human health. OpenAI. 2025.
- Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update. Radiology: Artificial Intelligence. 2024;6(4):e240300.
方法边界：Este artigo é um projeto de pesquisa e análise de engenharia de dados, não uma recomendação de diagnóstico, avaliação de dispositivos médicos ou opinião jurídica. As informações pessoais constantes do anexo devem ser processadas em ambiente autorizado; fontes de dados, autorizações, revisões de ética/conformidade e desidentificação devem ser concluídas antes da publicação pública.
