Por que “agregar por paciente” altera o valor algorítmico dos dados
Os exemplos de treinamento de inteligência artificial médica são frequentemente entregues como arquivos: um PDF, uma imagem, uma tabela estruturada, que pode ser aberta individualmente, mas quando reunidos, não se sabe necessariamente se vêm do mesmo paciente, da mesma hospitalização ou do mesmo estágio clínico. Para o modelo, esta não é uma pequena falha de acabamento, mas a definição da amostra em si não se sustenta. Se a TC na entrada do modelo pertencer a outro paciente, ou o diagnóstico de alta não corresponder ao registro do curso da doença, o modelo poderá aprender a associação errada e os indicadores de avaliação perderão a base de interpretação. O pacote de dados em nível de paciente
redefine a "amostra" de um arquivo isolado para um objeto clínico com limites: a identidade do paciente usa uma chave desidentificada estável; há múltiplas visitas ou internações do paciente; cada visita está associada à documentação do curso, exames, exames, prescrições médicas, sequências de imagem e evidências patológicas. Dessa forma, a equipe de treinamento pode esclarecer se a amostra é de nível de paciente, de visita, de exame ou de documento único e, consequentemente, evitar que os dados da mesma pessoa vazem no conjunto de treinamento e no conjunto de teste. O anexo
propõe vincular documentos estruturados CSV, PDF, DICOM e patologia sob o mesmo ID de paciente e exige que cada pacote de paciente verifique a integridade intermodal. Esta direção corresponde à resolução de entidades e ao parentesco de dados na engenharia de algoritmos: uma chave de paciente precisa conectar múltiplas entidades clínicas, mas isso não significa que todos os tipos de dados devam existir. O modelo de dados correto deve distinguir entre “não ocorreu”, “clinicamente não aplicável”, “não coletado”, “coletado mas não entregue”, “falha de associação” e “qualidade não qualificada”, em vez de escrever todos os valores faltantes como valores nulos.
Construa o pacote do paciente em um modelo de dados padronizado em vez de uma tabela de resumo nivelada
Um modelo aterrado geralmente contém cinco tipos de entidades principais. A primeira categoria é Paciente: usa um identificador pseudonimizado para todo o projeto e não salva diretamente o campo de identidade real. A segunda categoria é Encontro: descreve eventos ambulatoriais, de internação, emergência ou acompanhamento, registrando horário de início e término, instituição, setor e tipo de atendimento. A terceira categoria é ClinicalEvent: indica eventos como evolução da doença, diagnóstico, exame, exame de imagem, cirurgia, medicação ou alta. A quarta categoria é Artefato: aponta para o PDF de origem, estudo/série DICOM, relatório de patologia ou slide. A quinta categoria é Asserção: campos de registros, conclusões, locais de evidências, status de revisão e versões obtidas a partir da extração do texto original ou anotação manual.
Relacionamentos explícitos devem ser usados entre essas entidades em vez de depender apenas de nomes de arquivos. Um paciente pode passar por múltiplas consultas médicas; uma consulta médica pode estar associada a múltiplos documentos e a múltiplos exames; um laudo de imagem pode descrever um exame, que por sua vez contém múltiplas séries DICOM; um relatório de patologia pode ser associado a uma ou mais amostras, locais de amostragem e lâminas. Para relatórios, campos estruturados e imagens que precisam ser unidos, a tabela de relacionamento deve registrar a chave associada, o método de correspondência, o nível de confiança, a janela de tempo, o status da revisão manual e o motivo da exceção. Quando não houver base confiável, deverá ser mantida como “a ser verificada”, não sendo permitida nenhuma correspondência forçada para aumentar a taxa de completude. A semântica do campo
também precisa ser padronizada. A data deve distinguir, no mínimo, o horário de ocorrência do evento, o horário de coleta, o horário de emissão do relatório, o horário de registro do documento, o horário de revisão do documento e o horário de entrada na plataforma de dados. Os valores precisam reter o valor original, unidade, intervalo de referência, sinalizador anormal e valor padronizado; O diagnóstico deve manter o texto original, o sistema de codificação, a versão de codificação e a base do mapeamento. Os pedidos de medicamentos podem manter o nome original do medicamento, dosagem, frequência, via e status de execução; a codificação padrão, como os códigos ATC, são mapeamentos auxiliares e não devem cobrir o texto clínico original. O objetivo do modelo de dados unificado é ser computável e recuperável.
Como texto original, campos estruturados e arquivos multimodais formam uma cadeia de evidências
Se restarem apenas resultados estruturados, será difícil para os revisores subsequentes determinar se os campos são registros originais, extrações de regras, previsões de modelo ou adições manuais. Cada campo-chave deve ser rastreável até a fonte: identificação do arquivo, tipo de documento, número da página ou fragmento de texto, caminho do campo original, método de extração, função do anotador, tempo de revisão e versão dos dados. Para laudos de imagem, as conclusões do laudo podem estar relacionadas à data do exame, modalidade, local e identificação do Estudo/Série; para resultados de patologia, o relatório de patologia, as informações da amostra e os cortes correspondentes precisam ser conectados. A cadeia de evidências permite que os conjuntos de treinamento downstream rastreiem os erros em vez de apenas descobrirem sua existência. O anexo
apresenta requisitos para documentos como camada de texto extraível, correspondência entre pacientes e visitas e registros de alta necessários. Na verdade, essas verificações cobrem dois eixos de qualidade diferentes: um é a legibilidade da máquina e o outro é o fechamento clínico. O fato de o texto PDF poder ser copiado não significa que a extração do texto esteja livre de erros; a ordem das tabelas, notas de rodapé, unidades, paginação e digitalização deve ser verificada aleatoriamente. A existência de registro de alta não significa que o curso da doença esteja completo; deve-se verificar se está dentro da mesma faixa de consultas do diagnóstico de admissão, do processo de internação e do resultado da alta. Para indicadores-chave, compare os campos estruturados e as evidências do texto original para estimar a precisão da extração e as taxas de omissão.
O mesmo "diagnóstico" pode mudar gradualmente durante a admissão, revisão do curso, registros operatórios, relatórios de patologia e resumos de alta. Suprimi-lo em um diagnóstico final apaga importantes informações de tempo e incerteza dos estudos de modelo. Uma abordagem mais prudente é reter a declaração diagnóstica com o tempo, o papel do autor, a base e o status do texto original, e distinguir claramente entre "diagnóstico clínico de trabalho", "diagnóstico revisado", "diagnóstico pós-operatório", "diagnóstico patológico" e "diagnóstico de alta". Os modelos podem selecionar recursos que estão disponíveis antes de um determinado limite de tempo por tarefa, evitando espiar informações posteriores em tarefas de previsão.
DICOM e patologia não podem ser reduzidos a algumas imagens representativas As imagens
são dados de sequência com contexto de aquisição, não uma coleção de JPEGs. Para TC ou RM, o nível, a orientação, o espaçamento entre pixels, a espessura do corte, o núcleo de reconstrução, o estágio do agente de contraste e o número de imagens do registro do exame, Estudo, Série e Instância afetam a entrada do algoritmo. O apêndice enfatiza que a sequência completa, os múltiplos exames do mesmo paciente e as imagens pré e pós-operatórias devem ser mantidas. Durante o projeto, também é necessário verificar se a série está completa, se as instâncias duplicadas, as camadas faltantes, a orientação e as informações geométricas estão consistentes, e verificar a data e localização da inspeção no relatório com metadados DICOM. Se o alvo de treinamento realmente exigir apenas a seleção de imagens principais, a estratégia de seleção e o relacionamento entre a sequência pai também deverão ser registrados. A patologia
também possui vários níveis: número da patologia, amostra, bloco de tecido, seção, imagem digital da seção inteira (WSI), patch local e conclusão do relatório não podem ser misturados em um arquivo. A ampliação da digitalização, o tamanho do pixel, o tipo de coloração, o scanner, a cobertura do tecido e os artefatos da imagem do slide afetam a usabilidade. Os campos bruto, microscópico, imuno-histoquímico e estágio no relatório têm, cada um, significado semântico; O estadiamento TNM/AJCC de casos de câncer requer o registro da versão e da fonte. A patologia pós-operatória pode ou não ser consistente com a imagem pré-operatória ou com o diagnóstico clínico; este último constitui uma importante diferença de rótulo e deve ser mantido como um fenómeno pesquisável, em vez de ser directamente eliminado como um erro de dados. A desidentificação DICOM
também não é equivalente à exclusão de um campo PatientName. DICOM PS3.15 descreve arquivos de configuração de confidencialidade em nível de atributo, mas o processo real também precisa considerar UID e relacionamentos de referência, atributos privados, texto livre, texto gravado em pixels, áreas iniciais de arquivo e riscos de reidentificação após combinação com outros dados. Ao manter certas idades ou características de idade necessárias com base na missão, uma abordagem controlada, mínima e auditável deve ser usada e avaliada pelas partes responsáveis pela governança de dados e pela privacidade. As chaves dos pacientes podem ser utilizadas para correlação interna, mas a tabela de mapeamento deve ser isolada dos dados da pesquisa, estritamente autorizada, e a pseudonimização não pode ser confundida com anonimato.
Da aceitação de dados à verificação de usabilidade do modelo
A aceitação do pacote do paciente consiste em pelo menos quatro camadas. A camada de estrutura verifica se existem diretórios, formatos de arquivo e entidades necessárias; a camada de associação verifica se pacientes, consultas, exames, laudos e imagens estão conectados corretamente; a camada de conteúdo verifica aleatoriamente campos, camadas de texto, integridade de imagem e evidências documentais clínicas; a camada de governança verifica o escopo da autorização, a desidentificação, o controle de acesso e os períodos de retenção. A ideia no anexo de "verificar CSV/PDF/imagem/patologia sob o mesmo ID, verificar carimbos de data/hora e textos originais e verificar a proporção de amostras difíceis" pode ser reescrita em uma regra de aceitação repetível, e as entradas com falha podem ser geradas em uma lista de diferenças que podem ser localizadas.
A aceitação técnica não significa que o desempenho do modelo esteja disponível. A tarefa do modelo deve definir separadamente a população-alvo, o ponto no tempo do índice, a janela de previsão, a origem do rótulo, a definição positiva, as condições de exclusão e os cenários de uso clínico. O treinamento, a validação e os testes devem ser divididos de acordo com o paciente; se o mesmo paciente tiver múltiplas visitas, múltiplas sequências de imagens ou múltiplos cortes, eles deverão ser isolados como um todo. A composição da amostra, o hospital, o tempo, o equipamento, o departamento e a complexidade do caso afetarão a generalização externa, e as mudanças na distribuição não podem ser eliminadas pela expansão do tamanho do arquivo.
O objetivo final é tornar os dados reutilizáveis, auditáveis e reinterpretáveis durante o ciclo de vida do modelo. Os campos e regras de associação definidos durante a entrega da aquisição devem ser mapeados para cartões de dados, versões de conjuntos de treinamento, conjuntos de avaliação, análise de erros e registros de revisão subsequentes. Se um campo for atualizado da extração do texto original para a dupla revisão manual, ou se uma sequência de imagens passar por um novo processo de desidentificação, as diferenças de versão e o impacto nas avaliações existentes deverão ser mantidos. Um pacote de paciente não é um arquivo ZIP permanentemente fixo, mas um produto de dados estruturado em torno de entidades clínicas, evidências de origem, permissões e status de qualidade.
Em quais aspectos o Langhui pode fornecer suporte verificável? Os projetos de IA médica
geralmente exigem a tradução de especificações de aquisição em interfaces de dados, definições de amostra e lógica de aceitação. Concentrando-se na autorização do projeto e no escopo acordado, Langhui pode ajudar na classificação do dicionário de dados, regras de associação em nível de paciente, correspondência entre arquivos de origem e campos estruturados, especificações de anotações médicas, planos de controle de qualidade de amostragem e design de avaliação de modelo. O conteúdo específico da entrega, fontes de dados, escala, cobertura do assunto e indicadores de qualidade devem estar sujeitos ao contrato do projeto, cartão de dados e plano de aceitação confirmados por ambas as partes; este artigo não representa um compromisso com nenhum local de amostra específico ou resultados de entrega.
Uma maneira executável de começar é primeiro selecionar uma amostra de representante autorizado para concluir um POC em pequena escala: verificar o mapeamento de campo, a ligação do paciente e da visita, o alinhamento de tempo, a leitura de DICOM/patologia, os limites de dessensibilização, a consistência das anotações e os relatórios de aceitação. O POC não deve apenas considerar "abertura com sucesso", mas também registrar a categoria de falha, o custo de correção e os limites da amostra que não podem ser cobertos antes de decidir se deve expandir. Para dados médicos, divulgar claramente deficiências e incertezas muitas vezes tem mais valor de engenharia do que fornecer uma pontuação total aparentemente bonita.
A construção do pacote do paciente também precisa lidar com o ciclo de vida da chave de identidade. A identificação interna do projeto deve ser gerada por um processo controlado, evitando o uso direto de números identificáveis, como números de identificação, números de celular e números de prontuários; a correspondência entre fontes deve usar regras determinísticas ou probabilísticas aprovadas e salvar a base de correspondência e o status de conflito. A correspondência probabilística não deve apenas gerar uma identificação final, mas também fornecer limites, número de candidatos e revisão humana. Se um paciente não puder ser correspondido de forma confiável, é melhor deixá-lo como uma amostra não vinculada do que mesclá-la incorretamente porque "o pacote do paciente deve estar completo". A reutilização da mesma chave de pseudônimo entre diferentes projetos deve ser determinada pelo escopo da autorização e do sistema de governança.
Do ponto de vista da engenharia, é melhor avaliar a qualidade dos dados separadamente antes da coleta, processamento, entrega e treinamento. A extremidade de origem verifica a integridade, as permissões e o formato do arquivo; o processamento final verifica análise, mapeamento de campos, estabelecimento de relacionamento e desidentificação; o manifesto de verificações de final de entrega, verificação de arquivo e resultados de amostragem; e, em seguida, verifica as tarefas alvo, rótulos, segmentação de pacientes e versões de dados antes do treinamento. As regras de qualidade precisam de ter níveis de gravidade: por exemplo, a incompatibilidade entre os pacientes e a exposição de informações identificáveis devem bloquear a entrega; um pequeno número de exclusões de campos não críticos pode ser aceito após a divulgação; as exclusões modais precisam ser avaliadas se excedem o acordo do contrato de tarefa. Fornecer apenas uma “taxa de aprovação” mascara diferenças no risco de erros diferentes.
O design do banco de dados deve levar em consideração tanto a preservação do texto original quanto o uso de algoritmos. Os dados originais são salvos somente leitura e somados; os resultados da análise são armazenados em uma tabela derivada, registrando a versão do analisador e o tempo de execução; os campos revisados são substituídos por novas versões da lógica, em vez de serem reescritos de maneira sem rastros. Gere uma lista legível por máquina de entidades esperadas, entidades reais, hashes de arquivos de origem, resultados de correlação, status de CQ e códigos de exceção para cada pacote de paciente. Se um mapeamento diagnóstico for corrigido por um especialista clínico, o mapeamento original e a lógica de revisão serão mantidos para facilitar a reprodutibilidade do experimento. Os logs de acesso para arquivos brutos confidenciais e permissões de acesso a dados de treinamento devem ser gerenciados separadamente.
Os pacotes do paciente também devem esclarecer a diferença entre “amostra mínima disponível” e “amostra estendida”. Para algumas tarefas de PNL, um documento rastreável do curso da doença é suficiente; para predição longitudinal, os pacientes precisam ter pelo menos um ponto de tempo, janela de observação e resultado claros; para correlação entre imagem e patologia, pode ser necessário que a cirurgia, a imagem, as amostras e o diagnóstico patológico possam ser conectados de forma confiável. Se todos os casos forem selecionados de acordo com o mesmo conjunto de critérios de pacote completo, é fácil descartar dados de alta qualidade que podem ser usados para tarefas monomodais; por outro lado, misturar pacotes incompletos em treinamento multimodal também tornará opaco o mecanismo de falta de modalidade do modelo. O catálogo de dados pode fornecer regras de três níveis de "núcleo obrigatório", "condicionalmente obrigatório" e "extensões opcionais" e filtrar por tarefas.
Os indicadores de qualidade devem abranger precisão, integridade, consistência, oportunidade, exclusividade e rastreabilidade, em vez de apenas expressos em termos de taxa de falta. Por exemplo, a taxa de completude das identificações dos pacientes pode ser de 100%, mas se os erros forem mesclados entre hospitais, a precisão ainda será baixa; Os arquivos DICOM podem ser lidos, mas os pacientes e os relatórios correspondem incorretamente e a consistência ainda não é qualificada; Os PDFs possuem uma camada de texto, mas as tabelas principais são extraídas na ordem errada e a qualidade do conteúdo ainda é insuficiente. Para cada indicador, devem ser indicados o denominador, a base de amostragem, a definição de aprovação e o intervalo de confiança, e o nível de risco de erros críticos deve ser apresentado separadamente. Dessa forma, compradores, fornecedores de dados e equipes de modelagem podem discutir melhorias em torno dos mesmos fatos.
Cada pacote de dados também precisa de um status de ciclo de vida claro, como ser recebido, analisado, revisão pendente, disponível para tarefas específicas, uso restrito, retirado ou expirado para destruição. As alterações de status devem manter o horário, a função operacional e a base para evitar que os arquivos da versão antiga sejam lidos pelo sistema de treinamento após a aprovação da nova versão. Se o uso de dados mudar, como da extração de campo para o modelo de pré-treinamento ou avaliação interinstitucional, você deverá reconfirmar se a autorização original cobre esse uso. As políticas de acesso a dados podem distinguir documentos originais, imagens dessensibilizadas, dados estruturados e tags derivadas por função, e realizar arquivamento ou exclusão acordado após a conclusão do projeto. A correlação ao nível do paciente torna a investigação multimodal mais valiosa e aumenta o risco de identificação combinatória, pelo que as capacidades de correlação e os direitos de acesso precisam de ser incorporados em conjunto na governação, em vez de apenas fazer uma dessensibilização no momento da exportação.
Quando transmitidas entre equipes, as especificações do pacote do paciente também devem fornecer exemplos claros de catálogo, tipos de dados de campo, valores permitidos, versões de codificação, regras nulas e exemplos de exceção. Por exemplo, se “horário de exame” se refere a marcação, digitalização ou emissão de laudo deverá ser informado na descrição do campo; "imagem positiva" deve indicar se é baseada na conclusão do relatório ou na revisão manual. As tabelas estruturadas devem conter IDs de campo estáveis para facilitar a identificação de alterações de nome de campo ou desvio semântico durante múltiplas rodadas de entrega. Scripts de validação e resultados esperados são fornecidos para campos-chave, permitindo que as equipes de aquisição, anotação, algoritmo e controle de qualidade usem as mesmas regras. Se a parte receptora descobrir anomalias nos dados, deverá relatar arquivos, campos, evidências de texto original e tarefas de impacto por meio de tickets de problemas em nível de caso para formar um ciclo fechado de reparo rastreável.
As informações do autor também pertencem ao contexto clínico. Após autorização e desidentificação necessária, atributos indiretos de identidade, como função do autor, título profissional e departamento, podem ser retidos para distinguir registros de residentes, consultas médicas superiores, consultas especializadas e documentos de cirurgiões; nomes e números de identificação serão removidos de acordo com as regras do projeto. Se todos os autores forem substituídos uniformemente por “médico”, isso não só reduzirá a rastreabilidade da fonte, mas também impossibilitará que os pesquisadores analisem as diferenças semânticas entre os diferentes tipos de documentos e funções de assinatura. Para pedidos de medicamentos e não medicamentos, a embalagem do paciente deve manter o nome original do pedido, nome comum, dosagem, frequência, via, tempo de execução e status; códigos padrão como ATC podem ser usados como campos de mapeamento e a base para o mapeamento deve ser registrada. Os códigos padrão não podem ser usados para substituir o pedido original.
e fontes de dados
Este artigo resume os pontos-chave da engenharia de dados e do design de coorte com base nos campos de dados médicos e nos documentos de requisitos de recompra fornecidos pelos usuários, e os discute em conjunto com pesquisas públicas revisadas por pares, padrões técnicos e diretrizes regulatórias/de relatórios. Os campos, limites de filtro e quantidades no anexo são exemplos de especificações de requisitos e não provam que os dados foram adquiridos, entregues ou passaram na validação do modelo. Os algoritmos e processos neste artigo são usados para pesquisas científicas e discussões de projetos de engenharia e não constituem diagnósticos médicos ou recomendações de tratamento. Projetos específicos estão sujeitos a autorizações, cartões de dados, contratos e revisões de ética/conformidade. Referências e padrões técnicos
Declaração
- Longitudinal alignments and syntheses of multimodal clinical data for personalized medicine with the PULSE framework, Nature Computational Science (2026)
- Digital Imaging and Communications in Medicine (DICOM), PS3.15 Security and System Management Profiles
- WHO Europe: Governance for health data
- FDA / IMDRF: Good Machine Learning Practice for Medical Device Development
