Do DICOM aos slides de patologia: como a IA multimodal médica estabelece um ciclo fechado de avaliação e dados verificáveis

Ciclo fechado multimodal de patologia de imagem: autorização e desidentificação, associação em nível de paciente, controle de qualidade de modalidade, segmentação independente, avaliação de modelo e revisão de erros clínicos. — Figura 1｜Dados multimodais não se trata de reunir imagens, relatórios e rótulos; requer um ciclo fechado desde a correlação da fonte até a avaliação independente e análise de falhas.

Multimodalidade não é tão simples quanto “imagem mais texto”

Modelos multimodais médicos são frequentemente descritos como uma fusão de imagens e texto, mas tarefas reais geralmente contêm pelo menos quatro tipos de informações: sinais visuais, medidas estruturadas, narrativas clínicas e contexto temporal. Volumes de tomografia computadorizada, seções inteiras de patologia, relatórios radiológicos, registros cirúrgicos, indicadores laboratoriais e códigos de diagnóstico têm granularidades, mecanismos de erro e tempos disponíveis diferentes. Simplesmente juntá-los pode resultar em maiores informações, mas pode não resultar necessariamente em evidências clínicas mais confiáveis.

O primeiro passo deve ser perguntar claramente sobre o alvo de previsão e os modos visíveis. Por exemplo, o modelo de geração de laudo radiológico lê as imagens após a conclusão do exame; o modelo de risco pré-operatório só pode utilizar informações anteriores à cirurgia; a ferramenta assistente de patologia pode usar imagens de corte e histórico clínico limitado. Se a tarefa é prever os resultados pós-operatórios, a patologia pós-operatória como característica causará vazamento do rótulo. Se as imagens não estiverem disponíveis na implantação clínica, os modelos que dependem de imagens durante a fase de treinamento não poderão ser reproduzidos. A definição da tarefa também deve indicar o ponto no tempo alvo, as fontes de entrada e as modalidades permitidas. O anexo

associa casos cirúrgicos, imagens, evolução da doença, patologia e campos do laudo, e exige que as imagens e textos correspondam à sequência completa. Esses requisitos podem ser traduzidos em contratos modais: tipo de arquivo, estrutura, metadados principais, limites de qualidade, chaves de associação, janelas de tempo, fontes de anotação e status ausente para cada modalidade. Somente quando o contrato for aprovado a engenharia do modelo poderá saber o que cada amostra realmente representa.

Integridade de dados de volume DICOM e pré-processamento interpretável O valor do

DICOM está na preservação dos pixels da imagem, bem como na aquisição e nos metadados espaciais. Os projetos de CT pelo menos verificam o PatientID em relação ao mapeamento de chave do paciente do projeto, StudyDate, Modality, BodyPartExamined, SliceThickness, PixelSpacing, Rows, Columns, BitsAllocated e outras informações necessárias enquanto verificam referências UID, número de instâncias, orientação da imagem, espaçamento de fatias, fatias duplicadas e intervalos de valores de pixel. Diferentes sequências reconstruídas podem corresponder a diferentes núcleos, espessuras de corte ou estágios de agente de contraste; tratá-los como imagens homogêneas confundirá a distribuição da entrada de treinamento.

"Sequência completa" precisa ser definida por tarefa. Para classificação de volume, todos os cortes axiais elegíveis podem ser necessários; para detecção de lesões, sequências de localização e reconstrução também podem ser necessárias; para relatar tarefas de correlação, as sequências e os identificadores relevantes dentro do mesmo exame devem ser mantidos. Você não pode simplesmente escolher três quadros-chave como substitutos padrão para um CT completo. Se você executar a filtragem ou reamostragem de quadros-chave, as estatísticas do ID da sequência pai, do método de filtragem, da versão do algoritmo, da transformação espacial e dos dados descartados deverão ser salvos. O pré-processamento não é um detalhe técnico invisível, mas parte do espectro de dados.

A desidentificação precisa ser tratada juntos nos níveis de imagem e metadados. O padrão DICOM fornece perfis de atributos, mas texto livre, tags privadas, nomes e datas gravados em pixels, associações UID e metainformações de arquivos podem representar riscos. Por outro lado, algumas tarefas exigem a preservação de conexões relativas temporais, etárias ou longitudinais. A configuração e os controles de risco usados devem ser determinados pela equipe de Privacidade e Governança de Dados e verificados por meio de inspeções de amostra. Cópias de pesquisa e tabelas de mapeamento originais devem ser gerenciadas separadamente, e permissões, auditoria e políticas de retenção devem ser integradas ao processo do projeto.

A qualidade da imagem também inclui diferenças de equipamento e aquisição. O fabricante do scanner, o núcleo de reconstrução, a espessura do corte, o protocolo do agente de contraste, o ruído da imagem, os artefatos de movimento, o campo de visão e as alterações de protocolo podem contribuir para mudanças de domínio. A avaliação do modelo deve documentar o local, o equipamento, o ano da inspeção e o protocolo, e evitar o vazamento inadvertido de amostras quase duplicadas do mesmo centro nas divisões de treinamento e teste. Mesmo que a sequência completa seja mantida, verifique se a digitalização cobre o local alvo, se a imagem é legível e se o sujeito atende aos critérios de inclusão.

Seções patológicas completas precisam ser conectadas camada por camada do paciente, da amostra ao remendo

Imagens patológicas de fatia inteira (WSI) geralmente atingem bilhões de pixels. Durante o processamento do modelo, eles são divididos em um grande número de patches locais e depois resumidos em fatias ou representações no nível do paciente. Se você olhar apenas a etiqueta do diagnóstico final, é fácil ignorar o tipo de amostra, o local da amostragem, a qualidade do tecido, a coloração, a ampliação da digitalização e a versão do relatório patológico. O nível de dados correto inclui pelo menos pacientes, visitas, amostras, blocos de tecido, lâminas, WSI, patches e relatórios; níveis diferentes devem ter identificadores de rastreabilidade. O texto do relatório de patologia

pode fornecer rótulos pouco supervisionados, mas o relatório nem sempre corresponde individualmente a cada patch. A seção inteira pode conter tumor, estroma, necrose, inflamação e tecido normal simultaneamente. Copiar diretamente os diagnósticos de malignidade no nível do paciente para todos os patches gerará um grande número de rótulos ruidosos. O aprendizado de múltiplas instâncias, o agrupamento de atenção ou a anotação de região podem lidar com rótulos fracos, mas o desempenho do algoritmo ainda depende da qualidade do rótulo em nível de caso, da seleção de fatias e da cobertura da amostra. Se a detecção de lesões em nível regional for estudada, um processo regional de rotulagem e revisão por patologistas deverá ser elaborado.

Marcadores imuno-histoquímicos, colorações específicas, descrição histológica e estadiamento TNM/AJCC devem ser abordados junto com a conclusão. Os resultados da marcação precisam ser mantidos como positivos/negativos, indeterminados ou não testados; a versão aplicável e a fonte de evidência devem ser indicadas para estadiamento. Para tumores malignos, o estadiamento clínico, o estadiamento imagiológico e o estadiamento patológico pós-operatório não são campos sinónimos. Se a tarefa do modelo usar rótulos de estágio, deverá ficar claro qual estágio está sendo previsto e com base em qual ponto de tempo e padrão. Os pacientes que não possuem um determinado teste não podem ser diretamente marcados como negativos.

Três rotas de fusão para emparelhamento de imagem e texto

A fusão inicial combina texto, variáveis estruturadas e recursos visuais na entrada ou em camadas anteriores, que podem capturar interações refinadas, mas requer emparelhamento de tempo, amostra e rótulo bastante preciso. A fusão a médio prazo permite que diferentes codificadores aprendam primeiro de forma independente e depois alinhem as modalidades através de atenção cruzada, aprendizagem contrastiva ou espaço latente partilhado para facilitar a retenção de conhecimentos modais. A fusão tardia produz primeiro resultados monomodais e depois mescla as decisões. O sistema é mais fácil de explicar e mais tolerante com a ausência de certas modalidades, mas pode não ser capaz de aprender a complementaridade intermodal complexa.

Antes de selecionar um método de fusão, estabeleça uma linha de base simples: apenas variáveis clínicas, apenas texto, apenas imagem e fusão tardia simples. Se um modelo multimodal complexo não superar consistentemente a linha de base, isso pode ser devido a erros de emparelhamento, tamanho de amostra insuficiente, ruído de rótulo ou uma modalidade simplesmente expressando a mesma informação repetidamente. Experimentos de ablação que “removem uma modalidade” também devem ser comparados ao desempenho do teste e à calibração na ausência da modalidade. Se um modelo só funcionar quando todos os modos estiverem completos, o final da implantação deverá confirmar se essas entradas estão estáveis e disponíveis na cena alvo. O trabalho TITAN da

Nature Medicine em 2025 demonstra uma linha de pesquisa para aprender representação de fatia completa, descrição de região e transferência entre tarefas com desidentificação em grande escala de imagens e relatórios patológicos; O PRISM2 da Nature Medicine em 2026 conduz pesquisas adicionais em torno de modelos básicos patológicos e supervisão de diálogo clínico. Esses artigos ilustram que o emparelhamento de relatórios e a representação em múltiplas escalas são direções ativas de pesquisa, mas os dados de treinamento, tarefas, avaliações externas e licenças de modelo dos artigos têm seus próprios limites, e seus indicadores de papel não devem ser traduzidos diretamente na qualidade dos dados ou na promessa de benefício clínico de um determinado projeto.

Rótulo, origem e hora determinam se a revisão é válida

Os relatórios de imagem e de patologia são evidências clínicas, mas também podem conter erros, atrasos, diferenças de versão ou incerteza de diagnóstico. Para aprendizagem supervisionada, os rótulos devem reter o tipo de fonte, o tempo de geração, o status da revisão, a versão da regra e a incerteza. Os rótulos extraídos automaticamente do texto do relatório devem ser amostrados e verificados com o relatório original; os pseudo-rótulos gerados pelo modelo não devem ser confundidos com rótulos de especialistas sem revisão. Se o rótulo vier de patologia pós-operatória, mas a entrada for apenas imagens pré-operatórias, seu intervalo de tempo e população aplicável deverão ser claramente definidos.

O conjunto de treinamento, o conjunto de validação e o conjunto de teste precisam ser isolados por paciente para evitar múltiplos cortes, múltiplas varreduras ou relatórios repetidos do mesmo paciente em todos os conjuntos. Para dados da mesma instituição, também pode haver vazamento de imagens quase duplicadas, documentos padronizados, cópias de pós-processamento de imagens e marcações de equipamentos. A verificação externa independente deve tentar vir de locais ou períodos de tempo diferentes e verificar se o processo de rotulagem é consistente. Se o objetivo for uma implantação multipaís, multilíngue ou multidispositivo, a cobertura de dados também deve refletir essas diferenças; a pontuação mais alta de um único site não pode responder à questão da confiabilidade fora do domínio.

devem exceder AUROC. A tarefa de classificação pode observar AUPRC, sensibilidade, especificidade, valor preditivo positivo, valor preditivo negativo, calibração e desempenho de limite ao mesmo tempo; a tarefa de segmentação precisa relatar erros relacionados a limites e volumes; a geração de relatórios requer consistência factual, omissões, falsos positivos e revisão de especialistas clínicos. A análise de subgrupo deve ser realizada para dispositivo, local, faixa etária, sexo, subtipo de doença, perda de modalidade e complexidade do caso, e devem ser fornecidos intervalos de confiança. Os cenários clínicos também avaliam a colaboração homem-máquina, os impactos no fluxo de trabalho e o tratamento seguro de falhas.

Uma lista de verificação de aceitação de dados multimodais acionável

A primeira camada é o arquivo e os metadados: se o DICOM pode ser lido, se a sequência está completa, se o pixel e as informações espaciais são válidos; se a camada de texto do PDF pode ser extraída, se a ordem das páginas e a tabela estão completas; se a imagem patológica atende aos requisitos de resolução e digitalização. O segundo nível é a associação: se existe uma relação revisável entre chaves de pacientes, chaves de visitas, datas de exames, relatórios de imagem, registros cirúrgicos, números de patologia e cortes. O terceiro nível é o conteúdo: se os campos clínicos, rótulos e conclusões de imagem podem ser localizados no texto original e se há explicações para as principais deficiências. A quarta camada é a governação: se o âmbito da autorização, o processo de dessensibilização, os direitos de acesso, as regras de retenção e destruição são registados.

O "pacote completo do paciente" deve ser usado como uma unidade para inspeção aleatória, e não apenas como um único documento. Estratificados por modalidade e complexidade, foram reavaliados o curso, exames, exames, cirurgias, altas e trajetórias patológicas do mesmo paciente. O anexo propõe que os campos do relatório de imagem incluam data do exame, equipamento, local, exame simples/exame aprimorado, positivo/negativo, achados e conclusão da imagem; esses campos podem ser convertidos em taxa de falta, legalidade de valor e verificação de consistência do texto original. Para erros graves de correlação encontrados em um único caso, é necessário avaliar se se trata de um problema sistêmico e ampliar a amostragem, ao invés de apenas corrigir um arquivo.

Para a equipe de engenharia de algoritmos, o pacote de lançamento final também deve ter um manifesto reproduzível: lista de amostras em nível de paciente, hash de arquivo modal, versão de dados, regras de filtragem, resultados de segmentação, versão do pipeline de transformação, definição de rótulo e script de avaliação. Identificadores confidenciais não devem aparecer em listas públicas, mas IDs controlados podem ser usados dentro do projeto para completar a rastreabilidade. Os cartões de dados devem descrever as populações de cobertura, locais, dispositivos, prazos, modalidades em falta, preconceitos conhecidos e limitações. Essa entrega apoia a recorrência subsequente e a revisão da mudança de modelo.

Estabeleça limites claros desde a preparação de dados até a validação clínica

O desempenho básico da pesquisa não é igual à usabilidade clínica. Antes de entrar no fluxo de trabalho real, também é necessário verificar como o sistema funciona sob usuários alvo, dispositivos alvo, cargas reais e entradas anormais; se o resultado do modelo foi corretamente compreendido; se pode rejeitar ou avisar quando a entrada é incerta ou faltante; se ocorrem novos desvios ou cargas de trabalho. Os princípios GMLP da FDA/IMDRF enfatizam a correspondência de dados com a população-alvo, a independência de treinamento e testes, a formação de equipes homem-máquina e o monitoramento completo do ciclo de vida; DECIDE-AI fornece uma estrutura de relatórios para avaliação clínica precoce. Eles apoiam o design de processos e não endossam automaticamente um modelo. A equipe de desenvolvimento do

pode definir o ciclo fechado de avaliação para: fonte de dados e verificação de autorização, associação em nível de paciente, inspeção de qualidade de modalidade, revisão de rótulo, segmentação de versão, comparação de linha de base e multimodalidade, validação externa, análise de subgrupos e falhas, revisão de especialistas e avaliação de regressão revisada. Cada vez que os dados ou modelo são atualizados, o alcance da mudança e o impacto nos indicadores devem ser registados. Se novos equipamentos, novos modelos de relatórios ou novos locais forem adicionados, isso deverá ser considerado uma mudança de distribuição e o desempenho-chave deverá ser revalidado, em vez de assumir que o modelo será naturalmente generalizado.

Langhui pode auxiliar na classificação de campos de dados médicos, controle de qualidade de dados de imagem e patologia, anotações médicas, testes cegos e design de avaliação de algoritmo com base no escopo confirmado do projeto. As fontes específicas de amostra, volume de casos, cobertura modal, alocação de especialistas e resultados de aceitação devem estar sujeitos aos documentos oficiais do projeto; este artigo não representa inventário pontual, ensaios clínicos ou compromisso com diagnóstico e efeitos do tratamento. O valor dos dados multimodais de alta qualidade é que cada entrada, rótulo, conclusão e restrição podem ser verificados, ajudando a equipe do algoritmo a tornar o problema de pesquisa mais reproduzível.

A qualidade do emparelhamento multimodal precisa ser avaliada de forma independente, em vez de apenas verificar se os arquivos existem simultaneamente. A chave do paciente e da consulta, horário, local anatômico, número do exame, número da patologia, registros cirúrgicos e citações de relatórios podem ser usados como evidências correspondentes, e os revisores clínicos podem coletar amostras e confirmar se as imagens e o texto realmente correspondem. Se as imagens forem do pré-operatório, mas o relatório for da revisão pós-operatória, ou se as amostras patológicas forem retiradas de partes diferentes, os arquivos ainda não serão efetivamente pareados no mesmo diretório de pacientes. O status de correspondência deve ser dividido em confirmado, correspondência automática pendente, suspeita de incompatibilidade e não correspondente, e qual status pode ser usado na tarefa do modelo deve ser definido. Os dados de avaliação

também evitam a duplicação implícita de cortes, sequências ou imagens derivadas do mesmo paciente. O hash de imagem e o hash perceptual podem encontrar documentos idênticos ou quase duplicados; chaves de pacientes e chaves de exames podem encontrar exames duplicados; modelos de relatórios e datas podem encontrar documentos duplicados. Amostras quase duplicadas podem tornar a pontuação do conjunto de teste falsamente alta. As regras de desduplicação devem reter o mapeamento dos registros removidos para o registro principal e ser executadas antes da segmentação do paciente. Durante a avaliação externa, também é necessário registrar se a agência verificadora aparece nos materiais de treinamento e se as imagens são reproduzidas do mesmo fornecimento de dados ou fonte pública.

Para modelos generativos, a avaliação também deve focar em resultados que “parecem razoáveis, mas não têm evidências”. As perguntas e respostas de imagens e a geração de relatórios podem verificar descobertas importantes ausentes, acréscimos incorretos, inversão de palavras negativas, locais anatômicos incorretos e expressões de incerteza; as descrições das patologias devem diferenciar entre o que é realmente visível nas lâminas e o que é inferido do contexto clínico. Avaliações cegas de especialistas, verificação de fatos com base em evidências de referência e classificação estruturada de erros precisam ser usadas em conjunto. Se forem utilizados indicadores de avaliação automática, a sua relação com o parecer de especialistas deve ser verificada primeiro, e a similaridade do texto não pode ser diretamente equiparada à correção clínica.

Em termos de pré-processamento de imagem, normalização, largura e nível da janela, reamostragem, corte, normalização de cores e filtragem da região do tecido podem alterar o sinal visto pelo modelo. Cada etapa deve ter versões, parâmetros e logs de falhas, e tentar manter as mesmas regras no treinamento e nos testes. Para CT, a largura da janela, o nível da janela e a seleção do kernel de reconstrução podem afetar a textura; para patologia, a normalização da coloração pode aliviar as diferenças de varredura, mas também pode apagar sinais significativos de intensidade da coloração. Ser validado por meio de ablação e camadas de locais e evitar tratar o pré-processamento como uma etapa genérica e inofensiva.

Se o algoritmo for usado para colaboração homem-máquina, o conjunto de dados e a avaliação deverão registrar a linha de base do médico, apenas o desempenho do modelo e o desempenho do médico mais o modelo. Os modelos são aprimorados em um conjunto de testes independente e não há garantia de que o fluxo de trabalho do médico será mais seguro ou mais eficiente. O uso real também depende se as recomendações mudam as decisões, se os médicos ignoram ou sobrescrevem os modelos, se os erros do modelo são descobertos a tempo, se as amostras de baixa confiança são convertidas em trabalho manual e se os usuários com diferentes níveis de experiência se beneficiam de forma consistente. A avaliação clínica precoce deve concentrar-se primeiro na usabilidade e nos danos potenciais e depois avaliar gradualmente os resultados clínicos; ele não pode saltar diretamente das pontuações de correspondência de imagem e texto off-line para conclusões de benefícios clínicos.

Para casos cirúrgicos, as imagens devem formar uma relação sequencial verificável com registros médicos pré-operatórios, registros operatórios, observações pós-operatórias e resumos de alta. O exemplo de especificação de aquisição em anexo exige que as imagens pré-operatórias/pós-operatórias correspondam à descrição imediata do texto e estipula uma determinada resolução mínima de imagem, número de imagens por caso e cobertura de vários departamentos cirúrgicos; esses números são termos de aceitação do projeto e não um padrão científico comum para todas as pesquisas de imagem. O diálogo de consulta também tem uma estrutura modal independente: rodadas de diálogo, cenas de primeira consulta/consulta de consulta/consulta de medicação/interpretação de exames, imagens carregadas pelo paciente e conclusões de interpretação do médico precisam estar relacionadas, e as imagens não podem ser usadas como rótulos separadamente do diálogo correspondente. Somente escrevendo explicitamente essas condições no esquema de amostra você poderá verificar se a entrada do modelo está disponível em cenários de uso reais e se é consistente com o texto.

e fontes de dados

Este artigo resume os pontos-chave da engenharia de dados e do design de coorte com base nos campos de dados médicos e nos documentos de requisitos de recompra fornecidos pelos usuários, e os discute em conjunto com pesquisas públicas revisadas por pares, padrões técnicos e diretrizes regulatórias/de relatórios. Os campos, limites de filtro e quantidades no anexo são exemplos de especificações de requisitos e não provam que os dados foram adquiridos, entregues ou passaram na validação do modelo. Os algoritmos e processos neste artigo são usados para pesquisas científicas e discussões de projetos de engenharia e não constituem diagnósticos médicos ou recomendações de tratamento. Projetos específicos estão sujeitos a autorizações, cartões de dados, contratos e revisões de ética/conformidade. Referências e padrões técnicos