Vamos primeiro esclarecer a que tarefa “complexa” se refere que é complicada
Casos complexos são comuns na comunicação médica, mas devem ser concretizados em conjuntos de dados de aprendizado de máquina. Para classificação de imagens, a dificuldade pode ser lesões pequenas, sinais vagos ou coexistência de múltiplas doenças; para o raciocínio diagnóstico, a dificuldade pode ser múltiplos diagnósticos diferenciais, evolução do curso da doença e testes inconsistentes; para prever o caminho do tratamento, a dificuldade pode ser comorbidades, atendimento interdisciplinar ou diferenças na resposta ao tratamento. Longa permanência hospitalar, múltiplos diagnósticos e múltiplas consultas são apenas indicadores substitutos e não podem substituir a definição de dificuldade clínica da tarefa em si.
Se as tarefas-alvo não forem definidas primeiro, a amostragem baseada na "complexidade" pode facilmente criar confusão conceitual: alguns casos são complexos devido a doenças graves, alguns são complexos devido a um grande número de documentos e alguns são simplesmente sistemas de informação com alta integridade. Os modelos treinados podem aprender a prever o fluxo de trabalho hospitalar, o comprimento dos documentos ou os padrões de transferência, em vez de visar os fenótipos da doença. O primeiro passo deve ser formar uma estrutura de complexidade de caso que liste as tarefas-alvo, os pontos de decisão clínica, as entradas disponíveis, os rótulos de saída, as populações aplicáveis e os cenários de falha que se espera que sejam cobertos. O anexo
propõe a construção de arquivos de alta dificuldade utilizando campos como revisão de diagnóstico, número de consultórios, tempo de permanência, UTI/UCC, histórico de visitas, número de diagnósticos de alta, notificação de doença crítica e resultado de não cura, e prefere casos cirúrgicos em que o diagnóstico pré-operatório e a patologia pós-operatória são inconsistentes. Estes indicadores são adequados como pistas de amostragem calculáveis e têm a vantagem de serem auditáveis e rastreáveis; no entanto, são apenas agentes de rastreio nas especificações do projecto e não constituem uma escala de gravidade da doença reconhecida, nem se pode inferir que os casos seleccionados representem “todos os casos complexos do mundo real”.
Portanto, “casos complexos” podem ser divididos em várias dimensões: incerteza clínica, duração da doença, carga de comorbidade, envolvimento multidisciplinar, intensidade do tratamento, diferenças na imagem ou interpretação patológica, integridade dos dados e alterações nos resultados. Cada dimensão é registrada separadamente, permitindo que os pacientes estejam altos em algumas dimensões e baixos em outras. A estratificação abrangente pode ajudar na amostragem, mas não deve substituir os indicadores originais. Os estudos modelo também podem reportar resultados por dimensão para evitar que uma pontuação global mascare a heterogeneidade de casos complexos.
Definir indicadores de filtragem como variáveis revisáveis
Cada variável de triagem requer definição operacional. Número de revisões de diagnósticos: Contar as revisões ou diagnósticos complementares em que tipos de documentos, contar por paciente ou consulta e como retirar duplicidades de emissões repetidas. Número de departamentos de consulta: Com base no pedido de consulta formal, no registro de consulta ou no departamento de autor do documento, se os departamentos transferidos são contados duas vezes. Duração da internação: utilizar dias naturais, horas ou diferença nas datas de admissão e alta e como lidar com as transferências inter-hospitalares. Número de consultas médicas históricas: Limite a janela de tempo e a variedade de sistemas anteriores que podem ser associados para evitar erros de julgamento de que nenhum dado histórico significa que não há consultas médicas anteriores. A admissão na UTI / CCU
precisa definir claramente o registro real do leito, o tempo de entrada e saída de transferência e a observação de curto prazo; a notificação de doença grave ou crítica deve distinguir entre documentos formais de notificação e descrições do curso da doença; o número do diagnóstico de alta deve indicar se inclui sintomas, complicações e codificação repetida; o resultado da alta de “não curado” precisa esclarecer as regras originais de enumeração e mapeamento. Os valores das variáveis devem estar vinculados aos campos de origem ou HIS e registrar o tempo de extração, versão da regra, verificadores e tratamento de exceções. Dessa forma, revisores independentes podem recalcular os resultados da triagem.
Para cada limite, recomenda-se salvar três ou vários estados: satisfeito, não satisfeito e incapaz de determinar; e também registre os motivos da falta de fontes de dados indisponíveis, janelas de tempo incompletas ou falha no reconhecimento de documentos.“Nenhum registro de UTI encontrado” não pode ser equiparado a “paciente não teve experiência em UTI” a menos que a cobertura da fonte de dados seja completa. Para casos próximos do limite, a revisão manual pode evitar erros de classificação devido à precisão da data, documentação duplicada ou erros de codificação. O próprio limite precisa ser congelado antes da amostragem; se ajustado no meio do caminho, a versão e o impacto de cada mudança de regra no número de filas serão mantidos.
Da amostragem difícil às coortes representativas: dois objetivos não podem ser confundidos
Enriquecer exemplos concretos tem um valor claro: melhorar a cobertura do treinamento do modelo ao enfrentar casos extremos, descobrir erros não vistos em conjuntos de dados regulares e avaliar a robustez para subpopulações raras ou contradições intermodais. No entanto, coortes de alta dificuldade e populações-alvo de implantação muitas vezes têm diferentes espectros de casos. Se o conjunto de testes tiver muitos casos de UTI, multimorbidade ou cirúrgicos complexos, o desempenho geral pode não ser representativo do uso clínico comum; se o conjunto de treinamento for superenriquecido, as probabilidades e os limites do modelo podem não ser adequados para a verdadeira prevalência.
Pelo menos três filas devem ser distinguidas. A primeira é a fila representativa, usada para estimar o desempenho geral do cenário alvo; a segunda é a fila desafio, que abrange especificamente situações complexas, raras ou de alto risco; e a terceira é a fila de desenvolvimento, que é usada para treinamento ou ajuste de parâmetros de algoritmos. Eles podem compartilhar algumas definições, mas diferem em propósito, taxas de amostragem e métodos de relatório. A aprovação de resultados em conjuntos de desafios não pode substituir a validação representativa; métricas médias representativas não podem mascarar falhas em subgrupos difíceis.
Para estimar o desempenho geral da população implantada a partir de amostras enriquecidas, é necessário compreender a probabilidade de amostragem, a distribuição da população alvo e considerar a ponderação ou recalibração; mas isto depende de um mecanismo de amostragem razoável e de informações suficientes sobre a população-alvo. Não podemos simplesmente usar “20% para nível de dificuldade alto e 80% para nível normal” para inferir a taxa de ocorrência natural. Se a estratificação 200/800 no anexo for apenas um rácio de aquisição, trata-se de um requisito de componente de entrega e não de uma estimativa clínica epidemiológica. Os relatórios de investigação devem distinguir claramente o desenho da amostra da população-alvo.
Para o modelo, a representatividade das amostras difíceis não se reflete apenas nos indicadores de condição, mas também no local, equipamento, idade, sexo, idioma, método de encaminhamento, qualidade do documento e modalidades disponíveis. Se os casos complexos vierem de apenas alguns grandes hospitais, de um determinado departamento ou de uma instalação específica, o modelo poderá tratar as características institucionais como dificuldade. A amostragem estratificada por centro e departamento, seguida de inspecção da distribuição para cada dimensão, pode ajudar a detectar tais enviesamentos.
A patologia e o diagnóstico pré-operatório são inconsistentes: reter as diferenças é mais valioso do que forçar a unificação
A diferença entre o diagnóstico de trabalho pré-operatório e o diagnóstico patológico pós-operatório é uma informação importante no processo de diagnóstico clínico. Pode resultar de achados de imagem atípicos, faixa de amostragem limitada, heterogeneidade das lesões, achados intraoperatórios, revisão patológica ou alterações nas versões padrão de diagnóstico. A diferença não significa automaticamente que o julgamento pré-operatório estava errado, nem significa automaticamente que a patologia deva ser o padrão-ouro perfeito. Para dados de treinamento, cobrir diretamente o diagnóstico pré-operatório com conclusões patológicas fará com que o modelo seja solicitado incorretamente a responder a "resposta final conhecida", enquanto a tarefa real pode ser realizar a estimativa de risco com base em evidências limitadas antes da cirurgia.
No modelo de dados, a fonte e o momento do diagnóstico devem ser mantidos: impressão de imagem pré-operatória, diagnóstico clínico de trabalho, achados intraoperatórios, patologia inicial, suplemento imuno-histoquímico, revisão especializada, diagnóstico final e suas respectivas evidências. Podem ser estabelecidos rótulos de tipos diferenciais, tais como alterações nas categorias diagnósticas, alterações no estágio, alterações nos julgamentos benignos e malignos, localizações incompatíveis das lesões, amostragem insuficiente ou incerteza; os rótulos são confirmados por um processo de revisão médica qualificado e mantêm consistência e status de disputa. O rótulo do modelo depende do problema alvo e um resultado final não deve ser usado para todas as tarefas.
Quando a amostra utiliza “inconsistência pré-operatória e pós-operatória” como condição de triagem prioritária, é necessário verificar se esta condição aumenta o viés de seleção. As pessoas que se submetem à cirurgia e recebem resultados patológicos são muitas vezes diferentes daquelas que não fazem a cirurgia; a localização da lesão, o risco do paciente, a capacidade do hospital e a tomada de decisão do médico influenciam a decisão de operar. Se o alvo da pesquisa forem modelos de imagem pré-operatórios, estudar apenas casos com patologia cirúrgica pode resultar em viés de validação. Essas amostras podem ser usadas como um subconjunto de desafio especializado, e um conjunto de validação separado, mais próximo da população-alvo de usuários, pode ser criado, indicando que o rótulo de patologia cobre apenas um grupo específico de pacientes.
Como a incerteza do rótulo e a revisão especializada entram no design dos dados
A complexidade do caso muitas vezes significa que os próprios rótulos são mais incertos. Médicos diferentes podem ter opiniões diferentes sobre o estágio da doença, limites da lesão, gravidade ou categoria diagnóstica; uma conclusão patológica também pode ser modificada após coloração adicional. Um único arquivo de rótulo esconde essa incerteza. Para os alvos principais, recomenda-se manter as anotações iniciais, as anotações de revisão, as conclusões do veredicto, as razões e as provas correspondentes. Se necessário, mantenha o julgamento independente e a confiança de vários anotadores em vez de salvar apenas um valor final.
O controle de qualidade da anotação médica pode utilizar amostragem estratificada: casos básicos são utilizados para monitorar a consistência da rotina; casos complexos aumentam a proporção de anotações independentes por duas pessoas; os casos divergentes são entregues a peritos seniores para julgamento; testes cegos aleatórios são usados para avaliar a repetibilidade e desvio potencial. O indicador não deve ser apenas a taxa global de concordância, mas também analisar o desequilíbrio da categoria, as categorias de limites e os diferentes departamentos separadamente. Estatísticas como o kappa de Cohen e o alfa de Krippendorff podem ser complementadas, mas estatísticas consistentes não comprovam validade clínica; eles precisam ser revisados em conjunto com definições clínicas e evidências de origem. As funções de auditoria
também devem ser diferenciadas. Os anotadores são responsáveis por extrair ou interpretar de acordo com as especificações; os revisores verificam aplicações de definição e evidências de origem; os juízes resolvem disputas; e os líderes de governança de dados confirmam as permissões e os limites de uso. Cada função deve ter qualificações, escopo de tarefas e um registro de alterações. Para tags de texto livre, o mapeamento entre fragmentos de texto original e tags estruturadas deve ser salvo; para anotações de imagens ou patologias, as ferramentas de anotação, coordenadas, versões, campos de visão ou identificadores de fatias devem ser retidos para revisão.
Como avaliar modelos de casos complexos sem ser enganado por um único AUROC
A avaliação de fila complexa não pode relatar apenas um AUROC. Se os casos positivos forem raros, a AUPRC, a sensibilidade sob limiares clínicos fixos e o valor preditivo positivo podem ser mais diretos; se o modelo gerar probabilidade de risco, é necessário observar a interceptação da calibração, a inclinação da calibração, a calibração do grupo e o desempenho próximo ao limiar clínico; se for uma tarefa multiclasse ou multi-rótulo, os indicadores de nível de categoria e as matrizes de confusão também devem ser relatados. Os resultados precisam receber intervalos de confiança e explicar como o agrupamento no nível do paciente ou exames duplicados são tratados.
O desempenho médio geral deve ser apresentado simultaneamente com os resultados escalonados. Pode ser analisado por dimensão de complexidade, departamento, local, completude modal, faixa etária, sexo, ano de dados e tipo de dispositivo. Relate o tamanho da amostra, o número de positivos, a taxa de falta e a incerteza para cada subgrupo para evitar tirar conclusões fortes de amostras muito pequenas. A validação externa também deve avaliar as diferenças nos processos de rotulagem e nos processos de recolha de dados; quando o desempenho diminui, distinguir entre alterações no espectro de casos, desvio de dados, alterações na definição de rótulos e generalização insuficiente do modelo. A explicação do modelo
não deve se basear apenas em mapas de calor de atenção ou classificações de importância. Para amostras de desafio, o retrocesso de casos de erro deve ser feito: O modelo utilizou diagnósticos após o ponto de tempo de previsão? Tratar o texto do hospital ou do dispositivo como um atalho? A imagem está focada em áreas relevantes para a tarefa? São citadas evidências sobre o curso da doença que contradizem a conclusão? Essas questões precisam ser revisadas por especialistas clínicos e engenheiros, e os tipos de falhas são convertidos na próxima rodada de dados e itens de melhoria de avaliação.
Transforme as especificações de aquisição em um plano de fila científica Os indicadores anexados a
podem ser transformados em uma "tabela de retrato de complexidade auditável": identificação do paciente, escopo da consulta, valores originais de cada indicador, base de cálculo, se o limite foi atingido, motivos para falha na determinação, localização da evidência e estratificação final. Durante a verificação de aceitação, a tabela de indicadores e o texto original do prontuário médico são verificados aleatoriamente, não apenas para verificar se as estatísticas atendem às condições, mas também para verificar se o texto original apóia os resultados, se as janelas estatísticas são consistentes e se há cálculos repetidos. A distribuição dos casos por departamento e modalidade deve ser comparada com os cenários de aplicação alvo ao mesmo tempo.
Uma sequência de projeto mais estável é: primeiro definir as tarefas clínicas e as populações-alvo; em seguida, determinar dimensões de complexidade e variáveis operacionais; congelar as regras e verificá-las em uma pequena amostra; avaliar os locais, departamentos, modalidades e distribuição populacional selecionados; separar coortes representativas e coortes de desafio; em seguida, realizar treinamento/validação/segmentação de teste em nível de paciente; e, finalmente, realizar avaliações externas independentes e reportar por níveis. Cada etapa deve deixar uma versão reproduzível. A seleção dos limiares não deve apenas considerar a disponibilidade dos dados, mas também garantir que sejam consistentes com a questão científica.
Langhui pode ajudar no estabelecimento de mapeamento de campo de dados médicos, regras de triagem, especificações de rotulagem médica, testes cegos e processos de revisão, cartões de dados e estruturas de avaliação de modelos no escopo da autorização do projeto. A escala específica, tipos de doenças, instituições, alocação de especialistas e indicadores de aceitação estão sujeitos ao contrato e plano de implementação confirmados por ambas as partes. O valor real dos casos complexos não é escrever “dificuldade” como um rótulo de marketing, mas torná-lo observável, revisável e melhorável para quais grupos e sob quais condições de informação o modelo é confiável ou não confiável.
A coorte de casos também examina a diferença entre “casos visíveis” e “população-alvo”. Os registros médicos de um único centro geralmente registram apenas eventos que ocorreram no hospital, e diagnósticos, medicamentos anteriores e resultados extra-hospitalares podem não ser visíveis; pacientes difíceis têm maior probabilidade de serem transferidos para hospitais de nível superior. Se o objetivo da pesquisa é auxiliar a tomada de decisão em determinado tipo de hospital, a população-alvo deve limitar-se a esse cenário; para que se possa afirmar que é aplicável a uma população mais ampla, é necessário abranger todos os centros e explicar o mecanismo de referência. O escopo das fontes de dados determina as questões que o modelo pode responder. A integridade dos registros não pode ser confundida com a integridade dos fatos sobre a saúde do paciente. As métricas de complexidade
podem estar altamente correlacionadas entre si. Os diagnósticos de gravidade, tempo de internação, consulta e alta podem ser determinados pelo mesmo processo de doença ou processo hospitalar, e adicioná-los diretamente resultará em dupla ponderação. A distribuição marginal, a correlação e o padrão de coocorrência de cada indicador podem ser relatados primeiro e, em seguida, uma estratégia estratificada pode ser formada com base nas opiniões de especialistas clínicos e na análise estatística. A análise de sensibilidade do limiar também é importante: a composição da coorte muda significativamente após um ligeiro ajuste do limiar de duração da estadia? Se a mudança for grande, significa que a estratificação depende do limite, e isso deve ser solicitado durante o relatório.
Para reduzir o viés de seleção, recomenda-se reter o denominador antes da triagem, o número de exclusões em cada etapa e os motivos. O fluxograma de triagem deve ilustrar quantos casos foram perdidos em cada etapa, desde o conjunto de dados de origem até a amostragem final, em conformidade com as regras, vinculável, rotulada e final. Se apenas os pacientes com informações completas acabarem na fila, o modelo pode ser mais adequado para pacientes com registros padronizados no sistema de informação, do que em um ambiente mais caótico do mundo real. Você pode criar um "conjunto de desafios de dados incompletos" separado para testar o comportamento do modelo quando alguns campos ou modos estão faltando e esclarecer quais entradas ausentes irão desencadear rejeição ou revisão manual.
Ao rastrear casos complexos, as equipes de pesquisa podem pré-registrar projetos de coorte e subgrupos principais, especialmente quando as regras de estratificação podem afetar os resultados dos testes. A pré-fixação de definições, limites e pontos de extremidade difíceis reduz o risco de ajustar "casos difíceis" depois de ver os resultados do modelo. Se as regras precisarem ser iteradas, elas deverão ser exploradas usando dados de desenvolvimento e depois congeladas em definições em dados de validação independentes. As alterações nos limiares dos indicadores e nas regras de rotulagem devem ser escritas na versão do plano e a estrutura da amostra antes e depois da alteração deve ser comunicada. Para projetos de dados baseados em aquisições, isto também ajuda a separar a conformidade da aceitação das conclusões da investigação científica: cumprir o rácio do contrato significa que a entrega cumpre o acordo, mas não significa que o desempenho clínico tenha sido comprovado.
A avaliação hierárquica pode ser usada durante a modelagem para identificar se o modelo é eficaz apenas em subconjuntos fáceis. Por exemplo, observe os grupos de rótulos claros e controversos, modalidade única e multimodal completa, diagnóstico inicial e diagnóstico de acompanhamento, departamento de rotina e consulta interdisciplinar, patologia consistente e inconsistente, etc. As diferenças entre os grupos não podem ser explicadas apenas pelo viés do modelo, mas também podem surgir de diferenças no tamanho da amostra, espectro da doença e qualidade do rótulo; portanto, o tamanho da amostra original, a distribuição de características e os intervalos de confiança precisam ser relatados em conjunto com a revisão clínica. Se houver poucos dados para um determinado subgrupo, isso deverá ser marcado como evidência insuficiente, em vez de empacotar a estimativa do ponto instável como uma conclusão. Limites do método
e fontes de dados
Este artigo resume os pontos-chave da engenharia de dados e do design de coorte com base nos campos de dados médicos e nos documentos de requisitos de recompra fornecidos pelos usuários, e os discute em conjunto com pesquisas públicas revisadas por pares, padrões técnicos e diretrizes regulatórias/de relatórios. Os campos, limites de filtro e quantidades no anexo são exemplos de especificações de requisitos e não provam que os dados foram adquiridos, entregues ou passaram na validação do modelo. Os algoritmos e processos neste artigo são usados para pesquisas científicas e discussões de projetos de engenharia e não constituem diagnósticos médicos ou recomendações de tratamento. Projetos específicos estão sujeitos a autorizações, cartões de dados, contratos e revisões de ética/conformidade. Referências e padrões técnicos
Declaração
- TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods, BMJ (2024)
- DECIDE-AI: reporting guideline for early-stage clinical evaluation of AI decision support systems, Nature Medicine (2022)
- External validation of clinical prediction models, BMJ (2024)
- Good Machine Learning Practice for Medical Device Development, FDA / IMDRF
