Esta revisão sistemática examinou como grandes modelos de linguagem (LLMs) generativos foram avaliados para extrair informações clínicas de prontuários eletrônicos, quais evidências apoiam sua implementação e quais lacunas separam o desempenho relatado do uso clínico. A revisão incluiu estudos publicados e preprints e sintetizou as evidências de forma narrativa, sem meta-análise.
Desenho e escopo
Os autores identificaram 1.282 registros e incluíram 179 estudos únicos: 140 publicados e 39 preprints. A síntese usou o melhor resultado de cada estudo, com uma análise de sensibilidade baseada na configuração de menor desempenho. O risco de viés foi avaliado com uma estrutura QUADAS-2 adaptada.
Principais achados
Nos estudos publicados, a mediana do F1 para extração baseada em LLM contra um padrão de referência humano foi 0,887 (IIQ 0,800–0,948; n=103). Entre 67 estudos que testaram várias configurações, a mediana caiu de 0,890 na melhor configuração para 0,630 na de menor desempenho. A mediana do F1 nos preprints foi 0,855 (n=30).
A maioria dos estudos ainda não oferece as evidências necessárias para a implementação clínica. O risco de viés foi alto em 107 estudos, incerto em 71 e baixo em um. A validação externa foi relatada em 25 de 153 estudos avaliáveis, o desenho prospectivo em 2 de 142 e a implantação em produção em nenhum dos 124 estudos com informação disponível.
Interpretação
O desempenho relatado dependeu substancialmente da definição da tarefa e da configuração do modelo escolhida pelos autores para o relatório. Por isso, a revisão desaconselha classificar modelos entre estudos sem considerar essas diferenças. A participação de profissionais clínicos frequentemente se limitou à anotação ou à avaliação de pesquisa, e não ao uso em fluxos de trabalho clínicos.
Os autores concluem que as evidências sobre LLMs generativos para extração de informações clínicas continuam principalmente retrospectivas e técnicas. Antes da implementação, são necessárias validação externa específica para cada tarefa e avaliação prospectiva integrada aos fluxos clínicos. Este documento é um preprint e ainda não foi revisado por pares.




