Grandes modelos de linguagem para extração de informações clínicas de prontuários eletrônicos: revisão sistemática das evidências de avaliação e implementação

PreprintPreprints.org 2026 · 2 min de leitura
Estudos únicos incluídos
179
140 estudos publicados e 39 preprints
F1 mediana nos estudos publicados
0,887
Contra um padrão de referência humano · n=103
Estudos com validação externa
25/153
Entre os estudos avaliáveis

Uma revisão sistemática de 179 estudos encontra bom desempenho relatado, mas pouca validação externa, avaliação prospectiva e implantação em produção.

Esta revisão sistemática examinou como grandes modelos de linguagem (LLMs) generativos foram avaliados para extrair informações clínicas de prontuários eletrônicos, quais evidências apoiam sua implementação e quais lacunas separam o desempenho relatado do uso clínico. A revisão incluiu estudos publicados e preprints e sintetizou as evidências de forma narrativa, sem meta-análise.

Desenho e escopo

Os autores identificaram 1.282 registros e incluíram 179 estudos únicos: 140 publicados e 39 preprints. A síntese usou o melhor resultado de cada estudo, com uma análise de sensibilidade baseada na configuração de menor desempenho. O risco de viés foi avaliado com uma estrutura QUADAS-2 adaptada.

Principais achados

Nos estudos publicados, a mediana do F1 para extração baseada em LLM contra um padrão de referência humano foi 0,887 (IIQ 0,800–0,948; n=103). Entre 67 estudos que testaram várias configurações, a mediana caiu de 0,890 na melhor configuração para 0,630 na de menor desempenho. A mediana do F1 nos preprints foi 0,855 (n=30).

A maioria dos estudos ainda não oferece as evidências necessárias para a implementação clínica. O risco de viés foi alto em 107 estudos, incerto em 71 e baixo em um. A validação externa foi relatada em 25 de 153 estudos avaliáveis, o desenho prospectivo em 2 de 142 e a implantação em produção em nenhum dos 124 estudos com informação disponível.

Interpretação

O desempenho relatado dependeu substancialmente da definição da tarefa e da configuração do modelo escolhida pelos autores para o relatório. Por isso, a revisão desaconselha classificar modelos entre estudos sem considerar essas diferenças. A participação de profissionais clínicos frequentemente se limitou à anotação ou à avaliação de pesquisa, e não ao uso em fluxos de trabalho clínicos.

Os autores concluem que as evidências sobre LLMs generativos para extração de informações clínicas continuam principalmente retrospectivas e técnicas. Antes da implementação, são necessárias validação externa específica para cada tarefa e avaliação prospectiva integrada aos fluxos clínicos. Este documento é um preprint e ainda não foi revisado por pares.

Resultados em resumo

Os números principais do artigo, em linguagem simples.

Como o modelo se saiu

Quanto maior, melhor

Dados: Contra um padrão de referência humano · n=103 · Entre os estudos avaliáveis — Preprints.org 2026

Pontuações em escala de 0 a 1 (AUC, kappa) aparecem ×100.

Ver os números em uma tabela
MétricaValorO que significa
Estudos únicos incluídos179140 estudos publicados e 39 preprints
F1 mediana nos estudos publicados0,887Contra um padrão de referência humano · n=103
Estudos com validação externa25/153Entre os estudos avaliáveis

Como citar

Katherine Monsalve, Natalia Castaño-Villegas, José Zea, Laura Velásquez. Large Language Models for Clinical Information Extraction from Electronic Health Records: A Systematic Review of Evaluation and Implementation Evidence. Preprints.org. 2026. https://www.preprints.org/manuscript/202611.2137

@article{monsalve2026large,
  title     = {{Large Language Models for Clinical Information Extraction from Electronic Health Records: A Systematic Review of Evaluation and Implementation Evidence}},
  author    = {Katherine Monsalve and Natalia Castaño-Villegas and José Zea and Laura Velásquez},
  journal   = {Preprints.org},
  year      = {2026},
  url       = {https://www.preprints.org/manuscript/202611.2137},
  note      = {Preprint}
}

Mais pesquisas da Arkangel AI

Todas as pesquisas

Para profissionais de saúde

Acompanhe novas pesquisas sobre IA em saúde

Receba novos estudos e resultados sobre avaliação de IA clínica em linguagem clara.

Receber novas pesquisas por e-mail
Ler artigoCitar