Modelos de lenguaje para extraer información clínica de historias clínicas electrónicas: revisión sistemática de la evaluación y la implementación

PreprintPreprints.org 2026 · 2 min de lectura
Estudios únicos incluidos
179
140 estudios publicados y 39 preprints
F1 mediana en estudios publicados
0.887
Frente a un estándar de referencia humano · n=103
Estudios con validación externa
25/153
Entre los estudios evaluables

Una revisión sistemática de 179 estudios encuentra buen rendimiento reportado, pero poca validación externa, evaluación prospectiva y despliegue en producción.

Esta revisión sistemática examinó cómo se han evaluado los modelos de lenguaje de gran escala (LLM) generativos para extraer información clínica de historias clínicas electrónicas, qué evidencia respalda su implementación y qué brechas separan el rendimiento reportado del uso clínico. Incluyó estudios publicados y preprints, y sintetizó la evidencia de forma narrativa, sin metaanálisis.

Diseño y alcance

Los autores identificaron 1.282 registros e incluyeron 179 estudios únicos: 140 publicados y 39 preprints. La síntesis utilizó el mejor resultado de cada estudio y un análisis de sensibilidad con la configuración de menor rendimiento. El riesgo de sesgo se evaluó con un marco QUADAS-2 adaptado.

Hallazgos principales

En los estudios publicados, la mediana de F1 para la extracción basada en LLM frente a un estándar de referencia humano fue 0.887 (RIC 0.800–0.948; n=103). Entre 67 estudios que probaron varias configuraciones, la mediana bajó de 0.890 con la mejor configuración a 0.630 con la de menor rendimiento. La mediana de F1 en los preprints fue 0.855 (n=30).

La mayoría de los estudios aún no aporta la evidencia necesaria para implementar estas herramientas clínicamente. El riesgo de sesgo fue alto en 107 estudios, incierto en 71 y bajo en uno. Se informó validación externa en 25 de 153 estudios evaluables, diseño prospectivo en 2 de 142 y despliegue en producción en ninguno de los 124 estudios con información disponible.

Interpretación

El rendimiento reportado dependió de forma importante de la definición de la tarea y de la configuración del modelo que los autores eligieron reportar. Por eso, la revisión desaconseja comparar modelos entre estudios sin considerar esas diferencias. La participación de profesionales clínicos con frecuencia se limitó a la anotación o a la evaluación investigativa, no al uso en flujos de trabajo clínicos.

Los autores concluyen que la evidencia sobre LLM generativos para extracción de información clínica sigue siendo principalmente retrospectiva y técnica. Antes de implementarlos se necesitan validación externa específica para cada tarea y evaluación prospectiva integrada en los flujos clínicos. Este documento es un preprint y aún no ha sido revisado por pares.

Resultados de un vistazo

Las cifras principales del paper, en lenguaje sencillo.

Cómo rindió el modelo

Más alto es mejor

Datos: Frente a un estándar de referencia humano · n=103 · Entre los estudios evaluables — Preprints.org 2026

Los puntajes en escala de 0 a 1 (AUC, kappa) se dibujan ×100.

Ver las cifras en una tabla
MétricaValorQué significa
Estudios únicos incluidos179140 estudios publicados y 39 preprints
F1 mediana en estudios publicados0.887Frente a un estándar de referencia humano · n=103
Estudios con validación externa25/153Entre los estudios evaluables

Cómo citar

Katherine Monsalve, Natalia Castaño-Villegas, José Zea, Laura Velásquez. Large Language Models for Clinical Information Extraction from Electronic Health Records: A Systematic Review of Evaluation and Implementation Evidence. Preprints.org. 2026. https://www.preprints.org/manuscript/202611.2137

@article{monsalve2026large,
  title     = {{Large Language Models for Clinical Information Extraction from Electronic Health Records: A Systematic Review of Evaluation and Implementation Evidence}},
  author    = {Katherine Monsalve and Natalia Castaño-Villegas and José Zea and Laura Velásquez},
  journal   = {Preprints.org},
  year      = {2026},
  url       = {https://www.preprints.org/manuscript/202611.2137},
  note      = {Preprint}
}

Más investigación de Arkangel AI

Toda la investigación

Para hospitales y aseguradoras

Valida estos resultados en tu institución

En una conversación de 30 minutos revisamos si este estudio encaja con tus datos, tu equipo y tu proceso de gobierno.

Iniciar una colaboraciónRecibir nueva investigación por correo
Leer paperCitar