Esta revisión sistemática examinó cómo se han evaluado los modelos de lenguaje de gran escala (LLM) generativos para extraer información clínica de historias clínicas electrónicas, qué evidencia respalda su implementación y qué brechas separan el rendimiento reportado del uso clínico. Incluyó estudios publicados y preprints, y sintetizó la evidencia de forma narrativa, sin metaanálisis.
Diseño y alcance
Los autores identificaron 1.282 registros e incluyeron 179 estudios únicos: 140 publicados y 39 preprints. La síntesis utilizó el mejor resultado de cada estudio y un análisis de sensibilidad con la configuración de menor rendimiento. El riesgo de sesgo se evaluó con un marco QUADAS-2 adaptado.
Hallazgos principales
En los estudios publicados, la mediana de F1 para la extracción basada en LLM frente a un estándar de referencia humano fue 0.887 (RIC 0.800–0.948; n=103). Entre 67 estudios que probaron varias configuraciones, la mediana bajó de 0.890 con la mejor configuración a 0.630 con la de menor rendimiento. La mediana de F1 en los preprints fue 0.855 (n=30).
La mayoría de los estudios aún no aporta la evidencia necesaria para implementar estas herramientas clínicamente. El riesgo de sesgo fue alto en 107 estudios, incierto en 71 y bajo en uno. Se informó validación externa en 25 de 153 estudios evaluables, diseño prospectivo en 2 de 142 y despliegue en producción en ninguno de los 124 estudios con información disponible.
Interpretación
El rendimiento reportado dependió de forma importante de la definición de la tarea y de la configuración del modelo que los autores eligieron reportar. Por eso, la revisión desaconseja comparar modelos entre estudios sin considerar esas diferencias. La participación de profesionales clínicos con frecuencia se limitó a la anotación o a la evaluación investigativa, no al uso en flujos de trabajo clínicos.
Los autores concluyen que la evidencia sobre LLM generativos para extracción de información clínica sigue siendo principalmente retrospectiva y técnica. Antes de implementarlos se necesitan validación externa específica para cada tarea y evaluación prospectiva integrada en los flujos clínicos. Este documento es un preprint y aún no ha sido revisado por pares.




