Grands modèles de langage pour l'extraction d'informations cliniques des dossiers électroniques : revue systématique des preuves d'évaluation et d'implémentation

PreprintPreprints.org 2026 · 2 min de lecture
Études uniques incluses
179
140 études publiées et 39 prépublications
F1 médiane dans les études publiées
0,887
Comparée à une référence humaine · n=103
Études avec validation externe
25/153
Parmi les études évaluables

Une revue systématique de 179 études montre de bonnes performances rapportées, mais peu de validations externes, d'évaluations prospectives et de déploiements en production.

Cette revue systématique a examiné l'évaluation des grands modèles de langage (LLM) génératifs pour extraire des informations cliniques des dossiers électroniques, les preuves en faveur de leur implémentation et les écarts entre les performances rapportées et l'usage clinique. Elle a inclus des études publiées et des prépublications, avec une synthèse narrative sans méta-analyse.

Conception et périmètre

Les auteurs ont identifié 1 282 références et inclus 179 études uniques : 140 études publiées et 39 prépublications. La synthèse a utilisé le meilleur résultat de chaque étude, avec une analyse de sensibilité fondée sur la configuration la moins performante. Le risque de biais a été évalué avec un cadre QUADAS-2 adapté.

Résultats principaux

Dans les études publiées, la F1 médiane de l'extraction basée sur les LLM, comparée à une référence humaine, était de 0,887 (IQR 0,800–0,948 ; n=103). Parmi 67 études ayant testé plusieurs configurations, la médiane est passée de 0,890 pour la meilleure configuration à 0,630 pour la moins performante. La F1 médiane des prépublications était de 0,855 (n=30).

La plupart des études n'apportaient pas encore les preuves nécessaires à une implémentation clinique. Le risque de biais était élevé dans 107 études, incertain dans 71 et faible dans une seule. Une validation externe était rapportée dans 25 des 153 études évaluables, une conception prospective dans 2 des 142 et un déploiement en production dans aucune des 124 études disposant d'informations à ce sujet.

Interprétation

Les performances rapportées dépendaient fortement de la définition de la tâche et de la configuration du modèle choisie par les auteurs. La revue déconseille donc de classer les modèles entre études sans tenir compte de ces différences. La participation des cliniciens concernait souvent l'annotation ou l'évaluation de recherche plutôt que l'utilisation dans les flux de travail cliniques.

Les auteurs concluent que les preuves concernant les LLM génératifs pour l'extraction d'informations cliniques restent principalement rétrospectives et techniques. Une validation externe spécifique à chaque tâche et une évaluation prospective intégrée aux flux cliniques sont nécessaires avant toute implémentation. Il s'agit d'une prépublication qui n'a pas encore été évaluée par les pairs.

Résultats en un coup d’œil

Les chiffres clés de l’article, en langage simple.

Les performances du modèle

Plus haut, c’est mieux

Données: Comparée à une référence humaine · n=103 · Parmi les études évaluables — Preprints.org 2026

Les scores sur une échelle de 0 à 1 (AUC, kappa) sont tracés ×100.

Voir les chiffres sous forme de tableau
IndicateurValeurCe que cela signifie
Études uniques incluses179140 études publiées et 39 prépublications
F1 médiane dans les études publiées0,887Comparée à une référence humaine · n=103
Études avec validation externe25/153Parmi les études évaluables

Comment citer

Katherine Monsalve, Natalia Castaño-Villegas, José Zea, Laura Velásquez. Large Language Models for Clinical Information Extraction from Electronic Health Records: A Systematic Review of Evaluation and Implementation Evidence. Preprints.org. 2026. https://www.preprints.org/manuscript/202611.2137

@article{monsalve2026large,
  title     = {{Large Language Models for Clinical Information Extraction from Electronic Health Records: A Systematic Review of Evaluation and Implementation Evidence}},
  author    = {Katherine Monsalve and Natalia Castaño-Villegas and José Zea and Laura Velásquez},
  journal   = {Preprints.org},
  year      = {2026},
  url       = {https://www.preprints.org/manuscript/202611.2137},
  note      = {Preprint}
}

Plus de recherche d’Arkangel AI

Toute la recherche

Pour les hôpitaux et les assureurs

Validez ces résultats dans votre établissement

Lors d’une conversation de 30 minutes, nous vérifions si cette étude convient à vos données, à votre équipe et à votre gouvernance.

Lancer une collaborationRecevoir les nouvelles recherches par e-mail
Lire l’articleCiter