Cette revue systématique a examiné l'évaluation des grands modèles de langage (LLM) génératifs pour extraire des informations cliniques des dossiers électroniques, les preuves en faveur de leur implémentation et les écarts entre les performances rapportées et l'usage clinique. Elle a inclus des études publiées et des prépublications, avec une synthèse narrative sans méta-analyse.
Conception et périmètre
Les auteurs ont identifié 1 282 références et inclus 179 études uniques : 140 études publiées et 39 prépublications. La synthèse a utilisé le meilleur résultat de chaque étude, avec une analyse de sensibilité fondée sur la configuration la moins performante. Le risque de biais a été évalué avec un cadre QUADAS-2 adapté.
Résultats principaux
Dans les études publiées, la F1 médiane de l'extraction basée sur les LLM, comparée à une référence humaine, était de 0,887 (IQR 0,800–0,948 ; n=103). Parmi 67 études ayant testé plusieurs configurations, la médiane est passée de 0,890 pour la meilleure configuration à 0,630 pour la moins performante. La F1 médiane des prépublications était de 0,855 (n=30).
La plupart des études n'apportaient pas encore les preuves nécessaires à une implémentation clinique. Le risque de biais était élevé dans 107 études, incertain dans 71 et faible dans une seule. Une validation externe était rapportée dans 25 des 153 études évaluables, une conception prospective dans 2 des 142 et un déploiement en production dans aucune des 124 études disposant d'informations à ce sujet.
Interprétation
Les performances rapportées dépendaient fortement de la définition de la tâche et de la configuration du modèle choisie par les auteurs. La revue déconseille donc de classer les modèles entre études sans tenir compte de ces différences. La participation des cliniciens concernait souvent l'annotation ou l'évaluation de recherche plutôt que l'utilisation dans les flux de travail cliniques.
Les auteurs concluent que les preuves concernant les LLM génératifs pour l'extraction d'informations cliniques restent principalement rétrospectives et techniques. Une validation externe spécifique à chaque tâche et une évaluation prospective intégrée aux flux cliniques sont nécessaires avant toute implémentation. Il s'agit d'une prépublication qui n'a pas encore été évaluée par les pairs.




