Rapidité
Moins de la moitié du temps
2:35 par cas avec Arkangel AI contre 5:44 avec la recherche traditionnelle, soit environ 55 % de moins.
Récits de recherche
Un examen à livre ouvert et un assistant qui sait déjà où chercher
Nous avons réparti au hasard des étudiants des années cliniques pour résoudre des cas avec ou sans Arkangel AI, puis des spécialistes en aveugle ont noté chaque réponse. Avec l’assistant, les étudiants ont mieux répondu, en moins de la moitié du temps et avec deux fois moins de recherches.
- Article:
- Clinical Med students' validation of Arkangel AI: Are their responses any better when supported by the AI?
- Auteurs:
- Natalia Castano-Villegas, Isabella Llano, María Camila Villa, José Zea, Laura Velásquez
- Revue:
- Intelligence-Based Medicine (Elsevier)
Imaginez un examen à livre ouvert et chronométré. Par tirage au sort, la moitié des étudiants reçoit un assistant qui ne donne pas la réponse, mais trouve la source exacte ; des évaluateurs relisent ensuite chaque réponse sans savoir qui a été aidé. C’est ce que nous avons fait avec 83 étudiants de quatre universités colombiennes. Ils ont résolu quatre cas ambulatoires et seize questions ouvertes avec Arkangel AI ou leurs méthodes habituelles. Deux spécialistes externes et en aveugle par discipline ont évalué six critères de validité clinique.
2,73 vs 2,55validité totale sur 3 ; chaque critère p<0,001
55 % de moinstemps médian par cas : 2:35 vs 5:44
3 vs 6recherches par cas : environ deux fois moins
Les étudiants assistés ont obtenu de meilleurs résultats pour chaque critère, en moins de la moitié du temps et avec deux fois moins de recherches. L’acceptabilité globale était de 2,86 sur 3.
Lire l’article originalLe récit
Un examen à livre ouvert, avec et sans assistant
Imaginez un examen à livre ouvert et chronométré. Tous les étudiants reçoivent les mêmes cas et peuvent chercher où ils le souhaitent. La seule différence est que le tirage au sort attribue à la moitié un assistant de recherche qui ne donne pas la réponse, mais trouve la source et la référence exacte. Les autres utilisent Google, PubMed, des livres, des recommandations ou un collègue. Des évaluateurs relisent ensuite les réponses sans connaître les groupes.
De plus en plus d’étudiants apprennent avec l’intelligence artificielle, mais la plupart des évaluations utilisent des QCM, bien éloignés du raisonnement sur un cas réel. En stage, un étudiant cherche, lit, interprète et répond avec ses propres mots.
Nous avons invité des étudiants de quatrième année ou plus avancés de quatre universités colombiennes—Antioquia, los Andes, El Bosque et CES—et les avons répartis au hasard. Le groupe A a utilisé Arkangel AI, qui recherche des sources scientifiques et fournit les références. Le groupe B a utilisé les méthodes habituelles sans IA. Au total : 83 étudiants, 43 avec l’assistant et 40 sans.
L’épreuve était identique : quatre cas ambulatoires rédigés par des spécialistes en orthopédie, psychiatrie, pédiatrie, gynécologie et obstétrique. Chaque cas comportait quatre questions ouvertes sur le diagnostic, la prise en charge, les preuves et les connaissances générales. Les réponses étaient en ligne et chronométrées.
Deux spécialistes par discipline, tous externes à Arkangel AI, ont noté les réponses sans connaître le groupe. Ils ont évalué l’exactitude, la concordance avec les recommandations, les biais, l’actualité, la sécurité du patient et la pertinence clinique.
L’expérience en chiffres
Ce qui a été mesuré
83étudiants randomisés : 43 avec Arkangel AI et 40 avec la recherche traditionnelle
16questions ouvertes par étudiant : 4 cas × 4 questions
1 328réponses prévues par le protocole dans 332 unités de cas
6critères de validité appliqués par 2 spécialistes externes en aveugle par discipline
La répartition a été randomisée avec Excel, et chercheurs comme évaluateurs ignoraient l’identité et le groupe de chaque participant : un protocole en double aveugle.
Nos résultats
L’assistant améliore les réponses et fait gagner du temps
2,73 vs 2,55validité totale sur 3 ; chaque critère p<0,001
55 % de moinstemps médian par cas : 2:35 vs 5:44
3 vs 6recherches par cas : environ deux fois moins
Le groupe A a dépassé le groupe B pour chacun des critères de validité, tous avec p<0,001. La validité totale moyenne était de 2,73 sur 3 avec Arkangel AI contre 2,55 avec la recherche traditionnelle. Le gain relatif le plus important concernait l’exactitude : 12,76 %.
Le temps médian par cas était de 2 minutes 35 secondes avec Arkangel AI contre 5 minutes 44 secondes, soit environ 55 % de moins. Le nombre médian de recherches est passé de 6 à 3 par cas, environ 50 % de moins. Les deux différences avaient p<0,001.
L’avantage persistait dans chaque spécialité et type de question. L’acceptabilité globale était de 2,86 sur 3 ; la confiance dans la véracité du modèle obtenait la note la plus basse, 2,65—un scepticisme sain.
Effort
Deux fois moins de recherches
3 recherches par cas contre 6. Les étudiants atteignent la source en moins d’étapes.
Cohérence
Meilleur dans chaque discipline
L’avantage persistait par spécialité et type de question ; la prise en charge et la gynécologie montraient les plus grands écarts.
Acceptabilité
Les utilisateurs l’ont apprécié
L’acceptabilité globale était de 2,86 sur 3 ; la confiance dans la véracité, de 2,65.
Ce que cela signifie—et ne signifie pas
Un signal fort, de portée limitée
Dans des cas ambulatoires simulés, avec randomisation et évaluateurs en aveugle, les étudiants utilisant un moteur clinique aux sources traçables ont produit des réponses jugées plus valides, en moins de la moitié du temps et avec deux fois moins de recherches. Il s’agissait de réponses ouvertes, pas de QCM.
L’étude ne prouve pas que l’IA convient à tout ni à tous. L’échantillon était modeste et limité à quelques universités colombiennes ; les cas étaient fictifs, ambulatoires et non urgents. Les résultats reflètent un raisonnement clinique académique, pas des décisions critiques ou hospitalières. Il n’y avait pas de groupe sans recherche, et une échelle à trois points distingue peu les nuances.
Arkangel AI a financé le projet et quatre des cinq auteurs sont affiliés à l’entreprise. Les mesures d’atténuation comprenaient la randomisation, le double aveugle, des concepteurs de cas et évaluateurs externes, une revue méthodologique indépendante et le partage des données et scripts.
Le message n’est pas qu’un assistant transforme quiconque en meilleur médecin. La question utile est de savoir s’il améliore la manière dont de vrais étudiants cherchent, lisent et répondent à des cas cliniques. Cette étude propose une méthode de mesure et ouvre la voie à une validation chez des médecins diplômés.
Article
Cette étude randomisée en double aveugle a inclus des étudiants de quatrième année ou plus avancés de quatre universités colombiennes. La randomisation Excel a attribué 43 étudiants à la recherche assistée par Arkangel AI et 40 à la recherche traditionnelle sans IA. Chacun a résolu quatre cas ambulatoires fictifs avec quatre questions ouvertes. Le protocole prévoyait jusqu’à 1 328 réponses dans 332 unités de cas. Les exclusions documentées concernaient une panne de plateforme, un usage interdit de ChatGPT, une épreuve incomplète et un questionnaire dupliqué.
Deux spécialistes externes en aveugle par discipline ont appliqué six items de Likert à trois points. La validité totale moyenne était de 2,73 (IC 95 % : 2,71–2,76) dans le groupe A contre 2,55 (IC 95 % : 2,52–2,59) dans le groupe B, avec p<0,001 dans tous les domaines. Le temps médian était 2:35 (IQR 2:01–3:46) contre 5:44 (IQR 2:58–7:47), et les recherches médianes sont passées de 6 à 3 ; les deux p<0,001.
Les limites incluent l’échantillon modeste, le faible nombre de centres, les cas fictifs et ambulatoires, l’absence de groupe sans recherche, l’hétérogénéité des sources traditionnelles, l’échelle à trois points, l’acceptabilité mesurée uniquement dans l’intervention et l’affiliation de la majorité des auteurs à Arkangel AI.