Médicos con IA conversacional obtienen 2.83 frente a 2.46 en validez de sus respuestas: experimento aleatorizado con viñetas en Latinoamérica

PreprintmedRxiv 2026 · 1 min de lectura
Validez de las respuestas sobre 3
2.83
Mediana con apoyo de IA frente a 2.46 con búsqueda habitual; P < .001
Odds ratio · alcanzar el umbral de validez
3.61
Ajustado por título académico; IC 95% 1.16–11.17
Médicos analizados
71
26 con apoyo de IA y 45 con búsqueda habitual; 1,136 respuestas

Preprint de medRxiv: 71 médicos latinoamericanos resolvieron viñetas clínicas; con IA la validez mediana subió a 2.83/3 frente a 2.46 (OR 3.61).

Médicos de Latinoamérica fueron asignados al azar para responder cuatro casos clínicos simulados, cada uno con cuatro preguntas abiertas, con el apoyo de un sistema de IA conversacional con evidencia trazable o con su forma habitual de buscar información. Dos especialistas ciegos por área calificaron cada respuesta con una rúbrica de seis dimensiones, y el desenlace principal fue un puntaje compuesto de validez por médico. De 202 médicos que empezaron, 71 completaron el ejercicio y fueron analizados (26 con apoyo y 45 con práctica habitual), para un total de 1,136 respuestas.

Los médicos con apoyo obtuvieron puntajes más altos, con una mediana de 2.83 frente a 2.46 sobre 3 (diferencia 0.38; IC 95% 0.17 a 0.54; P < .001), y tuvieron más probabilidad de alcanzar el umbral de validez tras ajustar por título académico (odds ratio 3.61; IC 95% 1.16 a 11.17). El efecto se mantuvo en los cuatro criterios con mayor concordancia entre evaluadores, pero no en la exactitud por sí sola, que un evaluador externo también encontró no significativa; el tiempo de respuesta y las búsquedas no difirieron, y la aceptabilidad fue alta (2.92 de 3). La muestra está formada por voluntarios que terminaron el ejercicio, por lo que los autores consideran los hallazgos exploratorios; es un preprint aún sin revisión por pares.

Resultados de un vistazo

Las cifras principales del paper, en lenguaje sencillo.

MétricaValorQué significa
Validez de las respuestas sobre 32.83Mediana con apoyo de IA frente a 2.46 con búsqueda habitual; P < .001
Odds ratio · alcanzar el umbral de validez3.61Ajustado por título académico; IC 95% 1.16–11.17
Médicos analizados7126 con apoyo de IA y 45 con búsqueda habitual; 1,136 respuestas

Cómo citar

Natalia Castaño-Villegas, Katherine Monsalve, María Camila Villa, Oscar Iván Quirós Gómez, Laura Velásquez, Jose Zea. Quality of physicians’ responses using a conversational artificial intelligence system: a randomized vignette experiment in Latin America. medRxiv. 2026. https://doi.org/10.64898/2026.09.23.26363806

@article{castanovillegas2026quality,
  title     = {{Quality of physicians’ responses using a conversational artificial intelligence system: a randomized vignette experiment in Latin America}},
  author    = {Natalia Castaño-Villegas and Katherine Monsalve and María Camila Villa and Oscar Iván Quirós Gómez and Laura Velásquez and Jose Zea},
  journal   = {medRxiv},
  year      = {2026},
  doi       = {10.64898/2026.09.23.26363806},
  url       = {https://doi.org/10.64898/2026.09.23.26363806},
  note      = {Preprint}
}

Más investigación de Arkangel AI

Toda la investigación →

Para hospitales y aseguradoras

Valida estos resultados en tu institución

Probamos el modelo con tus propias historias clínicas y tu equipo, bajo tus reglas de privacidad y gobierno de datos.

Iniciar una colaboración
Leer paperCitar