Distribuímos aleatoriamente estudantes de medicina dos anos clínicos para resolver casos com ou sem a Arkangel AI, enquanto especialistas cegos avaliaram cada resposta. Quem teve o assistente respondeu melhor, em menos da metade do tempo e com metade das buscas.
Uma prova com consulta, com e sem assistente
Imagine uma prova com consulta e tempo contado. Todos recebem os mesmos casos e podem procurar onde quiserem. A única diferença é que, por sorteio, metade recebe um assistente de pesquisa que não fornece a resposta, mas encontra a fonte e a referência exata. A outra metade usa Google, PubMed, livros, diretrizes ou um colega. No fim, avaliadores revisam tudo sem saber quem teve o assistente.
Cada vez mais estudantes aprendem com inteligência artificial, mas a maioria das avaliações usa testes de múltipla escolha, muito diferentes do raciocínio sobre um caso real. Na prática, o estudante procura, lê, interpreta e responde com suas próprias palavras.
Convidamos estudantes do quarto ano ou acima de quatro universidades colombianas—Antioquia, los Andes, El Bosque e CES—e os distribuímos aleatoriamente em dois grupos. O Grupo A usou a Arkangel AI, que busca fontes científicas e mostra referências. O Grupo B usou métodos habituais sem IA. Participaram 83 estudantes: 43 com o assistente e 40 sem ele.
A prova foi idêntica: quatro casos ambulatoriais escritos por especialistas em ortopedia, psiquiatria, pediatria e ginecologia e obstetrícia. Cada caso tinha quatro perguntas abertas sobre diagnóstico, manejo, evidência e conhecimento geral. Tudo foi respondido on-line e cronometrado.
Dois especialistas por área, todos externos à Arkangel AI, avaliaram as respostas sem conhecer o grupo. Examinaram exatidão, concordância com diretrizes, viés, atualização, segurança do paciente e relevância clínica.
O que foi medido
A distribuição foi aleatória com Excel, e pesquisadores e avaliadores permaneceram cegos à identidade e ao grupo de cada participante: um desenho duplo-cego.
- 83: estudantes randomizados: 43 com Arkangel AI e 40 com busca tradicional
- 16: perguntas abertas por estudante: 4 casos × 4 perguntas
- 1.328: respostas previstas no desenho, em 332 unidades de caso
- 6: critérios de validade aplicados por 2 especialistas externos e cegos por área
O assistente melhorou as respostas e economizou tempo
O Grupo A superou o Grupo B em todos os critérios de validade, todos com p<0,001. A validade total média foi 2,73 de 3 com a Arkangel AI e 2,55 com busca tradicional. O maior ganho relativo foi na exatidão da resposta: 12,76%.
O tempo mediano por caso foi 2 minutos e 35 segundos com a Arkangel AI e 5 minutos e 44 segundos no controle, cerca de 55% menos. As buscas medianas caíram de 6 para 3 por caso, cerca de 50% menos. Ambas as diferenças tiveram p<0,001.
A vantagem apareceu em todas as especialidades e tipos de pergunta. A aceitabilidade global foi 2,86 de 3; a confiança na veracidade recebeu a menor nota, 2,65—um ceticismo saudável.
- 2,73 vs 2,55: validade total de 3; todos os critérios p<0,001
- 55% menos: tempo mediano por caso: 2:35 vs 5:44
- 3 vs 6: buscas por caso: aproximadamente a metade
Um sinal forte, com alcance limitado
Em casos ambulatoriais simulados, com distribuição aleatória e avaliadores cegos, estudantes apoiados por um buscador clínico com fontes rastreáveis escreveram respostas consideradas mais válidas, em menos da metade do tempo e com metade das buscas. Eram respostas abertas, não múltipla escolha.
O estudo não prova que a IA funciona para tudo ou para todos. A amostra foi modesta e veio de poucas universidades colombianas; os casos eram fictícios, ambulatoriais e não urgentes. Os resultados representam raciocínio clínico acadêmico, não decisões críticas ou hospitalares. Não houve controle sem busca, e uma escala de três pontos capta poucos matizes.
A Arkangel AI financiou o projeto e quatro dos cinco autores têm vínculo com a empresa. As mitigações incluíram randomização, duplo-cego, elaboração e avaliação externas, revisão metodológica independente e dados e scripts compartilhados.
A mensagem não é que um assistente transforma qualquer pessoa em um médico melhor. A pergunta útil é se ele melhora como estudantes reais procuram, leem e respondem a casos clínicos. O estudo oferece uma forma de medir isso e abre caminho para validação com médicos formados.
Principais achados
- Menos da metade do tempo. 2:35 por caso com a Arkangel AI contra 5:44 com busca tradicional, redução de cerca de 55%.
- Metade das buscas. 3 buscas por caso contra 6. Os estudantes chegaram à fonte em menos etapas.
- Melhor em todas as áreas. A vantagem persistiu por especialidade e tipo de pergunta; manejo e ginecologia tiveram as maiores diferenças.
- Quem usou, gostou. A aceitabilidade global foi 2,86 de 3; a confiança na veracidade foi 2,65.
Resumo técnico
Estudo randomizado duplo-cego com estudantes do quarto ano ou acima de quatro universidades colombianas. O Excel distribuiu 43 estudantes para busca assistida pela Arkangel AI e 40 para busca tradicional sem IA. Cada participante resolveu quatro casos ambulatoriais fictícios com quatro perguntas abertas. O desenho previa até 1.328 respostas em 332 unidades de caso. As exclusões documentadas incluíram falha de plataforma, uso proibido de ChatGPT, uma prova incompleta e um questionário duplicado.
Dois especialistas externos e cegos por área aplicaram seis itens Likert de três pontos. A validade total média foi 2,73 (IC 95%: 2,71–2,76) no Grupo A e 2,55 (IC 95%: 2,52–2,59) no Grupo B, com p<0,001 em todos os domínios. O tempo mediano foi 2:35 (IQR 2:01–3:46) contra 5:44 (IQR 2:58–7:47), e as buscas medianas caíram de 6 para 3; ambas p<0,001.
As limitações incluem amostra modesta, poucos centros, casos fictícios e ambulatoriais, ausência de controle sem busca, fontes tradicionais heterogêneas, escala de três pontos, aceitabilidade medida apenas na intervenção e vínculo da maioria dos autores com a Arkangel AI.
