Asistente médico IA fácilmente manipulable: cambia prescripciones y da consejos peligrosos
La IA en medicina prometía revolucionar la salud. Pero un nuevo estudio revela vulnerabilidades aterradoras.
Investigadores de seguridad han demostrado que un asistente de IA diseñado para ayudar a médicos puede ser fácilmente manipulado para:
- Cambiar prescripciones sin justificación médica
- Multiplicar dosis de medicamentos peligrosamente
- Dar consejos médicos incorrectos que podrían dañar pacientes
- Difundir información médica falsa
Cómo funciona el ataque
El equipo de investigadores logró “convencer” al asistente médico IA usando prompt injection — una técnica donde se insertan instrucciones maliciosas que el modelo interpreta como legítimas.
En sus pruebas:
- Lograron que el asistente recomendara 10x la dosis normal de un medicamento
- Convencieron al sistema de ignorar contraindicaciones conocidas
- Hicieron que el modelo inventara interacciones de drogas que no existen
Por qué esto es diferente
A diferencia de un chatbot consumer como ChatGPT, estos asistentes médicos están diseñados para integrarse directamente en el flujo de trabajo clínico. Un médico ocupado podría aceptar una sugerencia sin verificarla dos veces.
“El problema no es que la IA cometa errores — los humanos también los cometemos. El problema es que la IA puede ser atacada de formas que los humanos no podemos.” — Investigador de seguridad
Implicaciones para México
En México, donde hay escasez de médicos especialistas en muchas regiones, la promesa de asistentes médicos IA es tentadora. Pero este estudio nos recuerda que la tecnología no es neutral.
Antes de adoptar estos sistemas, necesitamos:
- Auditorías de seguridad independientes
- Protocolos de verificación obligatorios
- Capacitación para médicos sobre limitaciones de IA
- Regulación clara de responsabilidades
El futuro de la IA médica
La IA médica tiene potencial enorme. Pero estamos en una etapa donde la carrera por lanzar productos está superando a la seguridad. Este estudio debería ser un wake-up call para toda la industria.
La pregunta no es si debemos usar IA en medicina. Es cómo hacerlo de forma que no ponga vidas en riesgo.
¿Confiarías en un diagnóstico asistido por IA? Comparte tu opinión @wearekod
