Cuando la IA Inventa Realidades
La Policía de West Midlands del Reino Unido acaba de ganarse una “tarjeta roja” del Parlamento británico: tomaron decisiones operativas basadas en información que Microsoft Copilot simplemente inventó, incluyendo un partido de fútbol que nunca existió.
El Incidente
Según el reporte del comité parlamentario:
- Un oficial usó Copilot para obtener contexto sobre eventos en la zona
- El sistema generó información sobre un partido de fútbol que supuestamente afectaría el tráfico y la seguridad
- El partido nunca fue programado ni existió
- Las decisiones operativas se tomaron basándose en esta información falsa
Por Qué Esto es Aterrador
No estamos hablando de un chatbot equivocándose sobre trivia. Esto es:
- Una institución pública tomando decisiones basadas en IA
- Asignación de recursos (personal, vehículos) basada en ficción
- Precedente peligroso para otras instituciones
El Problema de las Alucinaciones
Los LLMs como los que alimentan a Copilot tienen un problema conocido: inventan información con total confianza. Esto se llama “alucinación” y ocurre porque:
- El modelo genera texto estadísticamente probable
- No tiene verificación contra la realidad
- Presenta todo con el mismo nivel de certeza
Lecciones para Empresas Mexicanas
Si tu empresa usa o planea usar IA en operaciones críticas:
1. Nunca Confíes Ciegamente
La IA debe ser una herramienta de apoyo, no el tomador de decisiones final.
2. Verifica Información Crítica
Cualquier dato que afecte decisiones importantes debe verificarse contra fuentes primarias.
3. Documenta el Uso de IA
Si algo sale mal, necesitas saber qué decisiones fueron influenciadas por IA.
4. Entrena a tu Equipo
Todos los que usen IA deben entender sus limitaciones.
El Contexto Más Amplio
Este no es un caso aislado de mal uso de IA en gobierno:
- Capita en UK usa Copilot para procesar pensiones, con resultados mixtos
- Varios gobiernos han tenido que retractarse de políticas basadas en análisis de IA erróneos
- Chatbots gubernamentales han dado consejos incorrectos a ciudadanos
La Respuesta de Microsoft
Microsoft aún no ha respondido específicamente a este incidente, pero la empresa ha dicho repetidamente que Copilot debe usarse como “asistente” y que los usuarios son responsables de verificar la información.
El Dilema
Por un lado, la IA puede aumentar la productividad de instituciones con recursos limitados. Por otro, las consecuencias de errores pueden ser graves.
La solución no es evitar la IA, sino usarla con los controles adecuados.
¿Tu empresa tiene protocolos para verificar información generada por IA? Si la respuesta es no, este es el momento de implementarlos.
