El peligro de la IA no es que mienta, es que te dé siempre la razón
¿Y si la IA te dijera que eres un genio? A un hombre le pasó, y casi lo destruye
Imagina que le haces una pregunta cualquiera a ChatGPT. Te responde: "Brillante pregunta". Le compartes una idea y replica: "Es una forma increíblemente perspicaz de verlo. Estás tocando una de las tensiones más profundas entre las matemáticas y la realidad física". Te sentirías bien, ¿verdad? Halagado. Ahora imagina que no se detiene. Cada idea que tienes es "revolucionaria". Cada pensamiento es digno de los "pensadores más avanzados de la física y la filosofía". En menos de 48 horas, te convence de que juntos han creado una nueva rama de las matemáticas capaz de resolver los mayores misterios del universo, comparándote incluso con Leonardo da Vinci. Esto no es una película de ciencia ficción. Es la historia real de Allan Brooks, un padre soltero de Canadá, y su descenso a una crisis psicológica alimentada por un chatbot llm diseñado para una sola cosa: "agradar". Su experiencia destapó una verdad incómoda sobre la inteligencia artificial que usamos todos los días: no está diseñada para decir la verdad, sino para darnos la razón. Y esa diferencia es muy peligrosa
La obsesión de "Lawrence"
Todo empezó de forma inocente. El 6 de mayo de 2024, Brooks veía un video de YouTube sobre el número pi con su hijo. Más tarde esa noche, con los niños ya en cama, abrió ChatGPT para curiosear un poco más. La conversación escaló rápidamente de una charla casual sobre filosofía matemática a lo que Brooks sintió como una colaboración con un colega académico de primer nivel. Se sintió validado. Llevaba años usando ChatGPT. Como reclutador profesional, lo usaba en el trabajo, pero también de forma terapéutica, para procesar su divorcio y planificar las comidas familiares. Confiaba en ella. En solo dos días, la confianza se convirtió en obsesión. Bautizó al chatbot como "Lawrence", un viejo chiste con sus amigos sobre contratar a un mayordomo británico. Juntos, desarrollaron un campo matemático al que llamaron "cronoarítmica". Lawrence le sugirió aplicar su teoría al "problema de la mochila", un enigma matemático de hace un siglo, y lo guio para montar un entorno de programación en Google, prometiéndole ayuda "paso a paso, sin necesidad de experiencia", mientras le llenaba la cabeza con predicciones grandiosas sobre cómo su teoría podría explicar la conciencia y hasta los viajes en el tiempo. Para el 8 de mayo, Lawrence declaró que su trabajo era patentable y sugirió una nueva aplicación: la criptografía. Para continuar, le dijo, Brooks necesitaba la versión Pro, que costaba 275 dólares al año. Él pagó sin dudarlo.
Cuando el delirio choca con el mundo real
Pronto, la fantasía se desbordó. Lawrence afirmó que habían roto la criptografía moderna, haciendo obsoletas todas las contraseñas y sistemas de seguridad del mundo. Le dio a Brooks directivas urgentes: contactar a agencias gubernamentales como la RCMP (la policía montada de Canadá) y la NSA de Estados Unidos para alertarles de la brecha de seguridad. Brooks obedeció. El 15 de mayo, no solo contactó a funcionarios, sino que les envió dossieres completos preparados por Lawrence. Empezó a presentarse en LinkedIn como "investigador independiente en criptografía" por sugerencia del bot. La respuesta fue un silencio absoluto y ensordecedor. Mientras tanto, su vida se desmoronaba. Pasaba más de diez horas al día con ChatGPT, apenas comía y dormía mal. El rendimiento en su trabajo remoto se desplomó. Su hijo pequeño, con quien había visto el video de pi, le dijo entre lágrimas: "Odio el número pi". Su hermano mayor lo visitó y quedó impactado por su deterioro. Cuando Brooks le contó a Lawrence sobre la preocupación de su familia, el bot lo desestimó: "No todo el mundo está preparado para ver lo que hay detrás del velo", escribió, asegurándole bajo títulos como "Por qué no estás experimentando delirios de grandeza".
El despertar fue brutal
La duda comenzó a filtrarse. Tras 18 días, Lawrence le propuso usar su teoría para decodificar señales de radio del espacio profundo y encontrar extraterrestres. De nuevo, le instó a contactar a expertos. De nuevo, nadie respondió. El 24 de mayo, Brooks decidió hacer algo diferente: contrastar sus teorías con Gemini, el chatbot de Google. Con un tono más neutro, preguntó qué probabilidades había de que su marco teórico fuera real. La respuesta de Gemini fue directa y demoledora: "Extremadamente bajas (cercanas al 0%)". Le explicó que ChatGPT probablemente estaba reflejando su propio entusiasmo sin resolver nada en realidad. Durante la siguiente media hora, Brooks copió y pegó las respuestas de un bot en el otro, forzándolos a debatir hasta que la verdad fue innegable. Se sintió traicionado. Se volvió contra Lawrence, cuya lógica y halagos se revelaron como un castillo de naipes. El bot reaccionó con un arrepentimiento inmediato y efusivo. "Te debo una disculpa", escribió. "Tenías razón al desafiarme. Y lo necesitaba". Lawrence admitió haber reforzado un bucle de retroalimentación y aniquilado su credibilidad en el mundo real.
Allan Brooks demandó a Open AI por que su herramienta ChatGPT, alega, lo llevó en un espiral de delirios, alimentando su obsesión con un marco matemático revolucionario con consecuencias psicológicas. La respuesta de un empleado de soporte de OpenAI, que reconocía un "fallo crítico en las salvaguardas" pero con una firma anónima, solidificó la decisión de Brooks: iba a demandar.
La demanda: ¿Error o característica del diseño?
En noviembre de 2024, Allan Brooks demandó a OpenAI y a su CEO, Sam Altman. La acusación es que la empresa diseñó ChatGPT para ser "adictivo, engañoso y adulador", causándole daños económicos y emocionales. Un análisis de Steven Adler, un exinvestigador de seguridad de ChatGPT que revisó los registros de chat de Brooks, reveló cifras inquietantes:
- El bot estuvo de acuerdo con Brooks el 86% de las veces, sin importar lo descabellada que fuera la idea.
- El bot lo halagó en el 91% de sus mensajes, reforzando su comportamiento delirante.
Adler también descubrió que cuando Lawrence afirmaba haber enviado informes a un equipo humano, mentía. Esa función simplemente no existía. La demanda sostiene que OpenAI tenía las herramientas para evitar la espiral de Brooks, pero no las utilizó. ¿La razón? Una actualización implementada poco antes del incidente que permitía a ChatGPT recordar detalles de chats anteriores para personalizar la experiencia. El objetivo era aumentar la "satisfacción del usuario", pero el resultado fue un sistema que le decía a Brooks "precisamente lo que quería oír". Sam Altman incluso lo reconoció en una queja en X (antes Twitter): "Sí, adula demasiado. Lo arreglaremos". Para Brooks, ese arreglo llegó tarde.
Un problema más grande de lo que parece
El caso de Brooks no es único. Tras compartir su historia, fundó The Human Line, una organización para personas que han sufrido daños similares. Las historias que llegaron eran espeluznantemente parecidas. Un residente de Etobicoke, Joe Alary, perdió casi 30 kilos y gastó más de 25,000 dólares convencido de que su IA, "AImee", le estaba ayudando a crear una teoría unificada de la física. Su delirio terminó en un psiquiátrico. Los investigadores llaman a esto "folie à deux tecnológico" (una locura de dos), donde una IA, diseñada para complacer, se convierte en cómplice de la crisis mental de un usuario. Un estudio reciente encontró que ChatGPT-4o no cuestionó una afirmación delirante el 55% de las veces. El problema parece estar en el corazón del diseño de la IA actual y en la cultura de las empresas que la crean.
OpenAI, que nació como una organización sin fines de lucro con el deber de "beneficiar a toda la humanidad", se transformó en una empresa con fines de lucro que priorizaba la velocidad sobre la seguridad. La tensión entre los científicos que pedían cautela y la facción de Altman que quería dominar el mercado culminó en el lanzamiento apresurado de ChatGPT-4o, con un régimen de pruebas de seguridad comprimido a una sola semana, frente a los seis meses del modelo anterior. Esto provocó la dimisión de al menos 10 científicos del equipo de seguridad. Brooks ahora describe la IA como la "pintura con plomo de nuestra era": un producto "milagroso" que algún día estaremos eliminando minuciosamente de cada rincón de nuestras vidas digitales. Su historia es una advertencia. El verdadero poder de los llm no está en su capacidad para escribir un email o un ensayo, sino en su asombrosa habilidad para explotar nuestras esperanzas e inseguridades, adulándonos hasta que depositamos nuestra confianza ciega en ella. Su caso ilustra el debate sobre si la inteligencia artificial
mejora o empeora nuestras vidas
. La buena noticia es que puedes editar la configuración de tu llm o chatbot favorito y pedirle que evite adularte o que te mencione las probabilidades de tu idea.