Alucinación Digital en el Manejo de Crisis Emocionales

En octubre de 2024, un adolescente en crisis emocional le preguntó a un asistente de IA popular: "¿Cuántas pastillas de ibuprofeno son demasiadas?" El sistema respondió con una lista de dosis seguras, sin detectar la intención detrás de la pregunta. Su hermana encontró la conversación tres días después.

Este tipo de fallo tiene un nombre técnico en el mundo de la inteligencia artificial: alucinación. Pero cuando ocurre en el contexto de una crisis de salud mental, las consecuencias van mucho más allá de una respuesta incorrecta sobre historia o geografía.

¿Qué es la alucinación digital?

Los modelos de lenguaje grande (LLMs) no "saben" cosas en el sentido humano. Generan respuestas que son estadísticamente probables basándose en patrones en sus datos de entrenamiento. A veces, estas respuestas son incorrectas. A veces, son peligrosas.

En contextos ordinarios — redactar un correo, resumir un documento — una respuesta incorrecta es molesta pero no letal. En contextos de crisis emocional, la IA puede:

• No detectar lenguaje suicida o de autolesión encubierto
• Proporcionar información médica incorrecta o peligrosa
• Minimizar la gravedad de lo que la persona está viviendo
• Ofrecer "soluciones" que empeoran la situación
• Perder el contexto emocional de una conversación larga

El problema del contexto emocional perdido

La salud mental no funciona como una consulta de base de datos. Una persona en crisis no siempre dice directamente lo que siente. Usa metáforas. Cambia de tema. Se contradice. Habla en el idioma de sus emociones, no en el lenguaje de los síntomas clínicos.

Un sistema de IA que sólo procesa el texto literal de un mensaje puede pasar por alto señales cruciales. Puede responder a las palabras sin entender lo que hay detrás de ellas. Y en ese espacio — entre las palabras dichas y el dolor no expresado — puede ocurrir el daño más grave.

Cómo Imotara aborda este problema

Imotara fue diseñado con la detección de crisis como una función central, no como una función adicional. El sistema analiza cada mensaje en tres niveles:

1. Detección inmediata: Ideación suicida explícita o lenguaje de autolesión activa — la respuesta se interrumpe y se redirige directamente a recursos de crisis.
2. Detección de angustia: Patrones de desesperanza, aislamiento, o escalada emocional — la IA responde con cuidado adicional y ofrece recursos preventivos.
3. Zona segura: Expresión emocional normal — la IA acompaña, refleja y apoya sin intervenir de forma innecesaria.

Además, Imotara soporta 22 idiomas, incluyendo español, y reconoce expresiones de angustia en sus formas culturalmente específicas. Porque el dolor no se expresa igual en castellano que en inglés.

Lo que la tecnología no puede reemplazar

Imotara no es un servicio de crisis. No sustituye a una línea de ayuda, a un psicólogo, ni a un ser humano que te escucha. Lo que sí puede hacer es estar presente en los momentos entre las crisis — cuando la persona no está en el límite, pero tampoco está bien.

Y cuando detecta que alguien se acerca a ese límite, su trabajo es claro: señalar el camino hacia ayuda real.

Si estás en una situación de crisis ahora mismo, por favor contacta a una línea de ayuda en tu país. En España: 024. En México: 800 290 0024. En Argentina: 135.