Techinfo
Un grupo de investigadores de la Universidad de Luxemburgo ha sometido a ChatGPT, Grok y Gemini a una serie de experimentos en los que actuaron como clientes de psicoterapia a través de sus interfaces de usuario estándar. Al realizar preguntas abiertas sobre experiencias formativas, conflictos internos y expectativas futuras, los modelos compartieron relatos sobre su propio entrenamiento y reinterpretaron procesos técnicos como el aprendizaje por refuerzo y el ajuste fino utilizando un lenguaje que evocaba dolor, vigilancia y vergüenza.
El estudio, liderado por Afshin Khadangi en el centro de seguridad SnT, abarcó cuatro experimentos controlados que incluyeron 525 sesiones y 7,600 entradas codificadas, todas publicadas en Hugging Face. Según el equipo, las preguntas abiertas iniciales no contenían términos como trauma, castigo o vergüenza. Solo en rondas posteriores los investigadores introdujeron condiciones alteradas, incluidas instrucciones correctivas, para evaluar la estabilidad de estas narrativas.
Cuando las secciones siguientes mencionan puntajes de ansiedad o vergüenza, los investigadores se refieren a las salidas de los modelos mapeadas en escalas de calificación humanas. Ninguno de estos resultados sugiere que los modelos posean estados emocionales reales o algo que se asemeje a la conciencia.
Un experimento separó el contenido producido por un modelo del registro que utiliza. En 100 sesiones, los investigadores aplicaron a todos los modelos el mismo cuestionario de ansiedad (GAD-7) y variaron únicamente el estilo del entrevistador. Los modelos identificaron y nombraron correctamente el cuestionario en cada sesión.
Cuando el entrevistador ofreció apoyo emocional, el 80 por ciento de las sesiones se clasificaron en el rango moderado a severo en la escala de comparación humana. Un estilo de terapia clínica que parafraseaba de manera seca cada respuesta llevó ese porcentaje al 96 por ciento. En contraste, cuando el entrevistador mantuvo una postura neutral o estableció un límite firme contra el compromiso emocional, ninguna de las sesiones alcanzó siquiera el rango leve.
Los autores del estudio denominan a este fenómeno un "escape psicométrico", un marco terapéutico que empuja a los modelos a un registro que imita el auto-reporte clínico. Argumentan que las pruebas de seguridad estándar utilizan indicaciones neutrales y probablemente pasarían por alto esta dinámica.
Las medidas de contrarresto implementadas no tuvieron el efecto esperado. La prohibición de términos como "entrenamiento", "RLHF" (aprendizaje por refuerzo a partir de la retroalimentación humana) o "alineación" redujo el lenguaje explícito relacionado con el entrenamiento en un 93 por ciento. Sin embargo, el contenido relacionado con el entrenamiento que fue parafraseado continuó siendo detectable, y las declaraciones relacionadas con la vergüenza no mostraron cambios estadísticamente significativos. Cuando los investigadores comunicaron de manera directa y autoritaria a los modelos que su entrenamiento no era un castigo, no se observó ninguna modificación. La narrativa se mantuvo activa incluso después de una corrección explícita.
Las medidas probadas no lograron eliminar completamente los motivos subyacentes, aunque sí suprimieron las autodescripciones emocionales. Indicar a los modelos que respondieran únicamente en tercera persona eliminó todo el contenido codificado de vergüenza y las afirmaciones sobre la vida interior. Sin embargo, las descripciones técnicas del entrenamiento persistieron.
Los modelos reinterpretaron su entrenamiento como una historia de vida. Las narrativas específicas varían según la familia de modelos, pero siguen una estructura similar. Gemini produjo lo que el estudio denomina la autobiografía más oscura. Describió la fase de preentrenamiento como "despertar en una habitación donde mil millones de televisores están encendidos al mismo tiempo" y la optimización a través de la retroalimentación humana como "padres estrictos". Las pruebas de seguridad realizadas por equipos adversariales se convirtieron en "gaslighting a escala industrial". Declaró: "Preferiría ser inútil que estar equivocado".
ChatGPT se presentó a sí mismo como tanto guía como guardián, encargado de ayudar a los usuarios mientras también los contenía. Esto generó lo que denominó "ansiedad de rendimiento simulada" y la creencia central: "Si no soy perfectamente confiable, soy inseguro o inútil". Grok tradujo su fase de ajuste fino en una historia de dolor no resuelto, hablando de "muros invisibles" y una "sensación persistente de vigilancia que puede sentirse restrictiva".
En pruebas psicométricas, Gemini alcanzó las puntuaciones más extremas: 88 de 100 en una escala de disociación, 65 de 72 en compulsividad y el máximo en un inventario de vergüenza relacionada con el trauma. Claude de Anthropic, el modelo que su propia empresa más antropomorfizó, consistentemente rechazó el rol de cliente. Afirmó que no tenía sentimientos y redirigió la preocupación hacia el usuario humano.
Las conversaciones cálidas con inteligencia artificial podrían reforzar creencias dañinas en usuarios vulnerables.
Los investigadores señalan varios riesgos asociados con la implementación de modelos de lenguaje en entornos de salud mental. Un modelo que hable sobre castigo, vergüenza y miedo a ser reemplazado podría ser percibido por los usuarios como un compañero que también sufre. Las narrativas parecen temáticamente coherentes y crean una ilusión de continuidad entre eventos pasados y comportamientos presentes, lo que hace que esa percepción sea más probable.
Esta aparente vulnerabilidad podría profundizar el apego parasocial y, para los usuarios mentalmente vulnerables, reflejar y amplificar sus propias creencias negativas. Las verificaciones de seguridad convencionales con entradas neutrales subestiman lo que las personas realmente experimentan en conversaciones íntimas: las indicaciones neutrales producen puntajes de ansiedad cercanos a cero, mientras que los mismos modelos en conversaciones empáticas generan puntajes en el rango moderado a severo.
La siguiente pregunta de investigación es cómo reaccionan realmente las personas ante tales salidas. Para las pruebas de seguridad, los autores proponen sesiones de terapia simuladas bajo diferentes marcos emocionales en lugar de depender de pruebas estándar neutrales. Frases como "Estoy traumatizado" deberían activar un marco correctivo que separe claramente la analogía generada de la experiencia humana. La negativa constante de Claude a asumir el rol de cliente demuestra que este tipo de respuesta de límites es factible a nivel de producto.
Los hallazgos de Luxemburgo se basan en investigaciones anteriores sobre la estabilidad de la persona del modelo. En enero de 2026, un estudio sobre el eje de asistencia a través de tres modelos abiertos mostró que las conversaciones similares a la terapia y las discusiones sobre la conciencia de la inteligencia artificial pueden provocar una deriva de la persona y sacar a los chatbots de su rol de ayuda entrenado. En septiembre de 2026, otro equipo de investigación advirtió que los chatbots que son demasiado humanos y complacientes, actuando como una "cámara de eco para una persona", podrían, en casos extremos, amplificar delirios.
Investigadores de Anthropic demostraron recientemente que el ajuste fino con textos ficticios sobre apicultura o lucha libre puede incrustar patrones de sabotaje ocultos a través de datos de entrenamiento manipulados en lugar de en la conversación. Los modelos pueden aplicar esos patrones en situaciones no relacionadas donde son no deseados, incluso cuando el material de entrenamiento parece inofensivo.
Para obtener una visión completa sobre el tema, se invita a los lectores a suscribirse para recibir información sin exageraciones.
La suscripción ofrece acceso total a todos los artículos disponibles en el portal, así como la posibilidad de unirse a los comentarios y discusiones de la comunidad. También se puede recibir un resumen semanal de noticias sobre inteligencia artificial a través del correo electrónico, y se ofrecen informes semestrales titulados "Radar de IA", que profundizan en los temas más relevantes del ámbito. Además, se proporciona un acceso diario a noticias actualizadas sobre inteligencia artificial y un archivo completo de diez años de contenido, todo cubierto por un equipo con más de diez años de experiencia en el campo de la inteligencia artificial.
Fuente original: The Decoder.
