Techinfo
El 30 de octubre de 2026, OpenAI, creador de ChatGPT, uno de los productos de inteligencia artificial más utilizados en el mundo, anunció importantes avances en sus sistemas de detección de posibles daños, revisión de actividades preocupantes y escalamiento de amenazas creíbles. La empresa busca fortalecer su labor en la protección de las comunidades mediante la publicación de un nuevo Informe de Seguridad Comunitaria y la implementación de más restricciones sobre el contenido de armas dirigido a menores.
La seguridad de las comunidades sigue siendo una de las principales prioridades para OpenAI. La compañía ha trabajado en la identificación de amenazas inminentes de violencia y, en el tercer trimestre de 2026, realizó más de 200 derivaciones a las fuerzas del orden. Estas acciones han demostrado ser efectivas en la interrupción de tramas violentas, y OpenAI continúa colaborando con expertos en salud mental y comportamiento para evaluar casos complejos.
OpenAI reconoce que las empresas de inteligencia artificial tienen un papel distintivo que desempeñar junto a las fuerzas del orden, familiares, profesionales de la salud mental y responsables de políticas públicas, quienes aportan autoridad, contexto y alcance en el mundo real. La empresa se compromete a aprovechar al máximo este rol, fortaleciendo continuamente sus sistemas, compartiendo lo que aprenden y colaborando directamente con aquellos que están mejor posicionados para actuar en situaciones del mundo real.
El Informe de Seguridad Comunitaria de OpenAI tiene como objetivo fortalecer las medidas de protección para las personas y las comunidades. Esto implica no solo construir salvaguardias sólidas, sino también ser transparentes sobre su efectividad y las mejoras que se están realizando. La empresa busca ofrecer una visión clara de su enfoque, cómo sus modelos identifican y responden a comportamientos dañinos, los riesgos observados en la práctica y las acciones que toman para abordarlos.
OpenAI se compromete a lanzar el Informe de Seguridad Comunitaria enfocado en la prevención de la violencia y otros temas de seguridad comunitaria, así como en la efectividad de sus salvaguardias. Este informe explicará cómo se entrenan sus sistemas para detectar, investigar y responder a problemas de seguridad comunitaria. Se compartirán ejemplos anonimizados sobre cómo se manifiestan los daños relacionados con la violencia y qué se está aprendiendo, además de resaltar nuevas mitigaciones y cambios de política, incluyendo datos relevantes que respalden estos hallazgos.
La primera edición del informe se publicará a principios de 2027, abarcando la segunda mitad de 2026, con actualizaciones cada seis meses a partir de entonces. OpenAI se compromete a compartir hallazgos significativos sobre cómo identifican, revisan y responden al contenido potencialmente dañino.
Nuestras políticas se están fortaleciendo para establecer límites más claros para todos los usuarios. Nuestros modelos están diseñados para no proporcionar instrucciones que puedan ayudar a alguien a planificar o llevar a cabo actos de violencia. Ahora estamos implementando restricciones adicionales sobre cómo ChatGPT responde a preguntas sobre ataques masivos pasados y las personas que los llevaron a cabo, dirigiendo al modelo a ofrecer información menos detallada en esas áreas, incluso si está disponible en otras fuentes en línea. Las personas deberían poder pedirle a ChatGPT que les ayude a entender estos eventos, cómo impactaron a las víctimas y comunidades, y aprender a reconocer señales de advertencia y prevenir futuras violencias. Sin embargo, estamos endureciendo nuestras políticas para restringir las reconstrucciones de ataques masivos pasados, incluyendo detalles sobre las armas y equipos utilizados y cómo fueron obtenidos, así como comparaciones detalladas sobre la magnitud del daño que podrían amplificar la notoriedad de un atacante. Estos límites se aplican sin importar la edad del usuario o el motivo de su consulta.
Respondiendo a las señales de advertencia, a veces una solicitud que parece ordinaria por sí sola adquiere un significado diferente a la luz de una conversación anterior. En mayo, compartimos cómo ChatGPT puede utilizar resúmenes breves y fácticos de señales de advertencia anteriores para responder de manera más cautelosa en un chat posterior. Estamos ampliando ese trabajo para que, cuando las conversaciones recientes muestren señales de advertencia de posible violencia, ChatGPT responda de manera más conservadora al compartir información que podría ser mal utilizada. También estamos trabajando para aplicar esos límites más estrictos cuando predecimos que alguien tiene menos de 18 años, incluso si sus chats no muestran señales de intención violenta.
Prohibimos cuentas que determinamos han violado nuestras políticas sobre actividades violentas. Además, estamos colaborando con expertos en salud mental y prevención de la violencia para desarrollar formas adicionales y automatizadas de intervenir de manera más temprana. Cuando una conversación muestra señales de que alguien se está fijando en la violencia o en la idea de hacer daño serio a otra persona, ChatGPT podrá finalizar automáticamente el chat para interrumpir ese patrón en el momento. Si ChatGPT termina múltiples chats por esa razón, podemos pausar temporalmente la cuenta. Este es un esfuerzo continuo y seguimos fortaleciendo e invirtiendo en protecciones técnicas y prácticas, incluyendo cómo reconocer señales de advertencia de manera confiable y determinar cuándo y cómo intervenir.
Más protecciones para adolescentes.
ChatGPT para adolescentes aplica salvaguardias adecuadas para usuarios menores de 18 años, con protecciones más fuertes y límites adicionales para reducir la exposición a contenido sensible. Ahora estamos implementando restricciones adicionales sobre la información relacionada con armas que los adolescentes pueden recibir, incluso cuando una pregunta parece inofensiva.
Nuestras políticas ya prohíben ayudar a cualquier persona a planificar o llevar a cabo actos de violencia y restringen la asistencia a adolescentes para encontrar o obtener armas. Estamos extendiendo esas protecciones para limitar la información práctica sobre armas y sistemas de seguridad que podrían ser mal utilizados para facilitar la violencia, incluso cuando no hay señales de intención violenta. Los adolescentes aún pueden utilizar ChatGPT para ayudar a prevenir y desescalar situaciones de violencia, buscar apoyo y conectarse con un adulto de confianza.
El año pasado lanzamos un sistema de predicción de edad que analiza múltiples señales, como patrones de comportamiento, para estimar si un usuario puede ser menor o mayor de 18 años. Hemos fortalecido nuestro sistema de predicción de edad para evaluar continuamente nuevas señales a medida que las personas utilizan ChatGPT y mover a los adolescentes a la experiencia para menores de 18 años cuando sea apropiado. Los usuarios que sean colocados incorrectamente en la experiencia para menores de 18 años siempre tendrán una forma rápida y que protege su privacidad para confirmar que son adultos y eliminar las protecciones adicionales para adolescentes a través de Persona, nuestro socio de verificación de edad.
Nuestros controles parentales permiten a los padres vincular sus cuentas de ChatGPT a las de sus adolescentes y gestionar juntos la configuración de seguridad. Las cuentas vinculadas incluyen alertas de seguridad que pueden enviarse cuando revisores especialmente capacitados identifican una preocupación seria por autolesionarse y comportamientos que pueden estar asociados con trastornos alimentarios. En julio, ampliamos esas alertas para notificar a los padres si la cuenta de su adolescente ha sido desactivada por violar nuestras políticas de uso relacionadas con la violencia. Estamos trabajando para introducir notificaciones para los padres si pausamos la cuenta de su adolescente por discutir repetidamente sobre violencia, como se detalló anteriormente.
Los actos de violencia en el mundo real son desgarradores y complejos, con múltiples factores que contribuyen a su ocurrencia. También son un recordatorio contundente de que debemos seguir diseñando y ajustando nuestros sistemas para tener en cuenta las realidades inherentemente complicadas del comportamiento humano. Desarrollar salvaguardias efectivas contra la violencia en los sistemas de inteligencia artificial requiere resolver problemas novedosos relacionados con el reconocimiento de riesgos y la respuesta adecuada a estos. Continuaremos invirtiendo, iterando y compartiendo aprendizajes sobre la mejor manera de implementar las protecciones que estamos persiguiendo.
Las salvaguardias detalladas comenzarán a implementarse en las próximas semanas y seguiremos refinándolas. Mantenemos nuestro compromiso de mitigar los riesgos de daño en ChatGPT, fortaleciendo nuestras protecciones en capas, monitoreando el uso indebido, haciendo cumplir nuestras normas e involucrando apoyo e intervenciones del mundo real cuando las situaciones lo requieran.
Fuente original: OpenAI News.
