Roblox lanza su IA contra depredadores: ¿suficiente o demasiado tarde?

Un nuevo frente en la batalla por la seguridad infantil en línea

Roblox, una de las plataformas de videojuegos en línea más utilizadas por niños y adolescentes, ha dado un paso clave en su intento por frenar una de las mayores amenazas que enfrentan sus usuarios más jóvenes: los depredadores sexuales. Con más de 111 millones de usuarios activos mensuales, la plataforma ha anunciado el lanzamiento de una versión open source de su sistema de inteligencia artificial llamado Sentinel, diseñado para detectar conversaciones sospechosas que puedan estar relacionadas con el acoso o explotación infantil.

Esta decisión llega en un momento crítico para la empresa, que se enfrenta a una creciente presión mediática, social y jurídica. Un caso particularmente grave ha hecho que la atención pública se centre en las medidas de seguridad de Roblox: una demanda en Iowa alega que una niña de 13 años fue contactada por un adulto a través de la plataforma, posteriormente secuestrada, traficada entre varios estados y violada.

¿Qué es Sentinel y cómo funciona?

Sentinel, el nuevo sistema de inteligencia artificial desarrollado por Roblox, escanea y analiza diariamente aproximadamente 6.000 millones de mensajes enviados dentro de la plataforma. Pero lo interesante no es la cantidad, sino la metodología. A diferencia de los antiguos filtros, que simplemente bloqueaban palabras ofensivas de forma individual, Sentinel trabaja con contextos a largo plazo. Captura y estudia extractos de conversaciones de un minuto para determinar si hay señales de peligro progresivo.

Para ello, Roblox ha creado dos índices analíticos: uno está compuesto por mensajes benignos y el otro por datos de conversaciones reales en las que se violaba la política de protección infantil. El sistema evalúa si un usuario se está acercando más al «clúster negativo» o al positivo, y, si lo considera necesario, se revisan sus otras conversaciones, amistades y juegos frecuentes. En 2025, gracias a Sentinel, la empresa ha reportado 1.200 casos de potencial explotación infantil al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC).

“No es lo que dicen, sino cómo lo dicen”

Uno de los mayores retos en la moderación de plataformas en línea es que los peligros no siempre son obvios. Como explica Matt Kaufman, director de seguridad de Roblox: “Los filtros tradicionales funcionan bien para bloquear palabrotas o insultos. Pero cuando se trata de proteger a los niños del grooming, esos patrones se revelan en conversaciones prolongadas”.

En ese sentido, preguntas inocentes como “¿cuántos años tienes?” o “¿de dónde eres?” pueden no alarmar, pero si se repiten o se convierten en parte de una cadena de mensajes sutilmente manipuladores, son una fuerte señal de alerta. Sentinel está diseñado, precisamente, para captar esas sutilezas.

¿Un foco de peligro para menores?

La demanda en Iowa afirma que Roblox, por su propia estructura, deja a los niños “vulnerables por diseño”. A pesar de tener reglas claras como la prohibición de compartir imágenes o videos o bloquear información como números telefónicos, los usuarios encuentran formas de “burlar” esas restricciones.

La compañía asegura que los usuarios menores de 13 años solo pueden chatear fuera de los juegos con autorización explícita de sus padres. Además, a diferencia de otros servicios como WhatsApp o Signal, Roblox no cifra sus mensajes privados, lo que permite que los moderadores los supervisen mejor.

No obstante, los críticos argumentan que aun así la moderación humana y técnica ha sido insuficiente. Ejemplos como el que originó la reciente demanda demuestran que, aunque la IA sea eficaz, el daño ya está hecho.

¿Por qué open source?

La decisión de liberar el código fuente de Sentinel es ambiciosa. Roblox desea que otras plataformas adopten este tipo de soluciones para crear una “cadena colaborativa de defensa contra el abuso cibernético”. Como explica Naren Koneru, vicepresidente de Ingeniería en Roblox: "Cuantos más actores usen este tipo de sistemas, más podremos afinar y aprender sobre los patrones de comportamiento de los depredadores".

Este paso representa un cambio importante en la industria del videojuego en línea, marcada durante años por una actitud reactiva en lugar de preventiva. En este contexto, la apertura del código de Sentinel podría marcar un antes y un después si logra impulsar una nueva ola de innovación en la ciberseguridad infantil.

La tensión entre libertad y seguridad

El dilema, sin embargo, no es simple. Aunque Sentinel representa una victoria técnica, hay preocupaciones sobre la privacidad y la vigilancia exacerbada. Algunos especialistas en seguridad digital advierten sobre los peligros de permitir que sistemas automatizados vigilen a millones de usuarios, muchos de ellos también menores, sin consentimiento significativo.

Esto plantea preguntas como: ¿Hasta dónde deben llegar las plataformas para proteger a sus usuarios sin sacrificar su privacidad? ¿Es ético que una empresa tenga acceso total a las conversaciones privadas bajo el pretexto de la seguridad?

Según expertos como Bruce Schneier, criptógrafo y académico de Harvard, "la vigilancia automatizada puede convertirse fácilmente en un caballo de Troya para espiar a los usuarios más allá de las buenas intenciones iniciales".

Un esfuerzo que necesita apoyo multisectorial

Aunque Sentinel es una herramienta prometedora, es solo una pieza de un rompecabezas mucho más grande. La protección infantil en línea requiere también el soporte de:

• Gobiernos, con legislaciones actualizadas sobre ciberacoso y protección digital.
• Educadores y padres, que eduquen a los niños sobre los riesgos y buenas prácticas.
• Otras plataformas digitales, que se unan a esta red de sistemas preventivos.

En última instancia, las empresas tecnológicas deben reconocer que la responsabilidad no termina en un punto del código fuente. La seguridad infantil es una tarea constante, una carrera contra el ingenio de quienes buscan explotar lagunas en los sistemas que deberían proteger lo más valioso: la infancia.

¿Un cambio de paradigma?

Roblox está, voluntaria o involuntariamente, liderando un nuevo enfoque sobre cómo las plataformas deben intervenir en el comportamiento de sus usuarios. Donde antes solo había normas y sanciones, ahora hay vigilancia contextual e inteligencia artificial con capacidad de aprendizaje progresivo. Sin embargo, el verdadero éxito no se medirá en código abierto, sino en cuánto los casos de abuso disminuyen, y si algún día, las noticias sobre víctimas en plataformas como Roblox simplemente dejan de existir.