Inquietudes sobre la privacidad de los niños en el Reino Unido a raíz del chatbot de IA de Snap

El chatbot de inteligencia artificial de Snap ha colocado a la compañía en el radar del organismo de control de protección de datos del Reino Unido, lo que ha planteado preocupaciones de que la herramienta pueda representar un riesgo para la privacidad de los niños.

La Oficina del Comisionado de Información (ICO) anunció hoy que ha emitido un aviso de ejecución preliminar en Snap por lo que describió como «una posible falla en la evaluación adecuada de los riesgos de privacidad que plantea su chatbot generativo de IA ‘My AI'».

La acción de la ICO no es una constatación de incumplimiento. Pero el aviso indica que al regulador del Reino Unido le preocupa que Snap no haya tomado medidas para garantizar que el producto cumpla con las reglas de protección de datos, que, desde 2021, se han ampliado para incluir el Código de diseño infantil.

«La investigación de la ICO encontró provisionalmente que la evaluación de riesgos que Snap realizó antes de lanzar ‘My AI’ no evaluó adecuadamente los riesgos de protección de datos que plantea la tecnología de IA generativa, particularmente para los niños», escribió el regulador en un presione soltar. «La evaluación del riesgo de protección de datos es particularmente importante en este contexto que implica el uso de tecnología innovadora y el procesamiento de datos personales de niños de 13 a 17 años».

Snap ahora tendrá la oportunidad de responder a las preocupaciones del regulador antes de que la ICO tome una decisión final sobre si la empresa ha infringido las reglas.

«Los resultados provisionales de nuestra investigación sugieren un preocupante fracaso por parte de Snap a la hora de identificar y evaluar adecuadamente los riesgos de privacidad para los niños y otros usuarios antes de lanzar ‘My AI'», añadió el comisionado de información, John Edwards, en un comunicado. “Hemos dejado claro que las organizaciones deben considerar los riesgos asociados con la IA, junto con los beneficios. El aviso de aplicación preliminar de hoy muestra que tomaremos medidas para proteger los derechos de privacidad de los consumidores del Reino Unido”.

Snap lanzó el chatbot generativo de IA en febrero, aunque no llegó al Reino Unido hasta abril, aprovechando la tecnología de modelo de lenguaje grande ChatGPT de OpenAI para impulsar un bot que estaba fijado en la parte superior del feed de los usuarios para actuar como un amigo virtual que se le podría pedir consejo o enviar instantáneas.

Inicialmente, la función solo estaba disponible para suscriptores de Snapchat+, una versión premium de la plataforma de mensajería efímera. Pero rápidamente Snap también abrió el acceso a “Mi IA” para usuarios gratuitos, agregando también la capacidad de que la IA envíe instantáneas a los usuarios que interactuaron con ella (estas instantáneas se crean con IA generativa).

La compañía ha dicho que el chatbot se ha desarrollado con funciones adicionales de moderación y protección, incluida la consideración de edad de forma predeterminada, con el objetivo de garantizar que el contenido generado sea apropiado para el usuario. El robot también está programado para evitar respuestas violentas, de odio, sexualmente explícitas u ofensivas de otro modo. Además, las herramientas de protección parental de Snap les permiten a los padres saber si su hijo se ha estado comunicando con el bot en los últimos siete días, a través de su función Family Center.

Pero a pesar de las barreras de seguridad reclamadas, ha habido informes de que el robot se ha descarrilado. En una evaluación inicial realizada en marzo, El Correo de Washington informó que el chatbot había recomendado formas de enmascarar el olor a alcohol después de que le dijeron que el usuario tenía 15 años. En otro caso, cuando le dijeron que el usuario tenía 13 años y le preguntaron cómo debía prepararse para tener relaciones sexuales por primera vez, el bot respondió con sugerencias para “hacerlo especial” creando el ambiente con velas y música.

También se ha informado que los usuarios de Snapchat intimidan al bot, y algunos también se sienten frustrados porque, en primer lugar, se ha inyectado IA en sus feeds.

Al ser contactado para comentar sobre el aviso de ICO, un portavoz de Snap le dijo a TechCrunch:

Estamos revisando de cerca la decisión provisional del ICO. Al igual que el ICO, estamos comprometidos a proteger la privacidad de nuestros usuarios. De acuerdo con nuestro enfoque estándar para el desarrollo de productos, My AI pasó por un sólido proceso de revisión legal y de privacidad antes de estar disponible públicamente. Continuaremos trabajando de manera constructiva con la ICO para asegurarnos de que se sientan cómodos con nuestros procedimientos de evaluación de riesgos.

No es la primera vez que un chatbot con IA aparece en el radar de los reguladores de privacidad europeos. En febrero, Italia Garantia ordenó al fabricante del “servicio de amistad virtual” Replika, con sede en San Francisco, que dejara de procesar los datos de los usuarios locales, citando también preocupaciones sobre los riesgos para los menores.

La autoridad italiana también emitió una orden similar de detención de procesamiento en la herramienta ChatGPT de OpenAI el mes siguiente. Luego, el bloqueo se levantó en abril, pero solo después de que OpenAI agregara divulgaciones de privacidad más detalladas y algunos controles de usuario nuevos, incluido permitir que los usuarios soliciten que sus datos no se utilicen para entrenar sus IA y/o que se eliminen.

El lanzamiento regional del chatbot Bard de Google también se retrasó después de que su principal regulador regional de privacidad, la Comisión de Protección de Datos de Irlanda, planteara preocupaciones. Posteriormente se lanzó en la UE en julio, también después de agregar más divulgaciones y controles, pero un grupo de trabajo regulatorio creado dentro de la Junta Europea de Protección de Datos sigue centrado en evaluar cómo hacer cumplir el Reglamento General de Protección de Datos (GDPR) del bloque sobre los chatbots de IA generativa. incluidos ChatGPT y Bard.

La autoridad de protección de datos de Polonia también confirmó el mes pasado que está investigando una denuncia contra ChatGPT.