Snap describe nuevas medidas de seguridad para su herramienta de chat ‘My AI’.

Snapchat ha proporcionado una actualización sobre el desarrollo de su herramienta de chat “My AI”, que incluye la tecnología OpenAI GPT, lo que permite a los suscriptores de Snapchat+ hacer preguntas al bot de la aplicación y obtener respuestas a lo que quieran.

Lo cual, en su mayor parte, es una aplicación simple y divertida de la tecnología, pero Snap ha descubierto un mal uso de la herramienta, por lo que ahora busca agregar más protecciones y protecciones al proceso.

Según Snap:

“Revisar las primeras interacciones con Mi AI nos ayudó a identificar qué barandas funcionan bien y cuáles deben fortalecerse”. Para ayudar a evaluar esto, lanzamos revisiones de las preguntas y respuestas de My AI que contienen lenguaje “inapropiado”, que definimos como cualquier texto que incluya referencias a la violencia, términos sexualmente explícitos, uso de drogas ilícitas, abuso sexual infantil, intimidación, odio discurso, declaraciones despectivas o sesgadas, racismo, misoginia o marginación de grupos subrepresentados. Todas estas categorías de contenido están expresamente prohibidas en Snapchat.

Todos los usuarios de la herramienta Mi AI de Snap deben aceptar los términos del servicio, lo que significa que cada consulta que ingrese al sistema puede ser analizada por el equipo de Snap para este propósito.

Snap dice que hasta ahora solo una pequeña fracción de las respuestas de My AI han caído bajo la bandera de “no conformidad” (0.01%), pero aún así, esta investigación y desarrollo adicionales ayudarán a proteger a los usuarios de Snap de experiencias negativas en el proceso de My AI.

“Seguiremos utilizando estos aprendizajes para mejorar Mi AI”. Estos datos también nos ayudarán a implementar un nuevo sistema para limitar el abuso de Mi AI. Estamos agregando la tecnología de moderación Open AI a nuestro conjunto de herramientas existente, lo que nos permitirá evaluar la gravedad del contenido potencialmente dañino y restringir temporalmente el acceso de Snapchatters a My AI si abusan del servicio”.

Snap dice que también está trabajando para mejorar su respuesta a las solicitudes inapropiadas de Snapchatter, al tiempo que implementa una nueva señal de edad para Mi AI que usa la fecha de nacimiento de Snapchatter.

“Entonces, incluso si un Snapchatter nunca le dice a My AI su edad en una conversación, el chatbot siempre tendrá en cuenta su edad cuando participe en una conversación”.

Snap también agregará pronto los datos del historial de interacción de Mi IA al seguimiento de Family Center, lo que permitirá a los padres ver si sus hijos interactúan con Mi AI y con qué frecuencia.

Aunque también vale la pena señalar que, según Snap, las preguntas más comunes que se le hicieron a Mi AI fueron bastante inocuas.

“Los temas más comunes que nuestra comunidad le ha preguntado a My AI incluyen películas, deportes, juegos, mascotas y matemáticas.“

Aún así, existe la necesidad de implementar salvaguardas, y Snap dice que toma su responsabilidad con seriedad, ya que se esfuerza por desarrollar sus herramientas de acuerdo con los principios de las mejores prácticas de desarrollo.

A medida que las herramientas de IA generativa se vuelven más comunes, todavía no está 100% claro cuáles pueden ser los riesgos asociados con su uso y cómo podemos protegernos mejor contra el mal uso de las mismas, especialmente por parte de los usuarios más jóvenes.

Ha habido varios informes de información errónea que se distribuye a través de “alucinaciones” dentro de dichas herramientas, que se basan en sistemas de inteligencia artificial que leen mal sus entradas de datos, mientras que algunos usuarios también han tratado de engañar a estos nuevos bots para que rompan sus propios parámetros, con el fin de ver qué podría ser posible.

Y definitivamente hay riesgos involucrados, razón por la cual muchos expertos recomiendan precaución al aplicar elementos de IA.

De hecho, la semana pasada, una carta abierta, firmada por más de mil identidades de la industria, pedía a los desarrolladores que detuvieran la investigación de poderosos sistemas de inteligencia artificial para evaluar su uso potencial y garantizar que sigan siendo útiles y manejables.

En otras palabras, no queremos que estas herramientas se vuelvan demasiado inteligentes y se conviertan en un escenario tipo Terminator, donde las máquinas se mueven para esclavizar o erradicar a la raza humana.

Tal escenario apocalíptico ha sido durante mucho tiempo una preocupación crítica, y una carta abierta similar publicada en 2015 advirtió sobre el mismo riesgo.

Y hay alguna razón para preocuparse de que estemos tratando con nuevos sistemas, que no entendemos completamente, que probablemente no se ‘salgarán de control’ como tales, pero que eventualmente pueden contribuir a la difusión de información falsa, o a la creación de contenido engañoso, etc.

Obviamente, existen riesgos, por lo que Snap está tomando estas nuevas medidas para abordar posibles problemas en sus propias herramientas de IA.

Y dada la base de usuarios jóvenes de la aplicación, debería ser un enfoque clave.