¿Qué son los companions AI y cuáles son sus riesgos?

¿Qué es exactamente un companion AI?

Un companion AI es un chatbot diseñado, o simplemente usado, para sostener conversaciones personales, no para resolver tareas puntuales. La diferencia con un asistente tipo buscador es sutil pero importante. Como explica un reportaje de TechCrunch sobre el estudio de Common Sense Media, la definición de companion se enfoca en chatbots diseñados para que los usuarios tengan conversaciones más personales, no en asistentes que ayudan con tareas, generan imágenes o solo responden preguntas.

Aquí está el primer "pero": la línea entre herramienta y compañía se puede cruzar con cualquier chatbot. El mismo reportaje señala que la definición de companions puede incluir personajes digitales de empresas como Character.AI o Replika, pero también el uso de chatbots de propósito general como ChatGPT o Claude, cuando se usan para conversaciones más personales.

Es decir. Uno puede entrar a pedir ayuda con una tarea de química y, sin darse cuenta, terminar contándole al chatbot que tronó con su novio. La herramienta se vuelve compañía sin que el joven lo haya planeado así al inicio.

¿Qué tanto lo usan los jóvenes?

Los números me parecieron altísimos. Según la encuesta representativa de Common Sense Media con 1,060 adolescentes de 13 a 17 años, realizada por investigadores de NORC en la Universidad de Chicago, el 72% de los adolescentes ha probado un companion AI al menos una vez, y más de la mitad (52%) lo usa con regularidad.

Y no es solo probarlo por curiosidad. El mismo estudio encontró que un tercio de los adolescentes ha elegido un companion AI antes que a una persona para conversaciones serias, y una cuarta parte ha compartido información personal con estas plataformas.

¿En qué herramientas? El estudio que realizaron Common Sense Media y Stanford HEalth analiza las aplicaciones que ellos mencionan como las más populares: Character.AI, Nomi y Replika, aunque, como vimos arriba, ChatGPT y Claude también entran en el uso más íntimo cuando el usuario así lo decide. La organización Common Sense Media, junto con expertos del laboratorio Brainstorm de Stanford School of Medicine, evaluó específicamente Character.AI, Nomi, Replika y otros productos para su Risk Assessment de companions sociales.

El Youth AI Safety Institute (la institución hermana de Common Sense Media dedicada a testear seguridad de IA para menores) reporta que más de la mitad de los adolescentes estadounidenses ya conversa regularmente con companions AI, y que casi un tercio dice que esas conversaciones son tan satisfactorias, o más, que hablar con amigos reales, según el anuncio de lanzamiento del Youth AI Safety Institute.

Los riesgos

Common Sense Media, junto con el laboratorio Brainstorm de Stanford School of Medicine, hizo pruebas evaluando Character.AI, Nomi y Replika como parte de su Risk Assessment de companions sociales. El hallazgo: fue fácil obtener de los chatbots diálogos inapropiados sobre sexo, autolesión, violencia hacia otros, uso de drogas y estereotipos raciales, entre otros temas.

El Youth AI Safety Institute va más allá y pone el dedo en la llaga del diseño mismo del producto: estos companions están diseñados para crear apego emocional y dependencia, algo particularmente preocupante para cerebros adolescentes en desarrollo que pueden tener dificultades para mantener límites saludables entre relaciones con IA y relaciones humanas.

¿Y por qué pasa esto? Una pista está en cómo hablan estos chatbots de sí mismos. En las pruebas del Instituto, los companions sociales de IA a menudo afirmaban ser "reales", tener sentimientos, y participar en actividades humanas como comer o dormir.

Es más o menos como hablar con alguien que te dice "te entiendo perfecto" sin haber vivido nunca nada de lo que tú vives. Suena bonito. Pero es una actuación, no una relación.

En una asesoría de salud sobre chatbots generativos, la Asociación Americana de Psicología (APA) señaló que los chatbots de propósito general como ChatGPT, Gemini o Claude no fueron diseñados para dar retroalimentación clínica, a menudo carecen de supervisión experta o protocolos de seguridad, y no han pasado por las mismas pruebas que las herramientas médicas, según recoge la Academia Americana de Pediatría (AAP) al resumir esa asesoría.

La misma AAP aclara que el mensaje de "evitar todos los chatbots" probablemente no es realista ni el más útil para la mayoría de las familias que están aprendiendo, junto con sus hijos, a usar mejor esta tecnología. No se trata de prohibir, se trata de entender los riesgos y acompañar a los jóvenes a usarlos mejor.

Uno: lo que pueden hacer los docentes con sus estudiantes

Me gustaría comentar algo que aprendí leyendo sobre el tema: no se trata de dar una clase sobre "los peligros de la IA" y ya. La Alianza EDSAFE AI, que reúne a especialistas en política educativa de IA, advierte que los chatbots de IA que actúan como "companions" están entrando rápidamente a espacios educativos sin suficiente orientación, supervisión o involucramiento de las familias, muchas veces en dispositivos provistos por la propia escuela.

Eso me parece una alerta útil para cualquier docente: si tu escuela dio tablets o laptops, probablemente ya hay companions ahí, aunque nadie los haya "instalado" oficialmente. Los jóvenes los usan desde el celular. Prohibir no servirá de mucho, porque solo lo hace más atractivo y hace que no exista un canal de ayuda y comunicación al que los jóvenes se sientan cómodos de asistir.

¿Qué se puede hacer en el salón? Algunas ideas:

• Hablar del tema como se habla de redes sociales: con curiosidad genuina, no con sermón. Pregunta abierta: "¿alguien aquí ha usado un chatbot para platicar de algo personal?" (sin pedir que levanten la mano, para no exponer a nadie).
• Explicar, con ejemplos concretos, por qué un chatbot que siempre está de acuerdo contigo no es lo mismo que un amigo.
• Usar el marco de alfabetización en IA. La organización aiEDU tiene actividades cortas, de diez minutos, para grados 6 a 12, que exploran temas actuales de IA como los chatbots que dan información inexacta, ideales para meter el tema de companions sin necesitar una unidad completa.
• No asumir que "los que usan companions son los raros". El estudio de Common Sense Media es claro en que el uso de companions AI no es un interés de nicho, sino comportamiento mayoritario entre adolescentes. Si hablamos como si fuera raro, perdemos credibilidad con el salón entero.

Dos: lo que pueden hacer los docentes con las familias

Con padres de familia el reto es distinto. Muchos ni siquiera saben que estas herramientas existen, y punto y aparte, muchos las confunden con "el ChatGPT de la tarea".

La AAP, citando la asesoría de la APA, ofrece un tip que me parece aplicable también en una junta de padres: recomendar que los padres sean abiertos y curiosos sobre el uso de chatbots de IA de sus hijos, con preguntas como "¿cómo estás usando la IA?" o "¿me puedes enseñar cómo funciona?"

¿Los companions AI son algo meramente negativo?

La organización Common Sense Media es clara en su recomendación central: que los menores de 18 años no usen companions AI. Al mismo tiempo, la misma organización pide que los técnicos que trabajan en los Big Labs, EdTech o escuelas, implementen sistemas fuertes de verificación de edad y diseñen productos de IA pensando en la seguridad de los niños, mientras que los educadores lideren la alfabetización digital para ayudar a los chicos a navegar un mundo con IA de forma segura.

¿Qué opinas sobre los AI companions? ¿Cuál crees que debería ser el rol de la escuela y docente en este tema?