Synthesia utiliza inteligencia artificial para crear vídeos personalizados con fines insospechados: apoyar regímenes autoritarios
Una cantidad importante de datos de entrenamiento creados por actores humanos, introducidos en el modelo de Inteligencia Artificial de Synthesia, le ha permitido a la empresa producir avatares más parecidos a las personas y más expresivos que sus predecesores. Este avance tecnológico, que es visto con perplejidad por la competencia, es por los afectados como videos deepfakes
Pero este progreso también implica un cambio social y cultural mucho mayor. Cada vez más, gran parte de lo que vemos en las pantallas está generado o manipulado por la IA, y cada vez es más difícil distinguir lo que es real de lo que no lo es. Esto amenaza la confianza en lo que vemos y es en esa dualidad o ambivalencia donde descansa buena parte de la preocupación de ciudadanos, empresas y gobiernos.
Synthesia es una compañía con sede en Londres que utiliza inteligencia artificial para crear vídeos realistas y personalizados. Ha creado un gran revuelo en una industria que compite por perfeccionarlos. En su sitio en internet asegura que más de 50.000 empresas confían en su plataforma, entre ellas Latam Airlines, Zoom, Xerox, Ernst & Young, Microsoft, Heineken. Los inversores la han llevado al estatus de «unicornio», una etiqueta para una empresa valorada en más de mil millones de dólares.
La tecnología de Synthesia está dirigida a clientes que buscan crear material de marketing o presentaciones internas. Asegura que cualquier deepfake constituye una violación de sus términos de uso. “Para proteger a nuestros usuarios, combinamos la intervención humana con la moderación de la IA”, indica la empresa.
Videos realistas con IA son falsos
Pero esta advertencia en su web significa poco para los modelos cuyas imágenes están detrás de las «marionetas» digitales que se han utilizado en otros países y para fines insospechados. Tanto The Guardian como el MIT Technology Review hicieron seguimiento a varios videos deepfakes apoyados en IA y sus repercusiones.
La tecnología también se ha utilizado para crear vídeos vinculados a estados hostiles, como Rusia, China y otros, para difundir información errónea. El diario británico narró el caso de un joven bien arreglado, vestido con una elegante camisa azul y que habla con un suave acento estadounidense. El chico parece un improbable partidario del líder de la junta del estado de Burkina Faso, en África occidental.
“Debemos apoyar al presidente Ibrahim Traoré… ¡Patria o muerte, venceremos!”, afirma en un vídeo que empezó a circular a principios de 2023 en Telegram. Apenas unos meses después de que el dictador llegara al poder mediante un golpe militar.
Casi al mismo tiempo, aparecieron otros videos presentados por personas diferentes, con una apariencia profesional similar y repitiendo exactamente el mismo guión frente a la bandera de Burkina Faso. Unos días después, en una cuenta verificada en X, el mismo joven, con la misma camisa azul, afirmó ser Archie, el director ejecutivo de una nueva plataforma de criptomonedas.
Estos videos son falsos y fueron generados con IA desarrollada por la empresa Synthesia. “Estoy en shock, no tengo palabras en este momento. Llevo más de 20 años en la industria (creativa) y nunca me he sentido tan violado y vulnerable”, afirmó Mark Torres. Un director creativo radicado en Londres, que aparece con la camiseta azul en los videos falsos.
De Burkina Faso a Venezuela
“No quiero que nadie me vea así. El simple hecho de que mi imagen esté ahí podría decir cualquier cosa: promover un gobierno militar en un país que no sabía que existía. La gente pensaría que estoy involucrado en el golpe”, añadió Torres después de que The Guardian le mostrara el video por primera vez.
Casi al mismo tiempo que los videos de Burkina Faso empezaron a circular en línea, aparecieron en YouTube y Facebook dos videos pro-Venezuela que incluían segmentos de noticias falsas presentados por avatares de Synthesia.
En uno de ellos, un presentador rubio con camisa blanca condenaba las “afirmaciones de los medios occidentales” sobre inestabilidad económica y pobreza en ese país. Y presentaba en cambio un retrato sumamente engañoso de su situación financiera.
Dan Dewhirst, un actor residente en Londres y modelo de Synthesia, cuya imagen se utilizó en el video, comentó lo que le sucedió.
“Innumerables personas se comunicaron conmigo para hablar sobre esto… Pero probablemente hubo otras personas que lo vieron y no dijeron nada, o me juzgaron en silencio por ello. Puede que haya perdido clientes. Pero no soy yo, es solo mi cara. Pero pensarán que he aceptado hacerlo”. Y añadió que “estaba furioso. Fue muy perjudicial para mi salud mental. (Me causó) mucha ansiedad”.
También la experiencia de enterarse de que su imagen había sido utilizada en un video de propaganda le ha dejado a Torres un profundo sentimiento de traición. “Saber que esta empresa a la que le confié mi imagen se saldrá con la suya me enoja muchísimo. Esto podría costar vidas, costarme la vida al cruzar una frontera para inmigración”.
Fábrica de videos deepfake
Cuenta Torres que fue invitado a otra sesión de fotos con Synthesia este año, pero declinó la invitación. Su contrato termina en unos meses, cuando su avatar de Synthesia será eliminado. Pero lo que sucederá con su avatar en el video de Burkina Faso no está claro ni siquiera para él. «Ahora me doy cuenta de por qué es tan peligroso ponerles caras a los demás. Es una pena que hayamos sido parte de esto», dijo.
Desde entonces, YouTube ha eliminado el vídeo de propaganda en el que aparecía Dewhirst, pero sigue disponible en Facebook.
El MIT Technology Review realizó una experiencia en las instalaciones de Synthesia.Melissa Heikkilä se sometió a que la empresa la utilizara para un video con IA y a sabiendas de que se trata de una “fábrica de videos falsos o deepfakes”, como escribió en su artículo.
Narró que “aunque me entusiasmó la idea de que Synthesia creara mi doble digital, también me pregunté si la distinción entre videos sintéticos y deepfakes carece fundamentalmente de sentido.
Los primeros se centran en la intención del creador y, sobre todo, en el consentimiento del sujeto, ¿existe realmente una forma segura de crear avatares de IA si el resultado final es el mismo? ¿Realmente queremos salir del valle inquietante si eso significa que ya no podemos captar la verdad?”.
Melissa no hurgó el uso que le dan a los videos reales que hacen. Se limitó a experimentar lo que es ser una modelo para esa plataforma.
Infringir las condiciones del servicio
“La política de Synthesia es no crear avatares de personas sin su consentimiento”, dijo Heikkilä. “Pero no ha sido inmune a los abusos. El año pasado, unos investigadores descubrieron información falsa a favor de China creada con avatares de Synthesia y empaquetada como noticias, lo que, según la empresa, infringía sus condiciones de servicio”.
Desde entonces, señaló, la empresa ha puesto en marcha sistemas más rigurosos de verificación y moderación de contenidos. Aplica una marca de agua con información sobre dónde y cómo se crearon los vídeos con avatares de IA.
Cualquier cosa sospechosa o ambigua, como contenidos sobre criptomonedas o salud sexual, se reenvía a los moderadores de contenidos humanos. Synthesia también lleva un registro de todos los vídeos que crea su sistema.
Synthesia ha trabajado con actores para entrenar a sus modelos desde 2020. Y sus dobles componen los 225 avatares de stock que están disponibles para que los clientes los animen con sus propios guiones.
Pero para entrenar a su última generación de avatares, Synthesia necesitaba más datos; ha pasado el último año trabajando con alrededor de 1.000 actores profesionales en Londres y Nueva York. (Synthesia afirma que no vende los datos que recopila, aunque sí cede parte de ellos con fines de investigación académica).
+ en Cambio16.com:
Conforme a los criterios de 
Saber más
