Spotify anunció la herramienta “Traducido con IA” que ofrece el doblaje automático de algunos podcasts al español
Para realizar el proceso,Spotify se unió a OpenAI, creadores de ChatGPT.
En este caso utilizó otra de sus herramientas, Whisper, que transcribe de voz a texto pero también es capaz de completar traducciones.
Así es como cada podcast obtiene un texto en idioma original (por ejemplo, en inglés) y luego lo traduce a otro texto en el objetivo a traducir y doblar al español.
El último paso el texto en español se vuelve a convertir en voz gracias a la síntesis de un sistema de IA, pero es la de quien hablaba en el podcast.
Como resultado, el creador del podcast aparece hablando en español con su mismo timbre y tono de voz.
El resultado es realmente convincente, y parece que esos podcasts han sido grabados por alguien que de hecho habla en español.
En los ejemplos publicados por ahora se usa español de México, y durante el doblaje se traduce lo que dicen sus participantes, pero además se trata de ajustar el tono y forma de hablar de esos protagonistas en cada momento.
El proyecto está de momento en fase piloto y para dichos inicios han seleccionado algunos de los podcasts más populares de la plataforma en inglés: Dax Shepard, Monica Padman, Lex Fridman, Bill Simmons y Steven Bartlett disponen de episodios de sus podcasts en español, francés y alemán.
Estos episodios traducidos y doblados por una IA estarán disponibles en todo el mundo tanto para usuarios Premium como para usuarios de la versión gratuita de Spotify.
De momento están ofreciendo tres episodios concretos de tres de estos podcasters (Lex Fridman, Armchair Expert, Steven Barlett) y solo con su doblaje por IA al español, pero indican que se ofrecerán más episodios en español y los citados francés y alemán “en los próximos días y semanas”..
Cómo disfrutarlos. Los usuarios de Spotify podrán disfrutar de esta opción en la “Vista Sonando” (“Now Playing”) que suele estar seleccionada por defecto.
Allí aparecerá una opción para poder cambiar de idioma, y si estamos interesados en el futuro de esta opción, podemos dirigirnos al Centro de Traducciones de Voz, que irá mostrando los capítulos que se van traduciendo.
Los propios responsables de OpenAI hablaban de esta opción en su blog hoy e indicaban que estas capacidades “plantean nuevos riesgos, como el potencial de que actores maliciosos suplanten a figuras públicas o cometan fraudes”.
Hemos visto cómo este tipo de opción ha sido usado recientemente para publicar vídeos y memes virales de Torrente o el Fary hablando en inglés, y precisamente hay un importante debate sobre cómo el acceso a esta tecnología puede plantear un futuro lleno de peligrosos deepfakes de audio.
De momento, eso sí, esta es una aplicación realmente interesante de esta tecnología, y de hecho en YouTube ya comenzaron a hacer algo así en algunos canales muy conocidos esta primavera.
Información de Xakata
Lea el artículo completo aquí.
