Doblaje con IA que podrá reemplazar la voz de los actores en más de 20 idiomas

La ‘startup’ de ‘software’, que utiliza la IA generativa enfocada a cuestiones relacionadas con la voz, como la clonación de voz y la transición de texto a voz, persigue el objetivo de “eliminar las barreras lingüísticas del contenido”.

En este sentido, ElevenLabs ha lanzado una nueva herramienta para el doblaje de voces a otros idiomas, permitiendo a los usuarios traducir automáticamente cualquier discurso, manteniendo la voz del actor y conservando las características y matices de la grabación original.

Según lo define la compañía en un comunicado en su blog, la herramienta, a la que se refiere como ‘AI Dubbing’, es capaz de crear una nueva forma “eficaz y de alta calidad” de doblar contenidos de audio y vídeo. De hecho, está diseñada para facilitar la accesibilidad a contenidos en medios de ‘streaming’, juegos y películas.

Lea más: Google "lleva a la IA a las manos de los usuarios" con sus nuevos teléfonos Pixel 8

Como novedad, esta herramienta “va más allá de la traducción y los subtítulos tradicionales” ya que, una de sus principales características es que es capaz de preservar la identidad del hablante, así como los patrones del habla de la persona original al traducirse. Es decir, mantiene el énfasis, los sentimientos o las muecas del hablante.

Doblaje con IA en más de veinte idiomas

Igualmente, la compañía ha detallado que la voz del mismo actor se podrá escuchar en más de veinte idiomas distintos, entre ellos portugués, español, japonés, ucraniano, polaco o árabe. En general, están disponibles todos los idiomas que la empresa admite actualmente en el modelo Eleven Multilingual v2.

Para desarrollar esta herramienta, ElevenLabs ha explicado que combinan su tecnología de síntesis de voz multilingüe y su tecnología de clonación de voz, así como de procesamiento de texto. Todo ello con el objetivo de hacer el contenido más accesible a una audiencia más amplia siempre “manteniendo la esencia de la entrega original”.

Tal y como ha manifestado el director ejecutivo de ElevenLabs, Mati Staniszewski, el lanzamiento de ‘AI Dubbing’ es el mayor paso de la compañía hacia la eliminación de las barreras lingüísticas de contenido. Por ello, “ayudarán al público a disfrutar de cualquier contenido que desee, independientemente del idioma que hable”.

Por otra parte, Staniszewski también ha subrayado el impulso que ofrece a los creadores de contenido, que podrán llegar a más audiencia en todo el mundo de forma sencilla.

Doblaje con IA elimina ruido de fondo

Además de todo ello, la herramienta de doblaje también incluye un sistema de desarrollo propio que permite detectar las voces de distintos hablantes, así como eliminar el ruido de fondo de un audio. Por ejemplo, es capaz de diferenciar la música o el ruido de otras conversaciones, de la voz del locutor principal.

Esto se traduce en que la nueva herramienta de doblaje puede manejar de forma efectiva cualquier audio o vídeo que contenga múltiples personajes, asegurando que el doblaje continúe mostrando las distintas voces con sus características propias.

Con ‘AI Dubbing’, ElevenLabs proporciona una forma de automatizar el proceso de doblaje garantizando resultados de “alta calidad”, tal y como ha desarrollado, además de permitir la creación de contenido multilingüe para creadores, educadores y empresas de medios.