Noticias

Club mi avatar digital

EMO: una nueva revolución en vídeos generados con IA

Resumen

EMO representa un avance significativo en la tecnología de animación digital, con el potencial de transformar no solo el entretenimiento, sino también la educación y la comunicación

En el ámbito de la revolución digital, las innovaciones tecnológicas están constantemente redefiniendo los métodos de enseñanza y aprendizaje. Una de las novedades más fascinantes en este campo es EMO, un sistema que promete transformar la manera en que interactuamos con los retratos digitales, dotándolos de una vida propia mediante el audio. Esta herramienta no solo abre nuevas avenidas en la educación y el entretenimiento, sino que también establece un puente emocional más profundo entre el arte digital y su audiencia. Está siendo desarrollada por el Institute for Intelligent Computing, Alibaba Group.

Personaje: Audrey Kathleen Hepburn-Ruston
Recurso vocal: Ed Sheeran – Perfect. Covered by Samantha Harvey

¿Cómo funciona EMO?

EMO se destaca por su capacidad de generar videos de retratos expresivos, impulsados por audio. Este proceso se lleva a cabo en dos etapas clave:

  1. Codificación: En este primer paso, EMO extrae características tanto de la imagen de referencia como del audio proporcionado, utilizando redes separadas para cada tarea.
  2. Proceso de Difusión: Aquí es donde ocurre la magia. Las características extraídas se utilizan para eliminar gradualmente el ruido de una serie de imágenes, construyendo así el video final, cuadro por cuadro. Los detalles faciales se controlan mediante la combinación de una máscara y ruido multiframe, mientras que una red potente con mecanismos de atención especiales asegura que la identidad del personaje se preserve y que sus movimientos coincidan precisamente con el audio.

Las superpotencias de EMO

EMO está equipado con una serie de características impresionantes que amplían sus posibilidades de uso:

  • Canto o Habla: La herramienta puede dar vida a retratos utilizando audio cantado o hablado.
  • Videos Largos: Los personajes mantienen su identidad a lo largo de videos extendidos, sin perder la coherencia.
  • Estilos Diversos: EMO es capaz de manejar canciones en varios idiomas y animar retratos de todo tipo, desde pinturas hasta personajes generados por IA.
  • Ritmos Rápidos: La tecnología se adapta incluso a letras rápidas, con animaciones de personajes dinámicos que siguen el ritmo.
  • Rendimiento Cross-Actor: EMO permite imaginar a personajes de películas entregando líneas en diferentes voces, abriendo puertas a una narrativa creativa.
Personaje: AI Lady from SORA
Recurso vocal: Where We Go From Here with OpenAI’s Mira Murati

Más allá del entretenimiento

Aunque actualmente EMO se utiliza principalmente para investigación y demostración, su potencial es vasto en varias aplicaciones. Desde la educación hasta el cine, pasando por la publicidad y más allá, las posibilidades son tan ilimitadas como nuestra imaginación. En el contexto educativo, EMO podría revolucionar la manera en que los estudiantes interactúan con el material de aprendizaje, ofreciendo experiencias inmersivas que enriquecen la comprensión y retención del conocimiento.

Artículos relacionados