LIA dAlibaba transforme les photos fixes en paroles et en chants

EMO (Emotive Portrait Alive) est une nouvelle IA générative étudiée par l'Institut d'informatique intelligente (IIC) d'Alibaba avec la capacité de transformer « par magie » n'importe quelle image en paroles et en chants réalistes.

En d’autres termes, l’IA d’Alibaba peut transformer une image de référence statique et un son vocal en une vidéo capable de parler et de chanter avec des expressions naturelles.

Les IA précédentes ne transformaient que la bouche et une partie du visage, tandis qu'EMO peut créer des expressions faciales, des expressions buccales naturelles, une synchronisation précise des lèvres, déplacer les sourcils, froncer les sourcils ou même se balancer au rythme de la musique.

Alibaba a publié quelques vidéos montrant comment les images se transforment en vidéos et chantent des chansons importées à la volée. EMO prend en charge l'anglais, le chinois et de nombreuses autres langues.

Alibaba a révélé que pour qu'EMO puisse créer des expressions faciales réalistes, il a été formé avec une grande quantité de données d'image, d'audio et de vidéo via son propre modèle de diffusion appelé Audio2Video.

Pour relever le défi majeur actuel du réalisme et de l'expressivité dans la génération de vidéos à partir d'images et de sons, l'équipe de recherche s'est concentrée sur la relation et les nuances entre les signaux audio et les mouvements du visage, en contournant le lien intermédiaire du modèle 3D ou les repères du visage, en effectuant une transition transparente entre les images et en préservant la cohérence de la vidéo.

Alibaba n'a pas révélé quand il publierait cette IA au public, mais a publié les données d'EMO sur Github et des articles de recherche publiés sur ArXiv.

Laisser un commentaire

Comment jeter une batterie au lithium à Angers ? Les points de collecte et les précautions

Comment jeter une batterie au lithium à Angers ? Les points de collecte et les précautions

À Angers, découvrez où déposer une batterie au lithium, comment la sécuriser et quoi faire si elle est gonflée, endommagée ou chaude.

Comment jeter une batterie au lithium à Aix-en-Provence ?

Comment jeter une batterie au lithium à Aix-en-Provence ?

Découvrez où déposer une batterie au lithium à Aix-en-Provence et les précautions à prendre selon son état, sa taille et son appareil.

Comment jeter des néons à Nîmes ? Les bons points de collecte et les précautions à prendre

Comment jeter des néons à Nîmes ? Les bons points de collecte et les précautions à prendre

À Nîmes, les tubes fluorescents et LED ne vont pas à la poubelle. Découvrez où les déposer, comment les transporter et quoi faire s’ils se cassent.

Comment jeter un vélo à Perpignan ? Guide pratique du tri et du réemploi

Comment jeter un vélo à Perpignan ? Guide pratique du tri et du réemploi

Vélo usé à Perpignan : vérifiez le réemploi, le badge, l’adresse de la déchèterie et les précautions pour un vélo électrique.

Comment jeter un téléviseur à Reims ? Les solutions simples et les erreurs à éviter

Comment jeter un téléviseur à Reims ? Les solutions simples et les erreurs à éviter

À Reims, un téléviseur usagé est un DEEE : déchèterie, reprise en magasin ou enlèvement sur rendez-vous. Voici la marche à suivre sans erreur.

Prime d’activité et chômage : peut-on cumuler les deux ?

Prime d’activité et chômage : peut-on cumuler les deux ?

Prime d’activité et chômage peuvent parfois se cumuler. Découvrez dans quels cas, quelles ressources sont prises en compte et comment éviter les erreurs de déclaration.

Comment jeter un ordinateur à Aix-en-Provence ? Les solutions pratiques et sûres

Comment jeter un ordinateur à Aix-en-Provence ? Les solutions pratiques et sûres

À Aix-en-Provence, un ordinateur usagé est un DEEE : déchèterie, reprise en magasin, réemploi et effacement des données. Guide pratique 2026.

Comment jeter de l’huile de cuisson usagée à Nice ? Le guide pratique

Comment jeter de l’huile de cuisson usagée à Nice ? Le guide pratique

À Nice, où déposer l’huile de cuisson usagée ? Préparation, déchèteries, badge, horaires saisonniers et vérifications pour éviter les erreurs.

Déchèterie à Metz : horaires, accès et déchets acceptés

Déchèterie à Metz : horaires, accès et déchets acceptés

Déchèterie à Metz : horaires 2026, adresses, conditions d’accès, déchets acceptés ou refusés, limites de volume et conseils avant de partir.

Comment jeter une batterie externe à Annecy ?

Comment jeter une batterie externe à Annecy ?

Batterie externe intacte, gonflée ou fuyante : découvrez où la déposer à Annecy, comment la transporter et quelles erreurs éviter avec le lithium.