Retour avec notre youtuber DoodleChaos dans sa poursuite et son exploration cinétique où là dans cette vidéo, il utilise l'intelligence artificielle (IA) pour générer un clip vidéo animé pour la chanson Canvas de Resonate...
Il a cherché un moyen d'utiliser une génération d'image similaire pour la synchronisation de la musique. Étant donné que DALL·E2 n'est pas encore accessible au public, sa recherche l'a conduit à VQGAN + CLIP (Vector Quantized Generative Adversarial Network and Contrastive Language–Image Pre-training), avant de se fixer plus précisément sur Disco Diffusion V5.2 Turbo.
Avec cet outil cela lui a permis de générer de belles images en utilisant uniquement du texte comme entrée, ajoutant des images clés pour le mouvement de la caméra. Des images clés ont été synchronisées manuellement au rythme et il a également spécifié des changements dans le style artistique à différents moments de la chanson. C'est vrai que pour les néophytes vous avez déja disjoncté, mais cette technologie IA est vraiment impressionnante.
Mes sources... Music: Rezonate-Canvas
Pour ceux qui ne connaissait pas cette artiste atypique, je vous parlais déjà en 2018, où il nous avait déjà épaté avec cette étonnante synchronisation du jeu Line Rider et de la musique de Grieg. Ainsi qu'en 2020 avec Marbles, Magnet and Music où des dominos et une vraie bille et autres balles tournoyantes, rebondissantes, dévalant des pentes en accord avec la musique de Tchaïkovski.