Le B-roll (écran auxiliaire) dans les vidéos courtes est utilisé pour enrichir la hiérarchie visuelle et aider le public à comprendre l'émission orale. Cependant, le processus de production traditionnel est trivial et nécessite de multiples processus tels que la recherche de matériaux, l'arrangement de la composition, l'animation et le montage. Projets open source sur GitHub gbro-collage-broll Il fournit un chemin léger : saisissez un morceau de copie orale pendant environ 5 secondes, générez directement une animation de collage de papier en demi-teinte avec un style d'édition de magazine et laissez les liens fastidieux depuis la conception du concept jusqu'à la génération du mouvement de la caméra jusqu'à l'IA pour le traitement.
Visuellement, le projet se concentre sur un style éditorial rétro : utilisant des couleurs unies très saturées comme base, associées à des découpes de photos en demi-teintes noires et blanches et des éléments en carton coloré, ce qui se rapproche de la texture de collage à la main d'un magazine d'art. L'animation n'utilise pas le fondu d'entrée linéaire commun ou le push-and-pull lent, mais démarre à partir d'un écran vide. Chaque couche d'éléments de détourage glisse, se positionne et s'accroche dans la composition en séquence, avec une sensation de saut d'image comme une animation stop-motion. Cette forme est très adaptée aux scénarios de diffusion orale avec de nombreux concepts abstraits et un manque de scènes réelles (telles que l'interprétation technologique, l'analyse commerciale et les émissions orales basées sur les connaissances). Cela peut transformer le contenu qui ne peut s’appuyer que sur des sous-titres en métaphores visuelles concrètes.
Afin d'empêcher les idées aléatoires de l'IA de s'écarter du sens textuel, gbro-collage-broll a introduit un mécanisme « d'approbation à trois portes » pour bloquer l'esthétique artificielle aux nœuds clés :
- confirmation métaphorique: Le système affine d'abord le concept de base, les objets principaux, la couleur d'arrière-plan et la séquence d'assemblage de l'écran en fonction de la rédaction. A ce stade, seul le plan texte sera produit, et aucun quota de génération de graphiques et de vues ne sera consommé.
- Confirmation d'image fixe: Une fois le plan approuvé, le système génère un cadre fixe de collage et une liste de contacts multi-vues, et le créateur confirme la composition et la texture.
- Génération vidéo: Appelez les capacités de contrôle de la première et de la dernière image de Gemini Omni Flash pour restituer une animation d'assemblage de 5 secondes et effectuer automatiquement une vérification telle que la suppression de la première image, l'extraction des images seconde par seconde et l'alignement de la dernière image.
Ce mécanisme de publication segmenté laisse les ajustements créatifs au stade du texte et de l’image, avec des coûts d’essais et d’erreurs extrêmement faibles, et empêche les conceptions biaisées de se précipiter directement vers un rendu vidéo coûteux.
Le projet est présenté sous la forme d'Agent Skill et s'exécute dans un environnement AI Agent qui prend en charge le mécanisme de compétences. L'environnement d'exécution nécessite Python 3.10+, Gemini API Key, la bibliothèque google-genai et des outils audio et vidéo tels que ffmpeg/ffprobe ; la génération d'images fixes utilise l'outil image_gen de l'environnement Codex pour générer dynamiquement l'API Gemini. Le format de sortie est fixé aux spécifications standard de l'écran vertical du téléphone mobile : 9:16, durée de 5 secondes, résolution 720 × 1280, vidéo MP4 silencieuse à 24 ips, qui peut être directement glissée dans la piste d'édition en tant qu'image dans l'image ou coupeur de transition. Lors de l'installation, il vous suffit de cloner l'entrepôt dans le répertoire de compétences de l'agent, de saisir « collage b-roll » ou « paper collage b-roll » et d'ajouter du copywriting dans la boîte de dialogue pour évoquer le processus.
L'orientation centrale de ce flux de travail n'est pas d'être « entièrement automatique et sans intervention », mais de diviser les droits et les responsabilités des humains et des machines : les humains vérifieront si la métaphore est appropriée, si le thème correspond et si la composition est accrocheuse ; les travaux mécaniques tels que la découpe du matériau, l'alignement des couches et l'insertion du cadre à effet de mouvement sont laissés au modèle. Face à des récits abstraits complexes, un collage fait main qui s’adapte au contexte est souvent plus accrocheur qu’un ensemble de matériel vidéo générique sans lien narratif.
gbro-collage-broll évite le réalisme dur que l'on trouve souvent dans les outils vidéo d'IA actuels et utilise l'espace vide et la texture coupante de l'art du collage pour résoudre le manque de naturel des images générées. Pour les auteurs de vidéos courtes, cela permet non seulement de gagner beaucoup de temps dans la recherche de rouleaux B dans la bibliothèque de matériaux, mais également de garantir que chaque animation correspond précisément à leur intention orale.
Adresse du projet :https://github.com/pyang5166/gbro-collage-broll