AI

Série de combat réel Codex| Zero Clip génère automatiquement une vidéo

Avant de faire une vidéo, le script, le doublage, le montage, les sous-titres, chaque étape devait être étudiée séparément, et le simple début était suffisant pour faire abandonner les gens. Maintenant, ces travaux peuvent être remis directement à [...]

Catalogue des articles

Avant de faire une vidéo, le script, le doublage, le montage, les sous-titres, chaque étape devait être étudiée séparément, et le simple début était suffisant pour faire abandonner les gens. Maintenant, ces travaux peuvent être remis directement au Codex.

Il vous suffit de lui donner un article, ou un thème clair, puis de lui donner les compétences vidéo correspondantes, et Codex peut continuer à terminer la diffusion orale, le son, la chronologie, les scènes, les sous-titres, les effets cinétiques et les films. Vous n'avez pas besoin d'apprendre à monter d'abord, ni de comprendre le code, il suffit de dire clairement la vidéo que vous voulez et vous pouvez commencer.

Cet article reprendra l'ensemble du processus à partir de zéro : faites d'abord une vidéo d'article qui ne sort pas, puis introduisez la méthode de montage de la diffusion en direct. La première fois que vous touchez la vidéo, vous pouvez également suivre votre propre première édition.

L'ensemble du processus peut être compris comme :

Article ou thème → Oral Transmission → Doublage → Timeline → Splitter → HyperFrames → Examiner en feuilles

Donnez les compétences vidéo à Codex.

Skill peut être interprété comme un fichier de travail pour le Codex. Il indique au Codex quels outils il faut appeler, dans quel ordre et quels problèmes vérifier en dernier lorsqu 'il s'agit de tâches de diffusion orale, de doublage, de séparation ou de montage.

Vous n'avez pas besoin d'étudier vous-même un tas de commandes lors de l'installation. Donnez directement le lien du dépôt GitHub correspondant à Codex et laissez-le lire la description du projet avant de terminer l'installation et la vérification de l'environnement.

Dans ce processus, HyperFrames a fourni plusieurs divisions différentes du travail :/faceless-explainer Responsable de l'articles ou des sujets dans une explication qui ne sort pas du miroir,/hyperframes-creative responsable du rythme et de la fractionnement de la diffusion orale,/media-use gérer les images, le son et les sous-titres,/hyperframes-animation Responsable des changements d'image. Habituellement, il suffit de dire à Codex « faire cette vidéo avec / hyperframes » et il peut continuer à sélectionner la partie souhaitée.

Si vous avez besoin d'un style visuel supplémentaire, vous pouvez également ajouter d'autres compétences. Par exemple, si vous voulez faire des vidéos de connaissances en collage, vous pouvez vous référer Compétences communautaires HyperFrames dans vox-explainerPour faire de l'écriture à la main ou le dessin apparaît des effets, vous pouvez utiliser p5-paint-animationSi vous voulez faire une présentation de produit, une démonstration d'interface et un film publicitaire, vous pouvez vous référer à Vidéo-Shotcraft。

Ce sont des extensions et la première vidéo n'a pas besoin d'être installée.

Créer un nouveau dossier, par exemple : codex-videoOuvrez-le dans le Codex. Mettez l'article, les images et l'audio généré par la suite, puis donnez l'entrepôt d'HyperFrames à Codex pour qu 'il termine les préparatifs. Ensuite, vous avez juste besoin de confirmer les résultats étape par étape.

Étape 1 : Transformer un article ou un sujet en un texte oral

La diffusion orale est le squelette de l'ensemble de la vidéo. Peu importe la beauté de l'image, si vous ne saisissez pas les gens au début, il est difficile de lire le contenu à l'arrière.

Si vous n'avez qu ' un seul sujet, vous pouvez simplement laisser le Codex l'écrire. Par exemple :

我要做一条 60 秒竖版视频,主题是“第一次用 Codex 做视频”。

观众只会使用 Codex,没有写过口播稿,也没有剪过视频。
开头先告诉他最终能做出什么,再讲清楚:生成口播、选择声音、用 HyperFrames 做画面、检查成片。
每句话尽量能直接念出来,不写书面化小标题,不堆概念。
结尾让他先用一个主题跑通第一条视频。

现在只交付口播稿,暂时不要做分镜和视频。

Plus le sujet est spécifique, plus l'oral est facile à écrire. Plutôt que de « faire des vidéos d'IA », il est préférable de se limiter à « faire une évaluation d'un outil en une illustration verticale de 60 secondes », afin que le Codex sache ce qu ' il faut laisser.

Si vous avez déjà un article, enregistrez l'article sous article.mdLe codex est ensuite modifié pour être digne d'expression :

请读取 article.md,把它改成一条 90 秒口播稿。

保留文章的核心判断和最有用的案例,不要逐段缩写全文。
开头先说读者能得到什么,中间只保留三步方法,每一步都用能听懂的句子讲。
文章里的链接、脚注和排版符号不要读出来。
请把最后需要我核对的事实单独列出来。

先只生成 narration.md。

S'il y a des cavités de traduction évidentes, des lignes mécaniques ou des phrases trop écrites, vous pouvez Humanizer-zh Laissez-le au Codex, afin qu ' il puisse être ajusté sans modifier les faits et le jugement personnel.

Mais il vaut mieux le lire vous-même après avoir changé. Beaucoup de mots semblent sans problème, mais quand ils sont réellement prononcés, la bouche vous dira ce qui n'est pas naturel.

Si vous n'avez que du matériel et que vous n'avez pas encore pensé à la diffusion orale et à l'image, vous pouvez également directement partir de HyperFrames /faceless-explainer Commencez par organiser la direction, la narration et la perspective en fonction du sujet, de l'article ou des notes.

Quel que soit le mode choisi, il est préférable de suivre une structure simple :

Hook → Problèmes → Méthodes → Next

Par exemple, le début de ce tutoriel peut être dit directement :

« Je ne sais pas quoi faire avec le codex. Vous pouvez d'abord faire une vidéo avec elle. Donnez-lui un article et il peut continuer à gérer l'oral, le son, les sous-titres et les images. Aujourd ' hui, je vais commencer par le processus le plus court. »

Étape 2 : Déterminer le son final

Après la finalisation de la diffusion orale, décidez de qui lire.

Pour la première fois, faire des vidéos, un TTS ordinaire suffit. Vous pouvez utiliser la fonctionnalité texte-voix existante, ou vous pouvez utiliser la fonctionnalité open source Edge-tts Laissez Codex terminer l'installation, sélectionner le son chinois et générer l'audio et les sous-titres.

Il est recommandé de générer une dizaine de secondes d'audio de test, de confirmer la voix, la vitesse de la parole et la pause, et de reproduire le texte intégral. L'avantage du TTS ordinaire est rapide, particulièrement adapté pour vérifier le contenu et le flux d'image en premier.

Si vous souhaitez utiliser votre propre voix à long terme, vous pouvez envisager Cosyvoice。il peut générer une nouvelle diffusion orale avec des caractéristiques de haut-parleur similaires à partir d'un enregistrement de référence.

Trois documents doivent être préparés ici :

  • reference.wav: moi-même ou un enregistrement de référence autorisé ;
  • reference.txt: référer le texte complet réellement prononcé par l'enregistrement ;
  • narration.md: Nouvelle diffusion orale de cette vidéo.

Le texte de référence doit correspondre exactement à l'enregistrement. L'enregistrement essaye également de rester silencieux, clair et naturel, la musique de fond, l'écho et la réduction du bruit très lourde peuvent affecter les effets.

Lors de l'installation de CosyVoice, remettez directement le dépôt officiel à Codex :

请帮我安装 CosyVoice:
https://github.com/QwenAudio/CosyVoice

请先阅读官方 README,再检查当前电脑环境并完成安装。
安装好后只生成一条短测试音频,不要直接生成整篇口播。

Une fois l'installation terminée, écoutez l'audio du test. Lors de la génération formelle, ne remplissez pas tout l'article à la fois, mais divisez-le en plusieurs paragraphes selon la sémantique. Chaque paragraphe écoute d'abord, confirme la lecture des noms propres, de l'anglais et des chiffres, puis synthétisez l'audio final.

Si vous n'avez pas besoin de reproduire le son pour le moment, vous pouvez sauter CosyVoice directement. Les HyperFrames à l'arrière n'ont besoin que de l'audio final, peu importe de quelle sorte de TTS provient le son.

Étape 3 : Laissez l'image suivre le son final

Il devrait déjà y avoir deux documents fondamentaux :narration.md et final.wav。

A partir de ce moment,final.wav est la vraie règle de temps pour la vidéo.。

Tout d'abord, la chronologie est établie en fonction de l'audio final et les sous-titres sont générés à nouveau. La version orale détermine ce que les sous-titres sont écrits, et la transcription audio détermine quand les sous-titres apparaissent.

Ne partagez pas votre temps en fonction du nombre de mots. C'est également dix mots, certains peuvent être terminés en une demi-seconde, certains peuvent s'arrêter deux fois au milieu, de sorte que les sous-titres, les mots-clés et les prises de vue devraient suivre la voix réelle.

On peut dire directement au Codex :

请以 final.wav 为准建立时间轴。
用 narration.md 核对字幕文字,用音频转写结果取得每句话的真实开始和结束时间。
输出 captions.srt 和 timing.json。
如果口播稿与实际声音不一致,请列出差异,不要自行猜测。

L'avantage de cela est que même si l'image est modifiée par la suite, il n'y a pas de retravail répété pour réévaluer le temps.

Étape 4 : Créer des scènes à partir de la diffusion orale

Le spectroscope n'a pas besoin d'apprendre beaucoup de termes techniques. Coupez la diffusion orale en 4 à 8 paragraphes, chaque paragraphe répond à une seule question :

Quand le public entend cette phrase, qu ' est-ce que l'image devrait voir le plus ?

Les captures d'écran, les photos, les graphiques ou les cartes de personnage qui existent déjà dans l'article sont prioritaires. Laissez le public voir l'ensemble, puis agrandir la partie qui est dite. Là où il n'y a pas de matériel, il peut être complété avec des mots clés, des cartes d'étape, des contrastes, des chronologies et des infographies simples.

Demandez à Codex de générer des fractions en fonction de la diffusion orale et de la chronologie :

请根据 narration.md、timing.json 和 assets 文件夹制作分镜表。

每个镜头写清楚:
对应口播、开始时间、结束时间、主要画面、需要的素材、字幕位置。

原文已有图片必须安排实际展示;
缺少素材的地方先标记,不要用无关图片填满。

Si vous ne savez pas comment faire les effets dynamiques, vous pouvez vous référer HyperFrames lancé dans le projet complet, ou en utilisant Vidéo-Shotcraft La recette de lentille dans.

La première vidéo ne cherche pas à avoir une animation compliquée à chaque seconde.Tout d'abord, expliquez clairement l'information, puis améliorez le rythme avec un ou deux mouvements simples.

Étape 5 : Laissez HyperFrames faire la première version

L'oral, le son final, le temps des sous-titres et le scénario sont maintenant disponibles et peuvent être officiellement remis à HyperFrames :

使用 /hyperframes,把当前项目做成一条 9:16 竖版讲解视频。

请读取 narration.md、final.wav、captions.srt、timing.json、storyboard.md 和 assets 文件夹。

画面跟随真实音频时间,字幕不要挡住主要内容。
优先使用 assets 里的原图和角色卡,缺少素材的镜头用简洁的信息图。

先完成前 15 秒样片并打开预览,我确认方向后再继续全片。

Il est recommandé de le faire d'abord. 15 secondes de slideN'affichez pas la vidéo entière.

Regardez ces 15 secondes et concentrez-vous sur trois questions : si le début est assez rapide, si les sous-titres sont clairs et si l'image explique vraiment la diffusion orale.

Si l'orientation est correcte, continuez à générer le film complet.

Après la modification, ne dites pas seulement "un peu plus avancé" "un peu beau". Il est préférable d'indiquer à Codex l'emplacement spécifique, par exemple :

« Le titre de la 6e seconde est trop petit. »

"Cette capture d'écran reste pendant au moins trois secondes."

"Les sous-titres bloquent les personnages."

« Le premier coup est trop lent. »

Cette rétroaction sera plus facile à mettre en œuvre que les exigences esthétiques abstraites.

Après la confirmation finale, laissez le rendu du Codex :

把当前确认的版本渲染成 final.mp4。
完成后检查文件能否正常播放,并检查声音、字幕和画面是否完整。

La page de prévisualisation peut s'ouvrir, indiquant uniquement que le projet peut être exécuté. Le critère pour ce qui est vraiment accompli est : final.mp4 Il a été généré et vous l'avez lu du début à la fin pour confirmer que le son n'est pas tronqué, que les sous-titres ne sont pas mal placés et que les images ne sont pas couplées par erreur.

Qu ' est-ce que Hyperframe et Remote ?

Les deux peuvent transformer le texte, le son, les images et la ligne de temps en vidéo, mais fonctionnent différemment.

hyperframe C'est plus comme réorganiser l'image en fonction du contenu de ce numéro, adapté à la vidéo d'articles, à la vidéo de connaissances et au contenu explicatif rapidement.

Remote Il est plus approprié de faire un ensemble de modèles de colonne fixes, puis de remplir le contenu à un emplacement fixe à chaque épisode.

Si vous souhaitez prendre la route de la Remotion, vous pouvez Compétences d'agent de Remote Donnez-le à Codex, laissez-le terminer l'installation, puis utilisez /remotion-create Créer une vidéo,/remotion-studio Preview,/remotion-render Render.

Généré en amont narration.md、final.wavLes sous-titres, la chronologie et les images peuvent continuer à être utilisées sans avoir besoin de le faire à nouveau.

Ce que je recommande :La première est exécutée avec HyperFrames. Après avoir fait plusieurs épisodes consécutifs, si vous trouvez que la structure de l'objectif est stable, laissez le Codex l'organiser dans la colonne fixe de Remotion.

Si vous avez pris une diffusion en direct, ajoutez la vidéo-utilisation

Le processus précédent peut être complètement évité. Et quand vous commencez à filmer des émissions en direct, vous pouvez narration.md Mettez-le à côté de l'appareil photo et tirez par segment. Arrêtez-vous si vous dites mal, répétez à partir de cette phrase, sans avoir besoin de recommencer à chaque fois.

Vidéo-utilisation Il est plus approprié pour traiter le matériel d'action réelle qui a été filmé. Il peut d'abord transcrire la vidéo, découvrir ce qui est dit à chaque segment, puis rassembler les sections qui se répètent, s'arrêtent, se disent mal et recommencent avant de passer au clip.

Installez le codex pour lire directement le dépôt :

请帮我安装 https://github.com/browser-use/video-use。

先阅读 install.md,完成依赖、FFmpeg 和 Codex Skill 注册。
安装后先不要转写任何视频,等我把素材放进文件夹。

Une fois le tournage terminé, placez la vidéo originale dans un dossier de matériel séparé :

请使用 video-use 处理这个文件夹里的真人口播。

先盘点素材并转写,找出重复、停顿、说错和重新开始的位置。
先给我一份剪辑方案,列出准备保留和删除的片段;我确认后再剪。

定稿后添加中文字幕,并在讲到步骤时使用 assets 里的对应图片补充画面。
最后输出预览版,检查无误后再输出 final.mp4。

Ainsi, le processus de diffusion en direct est :

Transmission orale → prise de vue en direct → utilisation vidéo pour trier des segments efficaces → sous-titres et images supplémentaires → film

HyperFrames et vidéo-utilisation peuvent également être combinés : vidéo-utilisation est responsable de la diffusion réelle, et HyperFrames est responsable des titres, des cartes d'étape, des captures d'écran, des scènes d'information, etc.

Et enfin, transformer une vidéo en un système de contenu

Ce qui est vraiment précieux, ce n'est pas de faire une vidéo avec Codex, mais de faire en sorte que le même processus puisse être produit de manière continue.

Par exemple, vous pouvez fixer un sujet : démonter un outil d'IA par semaine, résoudre un problème de bureau à la fois ou expliquer un cas de l'industrie à chaque édition. Plus l'objet de contenu est clair, plus il est facile de former une structure fixe à la suite.

Tout le cycle est en fait très simple :

Question de l'utilisateur cible → Sélectionnez un sujet spécifique → Écrire un oral → Faire une vidéo → Voir les commentaires et les commentaires → Décider de la prochaine

Le crochet de l'invité devrait également tomber sur les résultats spécifiques.

« J'ai fait une vidéo avec l'IA » ne prouve que que vous pouvez utiliser les outils.

« J'ai transformé un test d'outil de 3000 mots en un tutoriel de débutant de 60 secondes » pour arrêter quelqu ' un qui en a vraiment besoin.

Ne vous précipitez donc pas pour mettre en place un système d'automatisation complexe dans la première phase. Choisissez un sujet sur lequel vous pouvez parler 10 fois de suite et utilisez le codex pour passer à travers le premier :

Finalisation de la diffusion orale → Génération sonore → Alignement de la ligne de temps → Splitter → HyperFrames Sortie → Vérifier le film

Le deuxième a commencé à réutiliser la structure du fichier, et le troisième a commencé à garder l'en-tête fixe, le style de sous-titres et la structure de l'objectif.

C'est ainsi que Codex est passé de « faire une vidéo pour vous » à un flux de travail qui vous aide à produire du contenu en permanence.