Si les outils vidéo d'IA du passé s'attaquaient à « générer une vidéo », ce que Jellyfish veut résoudre, c'est « produire une pièce de théâtre ».
J'ai récemment visité GitHub et j'ai trouvé un projet open source très intéressant -Jellyfish。
Adresse de GitHub :
Forget-C et Jellyfish
En seulement quelques mois, le projet a récolté des milliers d'étoiles, devenant l'un des projets open source les plus suivis dans le domaine de la création vidéo d'IA. Sa plus grande caractéristique n'est pas la capacité de modéliser, maisRedéfinir le processus de production des pièces courtes d'IA。(T.co)
Aujourd ' hui, nous allons parler de ce que ce projet résout exactement et pourquoi il mérite l'attention de tous les créateurs d'IA.
Il y a beaucoup d'outils vidéo d'IA, mais pourquoi tout le monde ne peut-il toujours pas faire de courts drames ?
Les outils d'IA disponibles sur le marché sont déjà très abondants.
- ChatGPT écrire le script
- Production par Midjourney et Flux
- Kling, Runway, Veo génèrent une vidéo
- Doublé par ElevenLabs
- Clip de finition
On dirait que les outils sont déjà en place.
Mais ceux qui ont réellement fait des drames courtes d'IA découvrent une réalité :
Les outils deviennent de plus en plus forts et les processus deviennent de plus en plus chaotiques.
Par exemple :
- Les personnages générés aujourd 'hui changent de visage demain ;
- Le même personnage change de costume ;
- Une scène est générée à plusieurs reprises des dizaines de fois ;
- Prompt copier et coller partout ;
- Des photos, des vidéos, des matériaux de personnages sont dispersés dans des dizaines de dossiers.
Ce qui limite vraiment le développement des drames courts d'IA n'est jamais le modèle.
Mais plutôtProcessus de fabrication。
Jellyfish est un ensemble complet de flux de travail conçu autour de ce problème.
Jellyfish n'est pas un outil de production vidéo
La définition officielle de ce concept est très claire :
Un espace de travail de production de bout en bout pour les courts drames générés par l'IA
Traduit par :
Un banc de travail de production à guichet unique pour la création de pièces courtes d'IA.
Beaucoup de gens voient le projet pour la première fois et pensent à tort que c'est un autre :
Entrez une phrase Prompt → Sortie vidéo
En fait, pas du tout.
C'est plus comme :
Une combinaison de Notion + Jira + Midjourney + Runway.
Il se concentre sur l'ensemble du lien de production, pas sur une seule génération.
Il a démonté la production de courte pièce en un pipeline complet.
Jellyfish standardise l'ensemble du processus de création.
L'ensemble du processus est le suivant :
剧本
↓
AI 理解剧本
↓
自动拆分分镜
↓
识别人物
识别场景
识别道具
识别服装
↓
建立统一资产
↓
确认每个镜头
↓
AI 图片生成
↓
AI 视频生成
↓
统一管理任务
↓
导出成片
Le processus est officiellement résumé comme suit :
Script → Storyboard → Asset → Generation → Export.
Ce n'est plus un « outil », mais une chaîne de production.
Top Highlights : Gestion de la cohérence des rôles
Si vous avez fait des vidéos d'IA, vous devez connaître le plus gros point douloureux :
Cohérence de rôle.
Par exemple :
Le premier épisode de la directrice est ainsi.
L'épisode 2 a changé de visage.
L'âge de l'épisode 3 a changé.
La quatrième coupe de cheveux a changé.
Le cinquième épisode change aussi de vêtements.
Et finalement, le public ne le reconnaît pas.
Jellyfish a spécialement conçu un système de gestion des actifs.
Il gère tous les éléments de manière uniforme :
- personnage
- Scène
- Props
- Vêtements
- acteur
Chaque shot fait référence à ces actifs et ne les régénère pas.
Cela évitera :
Chaque film « recréera le monde ».
Mais plutôt :
Continuer à créer dans le même monde. (T.co)
Comprendre automatiquement le script
C'est aussi très intéressant.
Workflows traditionnels :
Le scénariste écrit le script.
Le réalisateur a divisé le plan lui-même.
Il devient maintenant :
Entrez le script.
Analyse automatique AI :
- personnage
- Scène
- Dialogue
- Props
- Émotion
- Lens
Vous pouvez même faire :
- Optimisation du script
- Contenu simplifié
- Check de cohérence
Un miroir fractionné structuré est finalement produit.
C'est - à - dire,
L'IA ne se limite pas à générer du contenu.
commence à travailler avec le directeur.
Chaque shot a son propre cycle de vie.
Beaucoup d'outils vidéo AI ne sont que :
Cliquez sur Generate.
C'est fini.
Jellyfish a conçu l'objectif comme une véritable unité de travail.
Chaque shot expérimente :
待分析
↓
待确认
↓
素材准备
↓
Ready
↓
开始生成
↓
完成
Chaque étape peut être modifiée.
Chaque étape peut être régénérée.
Chaque pas peut être suivi.
C'est en fait de déplacer l'idée de Workflow dans les produits Internet dans la création d'IA. (T.co)
Planification unifiée de toutes les tâches AI
Autre design à louer :
Il n'écrit pas l'appel de l'AI.
Au lieu de cela, un centre de mission unifié a été conçu.
Peu importe :
- Le LLM
- Image générée
- Génération vidéo
Tout dans le système de tâches asynchrones.
Vous pouvez :
- Voir les progrès
- Voir le temps
- Tâche annulée
- Tâche de retest
- Retour à l'élément correspondant
Cela signifie que l'accès futur à n'importe quel modèle :
- Flux
- Le SDXL
- Kling
- Veo
- Runway
- ComfyUI
Cela n'affecte pas le processus global.
Les modèles ne sont que des plugins.
Le processus est au cœur.
Plus comme un système d'exploitation de création d'IA
Après avoir vu tout le projet, mon plus grand sentiment est :
Jellyfish ne fait pas de l'IA.
Il est en train de faire :
AI crée un système d'exploitation.
Au cours des dernières années, la plupart des projets ont porté sur :
Le modèle devient de plus en plus fort.
Prompt est de plus en plus complexe.
Mais après être vraiment entré dans la production commerciale, nous avons découvert :
Ce n'est pas le modèle qui détermine l'efficacité.
mais le processus.
Ce qui compte vraiment pour l'avenir est :
- Workflow
- Gestion de données
- Matériaux de gestion
- cohérence
- Collaboration automatique
Les modèles ne sont que des capacités de base.
Qui peut utiliser Jellyfish ?
Les scénarios d'utilisation typiques donnés officiellement comprennent :
- Créateur de mini-drame AI
- Studio de vidéo AI
- Créateurs de contenu indépendants
- Équipe de production vidéo éducation et formation
- Équipe de marque et de contenu e-commerce
Si votre objectif est de produire du contenu en série, plutôt que de générer une ou deux vidéos de temps en temps, ce type d'outil de flux de travail peut être plus précieux que le simple modèle de génération.
écrit à la fin
Au cours de la dernière année, nous avons assisté à des progrès rapides dans le modèle vidéo AI.
Dans la prochaine étape, la compétition pourrait ne pas se concentrer sur qui génère le plus rapidement, mais sur qui peut construire.Système de production plus stable, plus efficace et plus réutilisable。
Jellyfish est le représentant de cette pensée :
Il ne cherche pas à devenir le « modèle le plus puissant », mais plutôt à devenir une plate-forme unifiée reliant les scripts, les répartitions, les actifs, la génération, les tâches et les exportations, passant de la « génération par génération » à la « production durable » de la création vidéo d'IA. (T.co)
Si vous suivez les drames d'IA, les vidéos d'IA ou l'industrialisation du contenu, ce projet mérite une étude approfondie.
Adresse du projet :