Si las herramientas de video de IA en el pasado se ocupaban de "generar un video ", lo que Jellyfish quiere resolver es" producir un drama corto ".
Recientemente, en un viaje por GitHub, encontré un proyecto de código abierto muy interesante:Jellyfish。
Dirección de GitHub:
Forget-C y Jellyfish
En solo unos meses, el proyecto ha cosechado miles de estrellas y se ha convertido en uno de los proyectos de código abierto más seguidos en el campo de la creación de videos de IA. Su mayor característica no es la capacidad de modelado, sinoRedefinir el proceso de producción de dramas cortos de AI。(T.co)
Hoy, vamos a hablar sobre exactamente lo que resuelve este proyecto y por qué merece la atención de todos los creadores de IA.
Hay muchas herramientas de video de IA, pero ¿por qué todavía no podemos hacer un buen drama corto?
Las herramientas de IA en el mercado ahora son muy abundantes.
- ChatGPT escribe el guión
- Fotografía de Midjourney y Flux
- Kling, Runway y Veo generan vídeos
- ElevenLabs doblado
- Clip de finalización
Parece que las herramientas están bien equipadas.
Pero cualquier persona que realmente haya hecho un drama corto de IA encontrará una realidad:
Las herramientas se vuelven más fuertes y los procesos se vuelven más desordenados.
Por ejemplo:
- Los personajes que se generan hoy cambiarán de cara mañana;
- El mismo personaje cambia tres tipos de ropa;
- una escena se genera repetidamente docenas de veces;
- Prompt copiar y pegar en todas partes;
- Imágenes, videos, materiales de personajes están dispersos en docenas de carpetas.
Lo que realmente limita el desarrollo de dramas cortos de IA nunca es el modelo.
sino queProceso de fabricación。
Jellyfish es un conjunto completo de flujos de trabajo diseñados en torno a este problema.
Jellyfish no es una herramienta de video de AI
La definición oficial de esto es muy clara:
Un espacio de trabajo de producción de extremo a extremo para dramas cortos generados por IA
La traducción es:
Un banco de trabajo de producción integral para la creación de dramas cortos de IA.
Muchas personas ven el proyecto por primera vez y piensan erróneamente que es otro:
Introducir un prompt → Video de salida
En realidad, no lo es en absoluto.
Es más como:
Una combinación de Notion + Jira + Midjourney + Runway.
Se centra en todo el enlace de producción, no en una sola generación.
Desmontó la producción de dramas cortos en una línea de montaje completa.
Jellyfish estandariza todo el proceso de creación.
Todo el proceso es aproximadamente el siguiente:
剧本
↓
AI 理解剧本
↓
自动拆分分镜
↓
识别人物
识别场景
识别道具
识别服装
↓
建立统一资产
↓
确认每个镜头
↓
AI 图片生成
↓
AI 视频生成
↓
统一管理任务
↓
导出成片
El proceso se resume oficialmente como:
Script → Storyboard → Asset → Generation → Export.
Ya no es una "herramienta ", sino una línea de producción.
Lo más destacado: Gestión de consistencia de roles
Si has hecho un video de IA, debes saber el mayor punto de dolor:
Consistencia de roles.
Por ejemplo:
El primer episodio de la directora así.
En el segundo episodio, cambió de cara.
El tercer episodio cambia de edad.
En el cuarto episodio, el pelo cambió.
El quinto episodio también cambió de ropa.
Al final, el público no lo reconoce.
Jellyfish ha diseñado específicamente un sistema de gestión de activos.
Gestionará todos los elementos de manera unificada:
- personajes
- Escena
- Propósito
- Vestido
- actores
Cada disparo hace referencia a estos activos en lugar de regenerarlos.
De esta manera se evita:
Cada toma "recrea el mundo ".
sino que:
Continuar creando en el mismo mundo. (T.co)
La IA entiende automáticamente el guión
Esto también es muy interesante.
Flujo de trabajo tradicional:
El guionista escribe el guión.
El director dividió las tomas por sí mismo.
Ahora se convierte:
Introduzca el guión.
Análisis automático de AI:
- personajes
- Escena
- Diálogo
- Propósito
- Emoción
- Lens
Incluso puede hacer:
- Optimización del guión
- Contenido simplificado
- Inspección de consistencia
y finalmente se genera un espejo estructurado.
Es decir,
La IA no solo genera contenido.
Comenzó a trabajar como director.
Cada disparo tiene su propio ciclo de vida.
Muchas herramientas de video de IA solo:
Haga clic en Generar.
El fin.
Jellyfish ha diseñado la lente como una unidad de trabajo real.
Cada tiro experimentará:
待分析
↓
待确认
↓
素材准备
↓
Ready
↓
开始生成
↓
完成
Cada paso se puede modificar.
Cada paso se puede regenerar.
Cada paso se puede rastrear.
Esto en realidad es mover la idea del flujo de trabajo en los productos de Internet a la creación de IA. (T.co)
Programación unificada de todas las tareas de IA
Otro diseño que merece elogios:
No ha escrito las llamadas de AI.
En cambio, se diseñó un centro de misión unificado.
Independientemente de:
- El LLM
- Imagen generación
- Generación de vídeo
Todos en el sistema de tareas asíncronas.
Usted puede:
- Ver progreso
- Ver tiempo consumido
- Cancelar tareas
- Tarea de reintento
- Volver al elemento correspondiente
Esto significa que el acceso futuro a cualquier modelo:
- Flujo
- SDXL
- Kling
- Veo
- Runway
- ComfyUI
No afectará al proceso general.
Los modelos son sólo plugins.
El proceso es el núcleo
Más como un sistema operativo de creación de AI
Después de ver todo el proyecto, mi mayor sentimiento fue:
Jellyfish no está haciendo AI.
Se está haciendo:
AI crea un sistema operativo.
En los últimos años, la mayoría de los proyectos se han centrado en:
El modelo se hace más fuerte.
Prompt es cada vez más complejo.
Pero después de entrar realmente en la producción comercial, encontramos:
No es el modelo lo que determina la eficiencia.
sino el proceso.
Lo que realmente importa en el futuro es:
- Flujo de trabajo
- Gestión de datos
- Gestión de materiales
- Consistencia
- Colaborar automáticamente
El modelo es solo una capacidad subyacente.
¿Quiénes son adecuados para usar Jellyfish?
Los escenarios de uso típicos dados oficialmente incluyen:
- Creador de mini-drama
- Estudios de vídeo AI
- Creador de contenido independiente
- Equipo de producción de vídeo de educación y capacitación
- Equipo de Marketing de Marca y Contenido de E-commerce
Si su objetivo es producir contenido en masa, en lugar de generar uno o dos videos de vez en cuando, este tipo de herramientas de flujo de trabajo pueden ser más valiosas que un modelo de producción simple.
Escrita al final
Durante el último año hemos sido testigos de un rápido progreso en el modelo de video de IA.
En la próxima etapa, la competencia puede no ser sobre quién puede generar más rápido, sino sobre quién puede construir.Sistemas de producción más estables, eficientes y reutilizables。
Jellyfish es un representante de este pensamiento:
En lugar de ser el "modelo más fuerte ", se convierte en una plataforma unificada que conecta guiones, espectros, activos, generación, tareas y exportaciones, elevando la creación de video de IA de" generación a generación " a "producción sostenible ". (T.co)
Si está prestando atención a dramas cortos de IA, videos de IA o la industrialización de contenido, este proyecto merece un estudio más profundo.
Dirección del proyecto: