En el pasado, cuando hablamos de clips de video de AI, es fácil centrarse en "si puede cortar automáticamente": cargar un video, AI encuentra tonterías, elimina automáticamente y luego exporta una pieza.

Pero las personas que realmente han hecho un video oral,"Cortar " es más difícil que" cómo ".

¿Una oración es un error verbal, una repetición, una pausa normal o una repetición intencional con el fin de enfatizar?¿Debería borrar la primera mitad de una palabra en inglés o mantenerla?¿Debería modificar los subtítulos directamente o volver a juzgar si esta frase debe eliminarse?

Estas preguntas determinan si una herramienta de edición de AI es un "jugete automatizado " o una herramienta que realmente puede entrar en el proceso de producción.

chengfeng-videocut-skills El pensamiento es interesante:No deje que la IA tome las tijeras directamente, sino que deje que la IA sea responsable del juicio, deje que el tiempo de ejecución determinista sea responsable de la ejecución y deje que los usuarios revisen en los nodos clave.

Proyecto GitHub: chengfeng-videocut - skills

I. ¿Qué es realmente?

chengfeng-videocut-skills Es un plug-in de mercado de video clips orales chinos orientados a Codex.

No es un editor de video independiente, ni empaqueta FFmpeg para hacer un simple "script de auto-clip", sino que divide los clips de video en un conjunto de habilidades comerciales que pueden ser invocadas por el agente.

El proyecto se desarrolla actualmente en torno a varios vínculos centrales:

• Clip de la bocaIdentificar errores orales, repeticiones, oraciones incompletas, capas en inglés, mantras y otros contenidos, y formar un libro de borrado de palabras.
• SubtítuloGenerar y procesar subtítulos alrededor de los resultados del clip.
• ImagenProcesar el contenido visual y la animación en el vídeo.
• ExportarConvertir los resultados de la edición revisada en el video final.
• Notificación de bugOrganizar el problema en un GitHub Issue desensibilizado y confirmado.
• Verificar actualizacionesCompruebe que el plugin y el tiempo de ejecución están en un estado de versión compatible y confiable.

El punto más importante aquí es:

Habilidad no es igual a un motor de edición.

Skill es principalmente responsable del juicio semántico y la orquestación del proceso; el trabajo que realmente involucra el estado del proyecto, los cortes, EDL, el procesamiento de medios y la exportación se asigna a chengfeng-videocut Runtime.

Esta arquitectura en realidad se ajusta muy bien a la dirección en que se desarrollan los productos del agente:El LLM hace el juicio, el sistema determinista hace la ejecución.

---

¿Por qué no cortar directamente?

Este es uno de los diseños más notables de todo el proyecto.

Los agentes de IA tradicionales pueden cometer fácilmente un error:

"Sé que los usuarios querían eliminar esta frase, así que simplemente cambié el video ".

El problema es que el costo de los errores es alto una vez que el archivo de video se modifica físicamente.

Por lo tanto, el proyecto separa la "decisión semántica " de la" ejecución física ".

En esta habilidad, el resultado final no es un MP4, sino una copia:

Libro de borrado revisado manualmente (Cuts + EDL).

Es decir, la primera respuesta de AI fue:

¿Qué palabras se deben eliminar?

En lugar de:

Voy a cortar el video ahora.

Esto parece ser sólo una diferencia en el proceso, pero en realidad es un límite de ingeniería muy importante.

Porque un libro de borrado puede ser revisado, revisado y comparado repetidamente; mientras que un corte de medios completado puede significar cambios irreversibles en el documento.

El proyecto establece claramente:

"Corte de prensa " sin medios.

La IA solo hace juicios y registros en esta etapa, y la Habilidad de exportación posterior no entra en la etapa de ejecución real hasta que el usuario apruebe la auditoría.

Esto le da a todo el sistema una característica muy importante:

Puede ser auditado, revertido y revisado.

---

¿Qué ocurre con el "corte " de una vez?

El proyecto diseñó la transmisión de corte en una línea de ensamblaje muy clara.

Esto puede ser ampliamente entendido como

真实视频
   ↓
逐词转录
   ↓
建立项目
   ↓
修正专业词
   ↓
五轮扫描口误
   ↓
生成删词表
   ↓
人工审核
   ↓
形成最终 Cuts + EDL
   ↓
交给后续导出流程

Entre los que más vale la pena desplegar son los tres pasos intermedios:

Revisar palabras, borrar palabras y revisar.

---

La primera puerta: primero corregir la palabra "errónea "

Muchos sistemas de recorte automático tienen un problema potencial:

Tomó los resultados de la transcripción ASR directamente como un hecho.

Sin embargo, para la transmisión oral china, ASR a menudo tiene errores en el reconocimiento de términos profesionales, nombres de productos y palabras en inglés.

Por ejemplo:

用户真正说的是：

Grok

ASR 可能得到：

grock

Si la IA posterior hace un juicio directamente sobre la base del texto incorrecto, puede ocurrir un error en cadena.

Por lo tanto, el proyecto coloca la "reforma " antes de la" eliminación ".

Cuenta con un conjunto de diccionarios de términos de AI, mientras que admite el propio diccionario del usuario.

El proceso es más o menos:

原始 Transcript
      ↓
通用词典
      ↓
用户词典
      ↓
修字表
      ↓
进入删词分析

Y aquí hay un principio muy importante:

La modificación de caracteres solo puede cambiar la expresión de caracteres, pero no puede cambiar el tiempo, el número de palabras y el wordId.

Esto significa que:

错误词 → 正确词

Se puede modificar;

Sin embargo:

错误词 → 修改时间戳
错误词 → 修改词序
错误词 → 添加不存在的词

No debería ocurrir.

Esta restricción es crítica, ya que la edición de vídeo posterior depende de una línea de tiempo palabra por palabra. Si el texto está desconectado de la línea de tiempo, los resultados de los clips posteriores pueden distorsionarse.

---

La segunda puerta: cinco rondas de escaneo en lugar de "dejar que la IA busque tonterías de una vez"

Este es otro diseño que vale la pena aprender del proyecto.

Muchas personas están diseñando por primera vez un Agente de Clip de AI y pueden dar directamente a un modelo una tarea:

"Por favor, ayúdame a encontrar todos los errores, repeticiones y tonterías ".

Puede parecer natural, pero el problema es:

Dejar que el modelo juzgue demasiados tipos a la vez permitirá que los criterios de juicio se contaminen entre sí.

Este proyecto ha tomado un enfoque completamente diferente:

Cinco ruedas de escaneo

Primera Ronda:

Repetición

Segunda Ronda:

Frases y reformulaciones

Tercera ronda:

Reiterar el error

Cuarta ronda:

Inglés Clam Shell

La quinta ronda:

Mantras y palabras de tono

Es decir, cada ronda es responsable de un solo juicio.

Por ejemplo, la primera ronda solo pregunta:

¿Hay alguna repetición aquí?

sin preguntar al mismo tiempo:

¿Es esto un mantra?¿No es una frase?¿Deberíamos considerar una pausa?

Los beneficios de hacerlo son obvios.

Cada ronda se convierte en una pregunta más pequeña y definida.

---

¿Por qué la "repetencia " debe ser separada de la" mantra "?

Porque tienen un grado de objetividad muy diferente.

Por ejemplo:

"Esta función... esta función... es realmente muy útil".

Esta repetición es generalmente más fácil de juzgar.

Sin embargo:

"En realidad, creo que esto es algo bueno para mí".

¿De verdad hay que « eliminarlo » o « eliminarlo »?

La respuesta no es del todo objetiva.

Está relacionado con los hábitos de expresión personales del usuario.

A alguien le gusta una transmisión oral limpia y nítida:

Esta función funciona muy bien ".

Algunos también piensan que:

"En realidad, creo que esta función es muy útil".

Más cerca de hablar con la naturaleza.

El proyecto sePreferencias de usuarioen el sistema de juicio semántico.

Sus prioridades son, en general,:

用户偏好
   >
用户判例
   >
通用判例

Esto significa que en lugar de simplemente buscar el "lenguaje más corto", los clips de IA están aprendiendo poco a poco:

¿Qué tipo de transmisión oral prefiere este usuario?

---

De "decisiones de IA únicas " a" cuentas de borrado auditables "

El proyecto no ha permitido que la IA produzca una sola frase:

« Se recomienda eliminar 37 ».

Más bien, requiere una matriz estructurada de borrasas.

Por ejemplo:

#	Tiempo	Tipo	Eliminación	Leer el resto	Riesgo	Justificación
1	00:12	Repetición	¿Y esta función?	Esta función, en realidad	Bajo	El caso R2
2	02:31	Modificación	Por ejemplo, lo voy a seguir.	Por ejemplo, tengo a Grok siguiéndolo	Alto	El caso R5

Este asunto es muy importante.

Porque el juicio de AI de:

"Creo que hay que eliminarlo ".

Se convierte en:

"Creo que esto pertenece a un cierto tipo, bajo una cierta regla, y por lo tanto recomiendo eliminar esas palabras, el nivel de riesgo es alto ".

Este último tiene realmenteValor de auditoría。

Los usuarios no necesitan volver a ver todo el video para entender lo que está haciendo la IA, sino que pueden comprobar la lista de borrascas.

---

¿Por qué se necesita una "repetida lista de frases "?

Este es un diseño muy detallado, pero muy práctico.

La lista de borrado palabra por palabra solo le dice al usuario:

¿Qué palabras se han eliminado?

Pero si el usuario realmente graba una frase tres veces, el problema es diferente.

Por ejemplo:

第一遍：因为今天有什么……
第二遍：因为今天有什么……
第三遍：因为今天有什么……

Los problemas que realmente requieren una auditoría pueden ser:

¿Cuál es la reserva de tres veces?

Por lo tanto, el proyecto ha diseñado adicionalmente "Tabla de oraciones repetidas".

Por ejemplo:

Sentencias	Lo dije varias veces	¿Cuándo?	¿Cuántas veces borrar?	Riesgo
Porque lo que hay hoy...	3	Tercera vez	1 o y 2 veces	Bajo

Esto significa que el proyecto no simplemente entiende el clip como:

Elimina algunas palabras.

En cambio, el clip oral se entiende como:

Recrear un camino más natural de la expresión del lenguaje.

---

¿Cuándo intervienen los usuarios?

Un buen agente no es hacer que el usuario "no se importe nada ", ni hacer que el usuario" confirme cada paso ".

El proyecto realmente limita los puntos de intervención del usuario.

Los usuarios hablan principalmente en tres posiciones clave:

1. Selección de proyectos homogéneos

Si este video se ha cortado previamente, el usuario debe seleccionar:

¿Continuar con el último proyecto o empezar de nuevo?

2. Estudio de revisión

Después de que la IA completa la propuesta, los resultados se entregan a los usuarios para su verificación en Studio.

3. Confirmación completa

Después de la confirmación del usuario, el proceso de ejecución de seguimiento se inicia.

Esto es muy típico:

Intervención manual de baja frecuencia y alto valor.

El agente realiza una gran cantidad de procesos mecánicos por sí mismo, pero deja los nodos que realmente influyen en el resultado final a las personas.

---

El estudio no es la IA que "creó una página de revisión " por sí misma.

El proyecto también tiene un límite de seguridad que es fácil de ignorar:

Si el tiempo de ejecución no está instalado, el agente no se permite frotarse temporalmente con un producto alternativo de "revisor".

Esta regla es muy importante.

Porque desde el punto de vista del agente, es más fácil que ocurran tales comportamientos:

Runtime 不存在
      ↓
Agent 想办法
      ↓
自己写一个 HTML
      ↓
做一个假的审核界面
      ↓
继续完成任务

En la superficie, esto se llama "inteligencia".

En realidad, puede invalidar todo el contrato del producto.

Por lo tanto, el proyecto requiere explícitamente:

Cuando falta el tiempo de ejecución, debe detenerse en lugar de fabricar un producto alternativo incompatible por sí mismo.

Esto en realidad refleja un concepto de ingeniería de agentes muy maduro:

Los límites de capacidad de los agentes deben estar sujetos al contrato del producto.

No "siempre que se cumpla la tarea ".

---

Capa de tiempo de ejecución y habilidad

Toda la arquitectura se puede simplificar a:

             Codex
               │
       ┌───────┴────────┐
       │                │
     Skills          Plugin UI
       │
       ↓
业务判断 / 流程编排
       │
       ↓
chengfeng-videocut Runtime
       │
 ┌─────┼──────────────┐
 │     │              │
项目   Cuts / EDL     Studio
 │
 ↓
媒体处理 / Render / Verify

La idea central de esta estratificación es:

El LLM no debe ser el único administrador de estado en todo el sistema.

El estado del proyecto, la revisión, EDL, los archivos multimedia, el estado del servicio, etc., son administrados por el tiempo de ejecución.

El agente es responsable únicamente de:

理解用户
↓
调用能力
↓
读取结果
↓
做判断
↓
组织下一步

En lugar de mantener secretamente un conjunto de "estados falsos del proyecto ".

---

¿Por qué el proyecto hace especial hincapié en la Revisión y el CAS?

Si se observa con detenimiento el diseño del proyecto, se verá que se presta mucha atención a:

• projectId
• Fase de trabajo
• Revisión del proyecto
• Revisión de los recortes
• Revisión de EditList
• El caso

Estos conceptos muestran que los desarrolladores no solo están pensando en el "éxito de una sola ejecución ", sino también en:

¿Cómo evitar que el estado se sobrescriba por error cuando el agente opera repetidamente en un proyecto real?

Por ejemplo:

Agent A
读取 revision = 12

用户同时修改项目

revision = 13

Agent A
尝试基于 revision 12 写入

Si el sistema no tiene control de versiones, es probable que el agente A anule las nuevas modificaciones del usuario.

Por lo tanto, la revisión / CAS le permite al sistema saber:

"Lo que estás operando ahora no es la versión que acabas de ver ".

Esto es muy importante para los productos de Agente.

Debido a que el software GUI tradicional generalmente tiene estados claros y límites de operación del usuario, el agente es un sujeto automatizado asíncrono, reintentable y puede invocar repetidamente herramientas.

Sin el control de versiones de estado, es fácil para el agente escribir el estado antiguo de nuevo en el nuevo proyecto.

---

El diseño de la instalación también refleja la "prioridad de la certeza "

El proyecto no simplemente le dice a los usuarios:

npm install xxx

Y luego termina.

También impone estrictas restricciones sobre la instalación de Runtime.

Por ejemplo, una versión de tiempo de ejecución fija:

Plugin 0.10.8
        ↓
Runtime v0.4.8

En lugar de:

latest

¿Por qué?

Porque latest va a la deriva.

El Runtime instalado hoy y el Runtime instalado mañana pueden no ser la misma cosa.

Esto es muy peligroso para un Plugin de Agente que se basa en un contrato de producto estricto.

Por lo tanto, el proyecto enfatiza que:

Versión fija + Release + verificación SHA - 256 + verificación de doctor.

Se puede entender como:

发现 Runtime
   ↓
检查版本
   ↓
确认 Release
   ↓
下载
   ↓
SHA-256 校验
   ↓
安装
   ↓
doctor
   ↓
确认服务健康

Solo cuando todo el enlace se establece, la habilidad continúa trabajando.

---

14 ¿Por qué el servicio no puede ser arbitrario? nohup？

El proyecto también establece específicamente que los plugins no deben ser utilizados directamente:

launchctl
nohup
foreground server

para administrar secretamente el producto y el servicio.

El runtime es responsable del ciclo de vida del servicio.

Utilice el LaunchAgent a nivel de usuario en macOS y Windows Task en Windows.

Esto significa que:

El terminal actual de Codex no es el propietario del ciclo de vida del servicio de producto.

De lo contrario, es fácil aparecer:

终端关闭
   ↓
服务消失

Codex 重启
   ↓
又启动一个服务

第二个服务
   ↓
端口冲突

En última instancia, todo el flujo de trabajo del agente se vuelve muy volátil.

Por lo tanto, el proyecto adoptó:

Declarativo ensure-running.

El agente solo necesita decirle al producto:

Asegúrese de que el servicio esté disponible.

En cuanto a cómo se inicia el servicio, cómo residir y cómo restaurarlo, es administrado por el propio Runtime.

---

¿Qué significa el soporte de Windows? 15

Este proyecto no es un script solo para macOS.

El README establece claramente que Runtime admite oficialmente Windows desde v0.4.2 y realiza la verificación de enlaces para instalación, servicio residente, autocuración de fallas, autoinicio de reinicio, archivo y exportación.

El significado detrás de esto es:

Comenzó a evolucionar de "herramientas para desarrolladores " a" verdaderos productos de agentes multiplataforma ".

y en particular el procesamiento de video, que implica:

• El FFmpeg
• FFprobe
• Bun
• Node.js
• Chrome
• Documento local
• Servicio Background
• Rendering del navegador

Cualquier enlace que no se maneje adecuadamente en todas las plataformas eventualmente hace que el comportamiento del agente sea impredecible.

Por lo tanto, es una idea de producto más confiable incorporar estas dependencias en el directorio administrado del tiempo de ejecución en lugar de dejar que el plugin busque el entorno del sistema por todas partes.

---

16, el verdadero valor de este proyecto, no es "AI cortará video"

Si sólo se mira en la superficie, esto parece ser sólo uno:

"Automáticamente recorta el video chino "

de los proyectos.

Pero si lo ves desde una perspectiva de ingeniería, lo que realmente es valioso es en realidad otras tres palabras clave:

1. Separación del juicio y la ejecución

El:

决定删什么

Runtime:

决定怎么安全地执行

---

2. Recomendación de AI de separación de validación manual

El:

提出删词方案

Usuario:

确认删什么

El sistema:

执行最终版本

---

3. La separación del lenguaje natural del estado determinista

Agentes:

理解“帮我继续剪上一版”

Runtime:

projectId = xxx
revision = 17
cuts = ...
EDL = ...

Esta separación de tres capas, en realidad, es más digna de atención que "qué modelo se utiliza".

---

17, también representa una nueva forma de diseñar herramientas de IA

El software tradicional suele ser:

用户
 ↓
按钮
 ↓
程序
 ↓
结果

El software Agente está más cerca de:

用户自然语言
 ↓
Agent
 ↓
Skill
 ↓
工具/API
 ↓
确定性 Runtime
 ↓
结果

Las preguntas cambian con él.

Lo más importante del software tradicional es:

¿El UI está bien diseñado?

El problema más importante con el software agente se convierte en:

¿El agente sigue los límites de operación correctos?

Por ejemplo:

• ¿Puedes hacer uno sin un video real?
• ¿Puedes crear un reemplazo cuando no existe un tiempo de ejecución?
• ¿Puede una revisión antigua sobrescribirse a una nueva revisión?
• ¿Puedo cortar directamente cuando el usuario no lo confirma?
• ¿La actualización se cambió a una versión desconocida?
• ASR está equivocado, ¿puedes adivinar?
• ¿Cambiar de puerto para iniciar otro servicio después de un error?

Estos son los "fronteras de seguridad " de los productos del agente.

y chengfeng-videocut-skills Muchos diseños están respondiendo a estas preguntas.

---

¿Qué futuro se puede ver de este proyecto?

Si empujamos el "clip de video de IA" un paso más adelante, el producto verdaderamente maduro en el futuro puede no ser:

"AI te ayuda a cortar automáticamente el video ".

Y más probable es:

"La IA entiende tus hábitos de edición, propone un esquema de edición explicable, auditable y retroactivo que luego es ejecutado por un motor de edición determinista ".

Los usuarios ni siquiera tienen que decirle a la IA cada vez:

"Menos palabras ".

El sistema se puede formar gradualmente a partir de la confirmación histórica:

用户偏好
+
用户判例
+
通用规则

y finalmente formar un estilo de edición personalizado.

Por lo tanto, "AI Clip" se convirtió en una función de automatización única:

Un Agente de Clip que te entiende cada vez más

---

Conclusión: La IA verdaderamente madura no es "hacerlo por ti ", sino" saber cuándo detenerse y preguntarte "

chengfeng-videocut-skills Lo que más vale la pena investigar no es cuántas habilidades tiene, ni es que puede llamar a FFmpeg, ASR o Studio.

Lo que es realmente notable es que establece un conjunto muy claro de límites:

AI es responsable de comprender y juzgar.

El runtime es responsable de la ejecución determinista.

El sistema de versión es responsable del estado de protección.

Los usuarios son responsables de las decisiones clave.

Los resultados de la auditoría se convierten en la experiencia de la próxima ronda de juicios de IA.

El diseño permite que los clips de vídeo de una tarea de "dejar que la IA manipule los archivos multimedia a voluntad " se conviertan en una línea de producción rastreable, auditable, reversible y de aprendizaje sostenible.

Para aquellos que están explorando la combinación de Agent + software profesional, este proyecto ofrece un buen ejemplo:

No permita que el Agente sustituya todo el producto.

Haga que el agente sea una capa de orquestación inteligente por encima del producto.

Y esta puede ser la dirección más digna de exploración para las herramientas profesionales nativas de IA en el futuro.