Dans le passé, lorsque nous parlions de clips vidéo d'IA, il était souvent facile de se concentrer sur "peut-il couper automatiquement" : télécharger une vidéo, l'IA trouve des conneries, les supprime automatiquement et en exporte un.

Mais les gens qui ont réellement fait des vidéos orales ont trouvé,« Couper » est plus difficile que « couper ».

Une phrase est-elle une erreur de parole, une répétition, une pause normale ou une répétition délibérée pour souligner ? Si un mot anglais est dit à mi-parcours et répété, faut-il supprimer le premier paragraphe ou le garder ? L'IA a mal entendu un nom professionnel. Devrait-il modifier le sous-titre directement ou juger à nouveau si cette phrase doit être supprimée ?

Ces questions déterminent si un outil de montage d'IA est un « jouet automatisé » ou un outil qui peut vraiment entrer dans le processus de production.

chengfeng-videocut-skills L'idée est intéressante :Au lieu de laisser l'IA prendre directement les ciseaux, laissez l'IA être responsable du jugement, laissez le runtime déterministe être responsable de l'exécution et laissez les utilisateurs vérifier sur les nœuds clés.

Projet GitHub : chengfeng-videocut - skills

Qu ' est-ce que c'est exactement ?

chengfeng-videocut-skills C'est un plug-in de marché de clips vidéo oraux chinois orienté Codex.

Ce n'est pas un éditeur vidéo autonome, et au lieu d'envelopper FFmpeg dans un simple "script de montage automatique", il décompose les clips vidéo en un ensemble de compétences métier qui peuvent être invoquées par l'agent.

Le projet s'articule actuellement autour de plusieurs maillons fondamentaux :

• Coupe-ouvertureIdentifier les erreurs orales, les répétitions, les phrases partielles, le blocage de l'anglais, le mantra et d'autres contenus, et former un livre de suppression de mots.
• sous-titresGénère et traite des sous-titres autour des résultats du clip.
• ImageTravailler avec le contenu visuel et l'animation dans la vidéo.
• Exportation: Transformer les éditions révisées en vidéo définitive.
• Rapport sur le bug: Organiser les problèmes en un problème GitHub désensibilisé et confirmé.
• Vérifiez les mises à jourVérifiez que le plugin et le runtime sont dans un état de version correspondant et fiable.

Le point le plus important ici est :

Skill n'est pas égal à un moteur de montage.

Skill est principalement responsable du jugement sémantique et de l'orchestration des processus ; les travaux qui impliquent vraiment l'état du projet, les coupes, l'EDL, le traitement des médias et l'exportation sont confiés à chengfeng-videocut Runtime.

Cette architecture est en fait très conforme à la direction dans laquelle le produit Agent se développe :LLM fait le jugement, le système déterministe fait l'exécution.

---

Pourquoi « ne pas couper directement » ?

C'est l'un des designs les plus remarquables de tout le projet.

Les agents d'IA traditionnels font facilement une erreur :

« Je sais que les utilisateurs veulent supprimer cette phrase, alors j'ai modifié la vidéo directement. »

Le problème est que le coût des erreurs est élevé une fois que les fichiers vidéo sont physiquement modifiés.

Ainsi, le projet sépare la « prise de décision sémantique » de la « mise en œuvre physique ».

Dans cette compétence, le noyau de la sortie finale n'est pas un MP4, mais une copie :

Révision manuelle du livre de coupures (Cuts + EDL).

C'est - à - dire que la première réponse de l'AI est :

Quels mots devraient être supprimés ?

Au lieu de :

Je vais couper la vidéo maintenant. "

Ce qui semble être juste une différence dans le processus est en fait une frontière d'ingénierie très importante.

Parce qu ' un livre de coupures peut être révisé, examiné et comparé à plusieurs reprises, tandis qu ' une coupure de médias terminée peut signifier des changements de fichier irréversibles.

Par conséquent, le projet stipule clairement que :

Pas de « coupure » des médias.

L'IA ne fait que le jugement et l'enregistrement à cette étape, et les compétences d'exportation ultérieures n'entrent pas dans la phase d'exécution réelle jusqu'à ce que l'utilisateur passe l'audit.

Cela donne à l'ensemble du système une caractéristique très importante :

auditable, rétroactive et révisable.

---

Qu ' est-ce qui se passe à une « coupe » ?

Le projet a conçu la diffusion de coupe en une ligne de montage très définie.

On peut généralement comprendre que :

真实视频
   ↓
逐词转录
   ↓
建立项目
   ↓
修正专业词
   ↓
五轮扫描口误
   ↓
生成删词表
   ↓
人工审核
   ↓
形成最终 Cuts + EDL
   ↓
交给后续导出流程

Parmi les trois étapes qui méritent le plus d'être déployées, ce sont les étapes intermédiaires :

Modifier les mots, supprimer les mots et réviser.

---

La première étape : corriger les erreurs.

Beaucoup de systèmes d'autoclip ont un problème potentiel :

Il prend le résultat de la transcription ASR directement comme un fait.

Cependant, pour la diffusion orale chinoise, il y a souvent des erreurs de reconnaissance de noms professionnels, de noms de produits et de mots anglais dans ASR.

Par exemple :

用户真正说的是：

Grok

ASR 可能得到：

grock

Si l'IA suivante juge directement sur la base du texte d'erreur, une erreur de chaîne peut se produire.

C'est pourquoi le mot « suppression » a été mis avant le mot « suppression ».

Il dispose d'un dictionnaire de termes d'IA et prend en charge le propre dictionnaire de l'utilisateur.

Le processus est généralement :

原始 Transcript
      ↓
通用词典
      ↓
用户词典
      ↓
修字表
      ↓
进入删词分析

Et il y a ici un principe important :

La modification des caractères ne peut modifier que l'expression des mots, mais ne peut pas modifier le temps, le nombre de mots et le wordId.

Cela signifie que :

错误词 → 正确词

Peut être modifié ;

Mais :

错误词 → 修改时间戳
错误词 → 修改词序
错误词 → 添加不存在的词

Il ne devrait pas se produire.

Cette contrainte est critique, car le montage vidéo ultérieur repose sur une chronologie mot par mot. Si le texte est déconnecté de la ligne de temps, les résultats des clips ultérieurs peuvent être déformés.

---

Cinq, la deuxième porte : cinq cycles de numérisation au lieu de « laisser l'IA trouver des conneries en une seule fois »

C'est un autre design très digne d'apprentissage du projet.

Beaucoup de gens conçoivent un agent de clip d'IA pour la première fois et peuvent donner directement au modèle une tâche :

« S'il vous plaît, aidez-moi à trouver toutes les erreurs, répétitions et bêtises. »

Cela semble naturel, mais le problème est :

Laissez le modèle juger trop de types à la fois, permettra aux critères de jugement de se contaminer les uns les autres.

Ce projet a pris une approche complètement différente :

Cinq roues de scan

1er tour :

répétition

Deuxième round :

Résidus et réinterprétation

Troisième tour :

Il faut répéter

Quatrième round :

Anglais Clamping

Cinquième round :

Mantras et mots d'humeur

C'est - à - dire qu ' un seul jugement est responsable par round.

Par exemple, le premier tour demande uniquement :

Y a-t - il une répétition ici ?

sans demander en même temps :

Est-ce un mantra ? Est-ce une phrase ? Faut-il envisager une pause ?

Les avantages de cela sont évidents.

Chaque tour devient une question plus petite et plus définie.

---

Pourquoi « répétition » et « mantra » sont-ils séparés ?

Parce qu ' ils ont des degrés d'objectivité totalement différents.

Par exemple :

« Cette fonction... cette fonction... c'est très utile. »

Cette répétition est généralement plus facile à juger.

Mais :

« Je pense qu ' il y a un peu de temps pour moi, mais je pense qu ' il y a beaucoup de temps pour moi. »

« En fait » ou « ne faut-il pas supprimer ? »

La réponse n'est pas totalement objective.

Il est lié aux habitudes d'expression personnelles de l'utilisateur.

Quelqu 'un aime la diffusion orale propre :

« Cette fonction fonctionne très bien. »

Certains pensent également que :

"Je pense que c'est une bonne idée pour moi."

Plus proche de parler naturellement.

Le projet prendUtilisateur préférencesdans le système de jugement sémantique.

Les priorités sont généralement :

用户偏好
   >
用户判例
   >
通用判例

Cela signifie que les clips d'IA ne cherchent pas simplement à être « le langage le plus court », mais apprennent progressivement :

Ce que cet utilisateur préfère dans la diffusion.

---

De la « décision d'IA unique » à un « livre de suppression vérifiable »

Le projet n'a pas laissé l'IA sortir une phrase :

« Il est recommandé de supprimer 37 points. »

mais nécessite un répertoire structuré de suppression.

Par exemple :

#	Temps	type	suppression	Le reste de la lecture	Risque	Justification
1	00:12	répétition	Et cette fonction ?	Cette fonction est en fait	faible	Cas R2
2	02:31	Changement de bouche	Par exemple, je lui laisse suivre.	Par exemple, je laisse Grok suivre	haut	Cas R5

C'est très important.

Parce que le jugement de l'AI est de :

« Je pense que ça devrait être supprimé. »

Il devient :

« Je pense qu ' il s'agit d'un certain type, selon une certaine règle, et je recommande donc de supprimer ces mots, le niveau de risque est élevé. »

Ce dernier est vraimentValeur de l'audit。

Les utilisateurs n'ont pas besoin de regarder à nouveau toute la vidéo pour comprendre ce que l'IA fait, mais peuvent plutôt vérifier la liste de suppression.

---

8 Pourquoi faut-il encore « répéter » ?

C'est un design très détaillé mais très pratique.

La liste de suppression mot par mot ne peut dire qu 'aux utilisateurs :

Quels mots ont été supprimés ?

Mais si l'utilisateur enregistre réellement une phrase trois fois, le problème est différent.

Par exemple :

第一遍：因为今天有什么……
第二遍：因为今天有什么……
第三遍：因为今天有什么……

Les problèmes qui nécessitent réellement un audit peuvent être :

Qu 'est-ce que vous réservez trois fois ?

Le projet a également conçu une « table de phrases répétées ».

Par exemple :

Phrase	Plusieurs fois.	Quelle fois ?	Combien de fois supprimer	Risque
Parce qu 'aujourd' hui, ce qui est...	3	3ème fois	1ère et 2ème fois	faible

Cela montre que le projet ne comprend pas simplement le clip comme :

supprimer quelques mots.

Mais interpréter le clip oral comme :

Reconstruire un chemin d'expression linguistique plus naturel

---

Quand l'utilisateur intervient-il ?

Un bon agent ne permet pas à l'utilisateur de « ne rien faire », ni de « confirmer chaque étape ».

Le projet a effectivement limité les points d'intervention de l'utilisateur.

Les utilisateurs parlent principalement à trois endroits clés :

1. Sélection des projets homologues

Si cette vidéo a déjà été coupée, l'utilisateur doit sélectionner :

Continuer le dernier projet ou recommencer ?

2. Studio de révision

Après avoir terminé la proposition, l'IA fournit le résultat à l'utilisateur pour vérification dans Studio.

3. Validation complétée

Après la confirmation de l'utilisateur, le processus d'exécution suivant n'est pas entré.

C'est une sorte de très typique :

Intervention artificielle basse fréquence et haute valeur.

L'agent complète un grand nombre de processus mécaniques lui-même, mais laisse aux gens les nœuds qui influencent vraiment le résultat final.

---

Studio n'est pas l'IA qui crée une page d'audit elle-même.

Le projet a également une limite de sécurité qui est facilement ignorée :

Si Runtime n'est pas installé, l'Agent ne peut pas se frotter temporairement avec un produit de remplacement de « table de révision ».

La règle est très importante.

Parce que du point de vue de l'agent, il est plus facile d'apparaître ce comportement :

Runtime 不存在
      ↓
Agent 想办法
      ↓
自己写一个 HTML
      ↓
做一个假的审核界面
      ↓
继续完成任务

En surface, ça s'appelle « intelligent ».

Cela pourrait effectivement entraîner l'échec de l'ensemble du contrat de produit.

Le projet exige donc expressément :

Lorsque le runtime est absent, vous devriez vous arrêter plutôt que de créer un produit de remplacement incompatible vous-même.

Cela incarne en fait un concept d'ingénierie d'agents très mature :

Les limites de compétence de l'agent doivent être soumises au contrat de produit.

Pas « tant qu ' on peut accomplir ses tâches ».

---

XI. La hiérarchie entre Runtime et Skill

L'ensemble de l'architecture peut être simplifié à :

             Codex
               │
       ┌───────┴────────┐
       │                │
     Skills          Plugin UI
       │
       ↓
业务判断 / 流程编排
       │
       ↓
chengfeng-videocut Runtime
       │
 ┌─────┼──────────────┐
 │     │              │
项目   Cuts / EDL     Studio
 │
 ↓
媒体处理 / Render / Verify

L'idée centrale de cette hiérarchie est :

Le LLM ne devrait pas être le seul gestionnaire d'état de l'ensemble du système.

L'état du projet, la révision, l'EDL, les fichiers multimédias, l'état du service, etc., sont tous gérés par le runtime.

L'agent est uniquement responsable de :

理解用户
↓
调用能力
↓
读取结果
↓
做判断
↓
组织下一步

Plutôt que de maintenir secrètement un ensemble de « faux statuts de projet ».

---

XII. Pourquoi le projet met-il l'accent sur la révision et le CAS ?

Si vous regardez de plus près la conception du projet, vous constaterez qu ' elle accorde une grande importance à :

• projectId
• Stage de flux de travail
• Révision du projet
• Révision des coupes
• Révision EditList
• cas

Ces concepts montrent que les développeurs ne pensent pas seulement au « succès d'exécution unique », mais aussi :

Comment éviter que l'état ne soit écrasé par erreur lorsque l'agent effectue des opérations répétées sur un projet réel ?

Par exemple :

Agent A
读取 revision = 12

用户同时修改项目

revision = 13

Agent A
尝试基于 revision 12 写入

Si le système n'a pas de contrôle de version, l'agent A est susceptible d'écraser les nouvelles modifications de l'utilisateur.

Ainsi, la révision / CAS permet au système de savoir :

« Ce n'est plus la version que vous avez vue. »

Ceci est très important pour les produits de l'agent.

Parce que les logiciels GUI traditionnels ont généralement des limites d'état et d'opération de l'utilisateur claires, l'agent est un sujet automatisé asynchrone, réessaiable et peut invoquer des outils à plusieurs reprises.

Sans contrôle de version d'état, l'agent peut facilement réécrire l'ancien état dans le nouveau projet.

---

La conception de l'installation reflète également la « priorité de la certitude ».

Le projet ne dit pas simplement aux utilisateurs :

npm install xxx

Et puis c'est fini.

Il impose également des restrictions strictes sur l'installation du runtime.

Par exemple, fixer la version Runtime :

Plugin 0.10.8
        ↓
Runtime v0.4.8

Au lieu de :

latest

- Pourquoi ?

parce que latest Il dérive.

Un runtime installé aujourd 'hui et un runtime installé demain ne sont peut - être plus la même chose.

C'est très dangereux pour un plug-in d'agent qui repose sur un contrat produit strict.

Le projet souligne donc :

Version fixe + Release + vérification SHA - 256 + vérification docteur.

Il peut être compris comme :

发现 Runtime
   ↓
检查版本
   ↓
确认 Release
   ↓
下载
   ↓
SHA-256 校验
   ↓
安装
   ↓
doctor
   ↓
确认服务健康

Skill continue de travailler uniquement si tout le lien est établi.

---

14 Pourquoi le service ne peut pas être aléatoire nohup？

Le projet stipule également que le plugin ne doit pas être utilisé directement :

launchctl
nohup
foreground server

Pour gérer les produits et les services.

Runtime est lui-même responsable du cycle de vie du service.

Utilisez LaunchAgent au niveau utilisateur sur macOS et Windows Task sur Windows.

Cela signifie que :

Le terminal actuel de Codex n'est pas le propriétaire du cycle de vie du service produit.

Sinon, il apparaît facilement :

终端关闭
   ↓
服务消失

Codex 重启
   ↓
又启动一个服务

第二个服务
   ↓
端口冲突

En fin de compte, l'ensemble du flux de travail de l'agent devient très instable.

Donc, le projet utilise :

Proclamation assure-running.

L'agent a simplement besoin de dire au produit :

Assurez-vous que les services sont disponibles.

Quant à la façon de démarrer, de résider et de récupérer le service, il est géré par Runtime lui-même.

---

Qu 'est-ce que le support Windows signifie ?

Ce projet n'est pas un script uniquement pour macOS.

Le README indique clairement que Runtime prend officiellement en charge Windows à partir de v0.4.2 et effectue la vérification des liens pour l'installation, le service résident, l'auto-guérison des pannes, le redémarrage, l'archivage et l'exportation.

La signification derrière cela est :

Il a commencé à évoluer d'un « outil de développement » à un « véritable produit d'agent multiplateforme ».

et en particulier le traitement vidéo, impliquant :

• FFmpeg
• FFprobe
• Bun
• Node.js
• Chrome
• Documents locaux
• Back-office
• Navigateur Render

Tout lien qui n'est pas correctement géré sur les plateformes finira par rendre le comportement de l'agent imprévisible.

Il est donc plus fiable d'intégrer ces dépendances dans le répertoire géré du runtime, plutôt que de laisser le plugin chercher partout dans l'environnement système.

---

La vraie valeur de ce projet n'est pas « l'IA peut couper la vidéo ».

Si vous regardez seulement la surface, cela ne semble qu ' un :

« L'AI coupe automatiquement la vidéo chinoise orale »

des projets.

Mais d'un point de vue d'ingénierie, ce qui est vraiment précieux est en fait trois autres mots clés :

1. Séparation du jugement et de l'exécution

AI :

决定删什么

Runtime :

决定怎么安全地执行

---

2. Séparation de la recommandation AI de la validation manuelle

AI :

提出删词方案

Utilisateurs :

确认删什么

Systèmes :

执行最终版本

---

3. La séparation du langage naturel de l'état déterministe

Agent :

理解“帮我继续剪上一版”

Runtime :

projectId = xxx
revision = 17
cuts = ...
EDL = ...

Ces trois couches de séparation méritent en fait plus d'attention que « quel modèle a été utilisé ».

---

17, il représente également une nouvelle façon de concevoir des outils d'IA

Le logiciel traditionnel est généralement :

用户
 ↓
按钮
 ↓
程序
 ↓
结果

Le logiciel Agent est plus proche de :

用户自然语言
 ↓
Agent
 ↓
Skill
 ↓
工具/API
 ↓
确定性 Runtime
 ↓
结果

Les questions ont changé.

Le plus important des logiciels traditionnels est :

L'UI est-elle bien conçue ?

Les problèmes les plus importants avec le logiciel Agent deviennent :

L'agent respecte-t - il les limites opérationnelles correctes ?

Par exemple :

• Pouvez-vous en fabriquer un quand il n'y a pas de vraie vidéo ?
• Pouvez-vous créer votre propre remplacement lorsque le runtime n'existe pas ?
• L'ancienne révision peut-elle remplacer la nouvelle révision ?
• L'utilisateur peut-il couper directement sans confirmation ?
• La mise à jour est-elle passée à une version inconnue ?
• ASR a tort, pouvez-vous deviner ?
• Si vous échouez, changez-vous de port pour démarrer un autre service ?

Ce sont en fait les « limites de sécurité » des produits de l'agent.

et chengfeng-videocut-skills Beaucoup de conceptions répondent précisément à ces questions.

---

18 Quel avenir peut-on voir de ce projet ?

Si vous poussez le « clip vidéo AI » un pas en avant, le produit véritablement mature à l'avenir ne sera probablement pas :

« L'AI vous aide à couper automatiquement la vidéo. »

Et plus probablement,

« L'IA comprend vos habitudes d'édition et propose un plan d'édition expliquable, auditable et rétroactif, qui est ensuite exécuté par un moteur d'édition déterministe. »

Les utilisateurs n'ont même pas besoin de dire à l'IA à chaque fois :

« Un peu moins de mantra. »

Le système peut se développer progressivement à partir de la confirmation historique :

用户偏好
+
用户判例
+
通用规则

Un style de montage personnalisé est finalement formé.

Ainsi, « AI Clip » est passé d'une fonction d'automatisation unique à :

Un éditeur qui vous comprend de plus en plus.

---

Conclusion : L'IA véritablement mature n'est pas « terminer pour vous », mais « savoir quand s'arrêter et vous demander ».

chengfeng-videocut-skills Ce qui vaut la peine d'être étudié, ce n'est pas le nombre de Skills qu ' il possède, ni la capacité d'appeler FFmpeg, ASR ou Studio.

Ce qui est vraiment remarquable, c'est qu ' il établit un ensemble de frontières très claires :

L'IA est chargée de la compréhension et du jugement.

Le runtime est responsable de l'exécution déterministe.

Le système de version est responsable de l'état de protection.

L'utilisateur est responsable des décisions clés.

Les résultats de l'audit deviennent l'expérience du prochain cycle de jugement de l'IA.

Cette conception a transformé les clips vidéo d'une tâche consistant à « laisser l'IA manipuler les fichiers multimédias à volonté » en un pipeline de production traçable, auditable, rétroactive et apprenant durablement.

Pour ceux qui explorent la combinaison d'Agent + logiciel professionnel, ce projet fournit un excellent exemple :

Ne laissez pas l'agent remplacer le produit entier.

Faites de l'agent une couche d'orchestration intelligente au-dessus du produit.

Et c'est peut - être la direction la plus digne d'exploration pour les futurs outils professionnels natifs de l'IA.