Sk ill

Wenn KI anfängt, wirklich "Video zu schneiden": Chengfeng-videocut - Skills Design und Praxis

过去我们谈 AI 视频剪辑,往往容易把注意力集中在“能不能自动剪”上:上传一段视频,AI 找到废话,自动删除, […]

Artikel Ver zeich nis

In der Vergangenheit haben wir über KI-Videoclips gesprochen, und es ist oft leicht, die Aufmerksamkeit auf "können Sie sich automatisch schneiden": ein Video hochladen, KI findet Unsinn, löscht automatisch und exportiert wieder ein Stück.

Wer das Video wirklich gesehen hat, wird feststellen, dass„Was zu schneiden" ist viel schwieriger als „wie zu schneiden"

Ist ein Satz ein Fehler, eine Wiederholung, eine normale Pause oder eine absichtliche Wiederholung, um zu betonen? Ein englisches Wort wird halb gesagt und wieder gesprochen, sollte der erste Satz gelöscht oder behalten? Sollte die KI einen fachlichen Begriff falsch verstanden haben, sollte der Untertitel direkt geändert werden oder sollte die Entscheidung übernommen werden, ob der Satz gelöscht werden muss?

Diese Fragen bestimmen, ob ein KI-Clip - Tool ein „Automaten-Spielzeug" oder ein Werkzeug ist, das wirklich in den Produktionsprozess eintreten kann.

chengfeng-videocut-skills Die Gedanken sind interessant:Lassen Sie die KI nicht direkt die Schere nehmen, sondern lassen Sie die KI für das Urteil verantwortlich sein, lassen Sie die deterministische Runtime für die Ausführung verantwortlich sein und lassen Sie den Benutzer an den Schlüsselknoten überprüfen.

GitHub-Projekt: chengfeng-videocut - skills

1. Was ist das eigentlich?

chengfeng-videocut-skills Es ist ein Marketplace-Plugin für chinesische Video-Clip - Übertragungen für Codex.

Es ist kein eigenständiger Video-Editor, und es verpackt FFmpeg nicht in ein einfaches „Auto-Clip - Skript", sondern zerlegt Videoclips in eine Reihe von Geschäftsfähigkeiten, die vom Agent aufgerufen werden können.

Das Projekt dreht sich derzeit um mehrere Kernstücke:

  • Schneiden Sie aus.: Identifizieren Sie Mundfehler, Wiederholungen, Sätze, Englisch-Klappen, Mantras und andere Inhalte, und bilden Sie ein Wörterbuch.
  • UntertitelnErstellen und Verarbeiten von Untertiteln um das Ergebnis des Clips.
  • BilderBearbeiten Sie visuelle Inhalte und Animationen in Videos.
  • ExportierenVerwandeln Sie die überprüften Bearbeitungen in das endgültige Video.
  • Bug meldenDas Problem wird als desensibilisiertes und bestätigtes GitHub-Essentium organisiert.
  • Überprüfen UpdateÜberprüfen Sie, ob sich das Plugin und die Laufzeit in einem übereinstimmenden, vertrauenswürdigen Versionsstatus befinden.

Der wichtigste Punkt hier ist:

Skill ist nicht gleich der Cutting Engine.

Skill ist hauptsächlich für semantische Urteile und Prozesschoreographie zuständig; Arbeit, die wirklich Projektstatus, Cuts, EDL, Medienverarbeitung und Export beinhaltet, wird an chengfeng-videocut Die Runtime.

Diese Architektur passt in der Tat sehr gut zu den Entwicklungsrichtungen des Agentenprodukts:Der LLM macht Urteile und das System der Gewissheit macht die Umsetzung.


Warum „nicht direkt schneiden"?

Dies ist eines der wichtigsten Designs des gesamten Projekts.

Ein herkömmlicher KI-Agent kann leicht einen Fehler machen:

"Ich weiß, dass der Benutzer diesen Satz löschen wollte, also habe ich das Video direkt geändert."

Das Problem ist, dass die Kosten für Fehler, sobald die Videodateien physisch geändert werden, hoch sind.

Das Projekt unterscheidet daher „semantische Entscheidungsfindung" von „physischer Ausführung".

In dieser Fähigkeit ist das Kernstück nicht ein MP4, sondern eine Kopie:

Manuell überprüftes Entfernungskonzept (Cuts + EDL)

Das heißt, AI antwortet zunächst:

Welche Wörter sollten gestrichen werden?

Anstatt:

Ich schneide jetzt das Video.

Das scheint nur ein Prozessunterschied zu sein, ist in Wirklichkeit eine sehr wichtige Ingenieurgrenze.

Denn ein Schnittbuch kann wiederholt geändert, überprüft und vergleicht werden, während ein bereits abgeschlossenes Medienschnitt eine irreversible Dokumentänderung bedeuten kann.

Das Projekt sieht daher ausdrücklich vor:

Die „Media-Streaming - Phase" ist nicht abgeschnitten.

Die KI macht in dieser Phase nur Urteile und Aufzeichnungen, bis die Benutzerprüfung besteht und die anschließende Export-Fähigkeit nicht in die tatsächliche Ausführungsphase gelangt.

Das System hat ein wichtiges Merkmal:

Überprüfbar, rückgängig, überprüfbar.


3. Was passiert eigentlich mit einem „Schnitt"?

Das Projekt entwickelt die Schnittstelle als eine sehr klare Fließlinie.

Grundsätzlich kann man verstehen, dass:

真实视频
   ↓
逐词转录
   ↓
建立项目
   ↓
修正专业词
   ↓
五轮扫描口误
   ↓
生成删词表
   ↓
人工审核
   ↓
形成最终 Cuts + EDL
   ↓
交给后续导出流程

Die wichtigsten Schritte sind die drei in der Mitte:

Überarbeitung, Ausrüstung, Überprüfung.


4. Schritt 1: Korrektur des falschen Wortes

Viele automatische Clipping-Systeme haben ein potenzielles Problem:

Er nimmt die Ergebnisse der ASR-Transkription direkt als Tatsache an.

Bei der chinesischen Übertragung tritt ASR jedoch häufig auf, dass Fachbegriffe, Produktnamen und englische Worterkennung Fehler auftreten.

Zum Beispiel,

用户真正说的是:

Grok

ASR 可能得到:

grock

Wenn die hinterliegende KI direkt auf der Grundlage des falschen Textes Urteile trifft, kann es zu Kettenfehlern kommen.

Das Wort „Veränderung" wurde vor dem Wort „Durchsetzung" gesetzt.

Es verfügt über eine Reihe von AI Term Dictionary und unterstützt gleichzeitig das eigene Wörterbuch der Benutzer.

Der Prozess lautet im Grunde:

原始 Transcript
      ↓
通用词典
      ↓
用户词典
      ↓
修字表
      ↓
进入删词分析

Und hier gibt es ein sehr wichtiges Prinzip:

Das Wort kann nur den Ausdruck des Wortes ändern, nicht die Zeit, die Anzahl der Wörter und die wordId.

Dies bedeutet:

错误词 → 正确词

Änderungen möglich;

Aber:

错误词 → 修改时间戳
错误词 → 修改词序
错误词 → 添加不存在的词

Das sollte nicht passieren.

Diese Einschränkung ist entscheidend, da die nachfolgende Videobearbeitung auf eine wortwörtliche Zeitleiste angewiesen ist. Wenn der Text und die Zeitleiste getrennt sind, kann das Ergebnis des späteren Clips verzerrt werden.


V. Zweites Tor: Fünf Scans statt „einmaliges AI für Schwachsinn"

Dies ist ein weiteres sehr lohnendes Design des Projekts.

Viele Leute, die zum ersten Mal einen KI-Clip - Agent entwerfen, geben möglicherweise direkt dem Modell eine Aufgabe:

„Bitte hilf mir, alle Wortefehler, Wiederholungen und Unsinn zu finden."

Es scheint natürlich, aber das Problem ist:

Wenn das Modell zu viele Typen auf einmal beurteilt, können die Kriterien sich gegenseitig kontaminieren.

Das Projekt verfolgt einen ganz anderen Ansatz:

Fünf Scannen

Erste Runde:

Wiederholung

Zweite Runde:

Satz und Änderung

Dritte Runde:

Irrtum wiederholen

Vierte Runde:

Englische Schachtel

fünfte Runde:

Sprach - und Sprachworte

Jede Runde ist nur für ein Urteil zuständig.

Zum Beispiel in der ersten Runde:

Gibt es hier eine Wiederholung?

ohne gleichzeitig zu fragen:

Ist das ein Mantra? Ist das ein Rastwort? Sollte man eine Pause in Betracht ziehen?

Die Vorteile davon sind offensichtlich.

Jede Runde wird zu einer kleineren, klareren Frage.


Warum sollte man „Wiederholung" von „Mantra" trennen?

Weil ihre Objektivität völlig anders ist.

Zum Beispiel,

“这个功能呢……这个功能呢……其实很好用。”

Diese Wiederholung ist in der Regel leichter zu beurteilen.

Allerdings:

„Ich glaube, dass das Ding gut funktioniert."

Sollte das „eigentlich" oder „nicht" gelöscht werden?

Die Antworten sind nicht ganz objektiv.

Es hat mit den persönlichen Ausdrucksgewohnheiten des Benutzers zu tun.

Manche mögen sauberes Wort:

"Diese Funktion funktioniert sehr gut."

Manche glauben auch:

„Ich finde, dass diese Funktion wirklich gut funktioniert."

Natürlicher zu sprechen.

Das Projekt stelltNutzerpräferenzenin das sprachliche Urteilssystem eingesetzt.

Ihre Prioritäten sind im Grunde:

用户偏好
   >
用户判例
   >
通用判例

Das bedeutet, dass KI-Clips nicht nur nach der „kürzesten Sprache" streben, sondern schrittweise lernen:

Welche Art von Sprachübertragung gefällt dem Nutzer?


7. Von „einmaliger KI-Entscheidung" zu „prüfbarem Wörterbuch"

Das Projekt lässt nicht ein Wort ausführen:

„Es werden 37 Stellen entfernt."

Stattdessen ist es erforderlich, eine strukturierte Verzeichnisliste zu erstellen.

Zum Beispiel,

# Zeit. Typus Löschen Der Rest lesen. Risiken basierend
1 00:12 Wiederholung Und diese Funktion? Diese Funktion ist eigentlich niedrig Rechtsprechung R2
2 02:31 Ändern. Ich lasse ihn zum Beispiel verfolgen. Zum Beispiel habe ich Grok verfolgt. Hoch Rechtsprechung R5

Diese Sache ist sehr wichtig.

Weil das Urteil von:

„Ich denke, dass es gelöscht werden sollte."

wurde:

"Ich denke, dass dies zu einer bestimmten Art gehört, nach einer bestimmten Regel, und daher empfiehlt es, diese Wörter zu streichen, die Risiken sind hoch."

Letzteres hat es wirklich.Audit-Werte。

Anstatt das gesamte Video erneut anzusehen, um zu verstehen, was die KI tut, können die Nutzer stattdessen die Ausstrichenliste überprüfen.


Warum braucht man eine „Wiederholungssätze"?

Es ist ein sehr detailliertes, aber sehr praktisches Design.

Die Wörterliste kann nur dem Benutzer sagen:

Welche Wörter werden gestrichen?

Aber wenn der Benutzer tatsächlich dreimal einen Satz aufgenommen hat, ist das Problem anders.

Zum Beispiel,

第一遍:因为今天有什么……
第二遍:因为今天有什么……
第三遍:因为今天有什么……

Ein Problem, das wirklich überprüft werden muss, könnte sein:

Welche dreimal bleiben?

Das Projekt hat daher zusätzlich eine „Wiederholungssätze-Tabelle" entwickelt.

Zum Beispiel,

Satz mehrmals gesagt. Wo immer vorbehalten Wie oft löschen? Risiken
Weil heute was... 3 3. Mal. 1st, 2nd mal niedrig

Das zeigt, dass das Projekt nicht nur den Clip als:

Einige Wörter entfernen.

Stattdessen versteht man die Sprachversion als:

Erstellen Sie einen natürlicheren Sprachweg.


9. Wann wird der Benutzer eingreifen?

Ein guter Agent bedeutet nicht, dass der Benutzer „nichts kümmert" oder dass er „jeden Schritt bestätigt".

Das Projekt beschränkt praktisch die Benutzerinterventionspunkte.

Der Nutzer spricht hauptsächlich an drei wichtigen Stellen:

1. Auswahl von gleichwertigen Projekten

Wenn das Video bereits geschnitten wurde, muss der Benutzer wählen:

Das letzte Projekt fortführen oder von neuem beginnen?

2. Studio-Audit

Nachdem die KI den Vorschlag abgeschlossen hat, gibt sie das Ergebnis an den Benutzer zur Überprüfung in Studio.

3. Bestätigung abgeschlossen

Nach der Bestätigung durch den Benutzer geht es in den weiteren Prozess.

Es ist eine typische:

Niedrigfrequente, hochwertige manuelle Intervention.

Der Agent erledigt viele mechanische Prozesse selbst, lässt aber die Knoten, die das Endergebnis wirklich beeinflussen, den Menschen überlassen.


10. Das Studio ist nicht die AI, die selbst eine Audit-Seite erstellt.

Das Projekt hat auch eine Sicherheitsgrenze, die leicht übersehen werden kann:

Wenn die Runtime nicht installiert ist, darf sich der Agent nicht vorübergehend mit einem "Review Desk" - Ersatzprodukte reiben.

Diese Regeln sind sehr wichtig.

Aus Sicht des Agenten ist es am leichtesten, solche Verhaltensweisen aufzutauchen:

Runtime 不存在
      ↓
Agent 想办法
      ↓
自己写一个 HTML
      ↓
做一个假的审核界面
      ↓
继续完成任务

Auf der Oberfläche nennt man das „intelligente".

Das kann zum Erlöschen des gesamten Produktvertrages führen.

Das Projekt fordert deshalb ausdrücklich:

Wenn die Runtime fehlt, sollte man aufhören, anstatt ein eigenes inkompatibles Ersatzprodukt zu bauen.

Dies ist ein sehr gutes Engineering-Konzept:

Die Kompetenzgrenzen des Agenten müssen dem Produktvertrag unterliegen.

Nicht nur „wenn man die Aufgabe erledigen kann".


11. Unterschiede zwischen Runtime und Skill

Die gesamte Struktur kann vereinfacht werden:

             Codex
               │
       ┌───────┴────────┐
       │                │
     Skills          Plugin UI
       │
       ↓
业务判断 / 流程编排
       │
       ↓
chengfeng-videocut Runtime
       │
 ┌─────┼──────────────┐
 │     │              │
项目   Cuts / EDL     Studio
 │
 ↓
媒体处理 / Render / Verify

Die Kernidee dieser Zertifizierung lautet:

Der LLM sollte nicht der einzige Zustandmanager für das gesamte System sein.

Projektstatus, Revision, EDL, Mediendateien, Dienststatus usw. werden von der Runtime verwaltet.

Der Agent ist ausschließlich verantwortlich für:

理解用户
↓
调用能力
↓
读取结果
↓
做判断
↓
组织下一步

Anstatt sich selbst einen „falschen Projektstatus" aufrechtzuerhalten.


12. Warum legt das Projekt besonderen Wert auf Revision und CAS?

Wenn man sich das Projekt genauer ansieht, wird man feststellen, dass es sehr wichtig ist:

  • projectId
  • Workflow-Phase
  • Projektrevision
  • Revision von Kürzungen
  • EditList Revision
  • Das CAS

Diese Konzepte deuten darauf hin, dass Entwickler nicht nur "einmaler Erfolg" betrachten, sondern:

Wie kann ich vermeiden, dass der Status falsch überschrieben wird, wenn der Agent wiederholt auf einem realen Projekt vorgeht?

Zum Beispiel,

Agent A
读取 revision = 12

用户同时修改项目

revision = 13

Agent A
尝试基于 revision 12 写入

Wenn das System keine Versionskontrolle hat, wird Agent A wahrscheinlich die neuen Änderungen des Benutzers überschreiben.

Daher kann revision / CAS dem System mitteilen:

„Das, was du gerade benutzt, ist nicht mehr die Version, die du gerade gesehen hast."

Dies ist sehr wichtig für die Agent-Produkte.

Da traditionelle GUI-Software in der Regel klare Zustand - und Benutzeroperationsgrenzen hat, ist der Agent ein asynchrones, wiederversuchbares, automatisiertes Subjekt, das möglicherweise wiederholte Tools aufruft.

Ohne Statusversionskontrolle kann der Agent leicht alte Zustände in ein neues Projekt zurückschreiben.


Auch das Installationsdesign zeigt „Priorität".

Das Projekt sagt nicht einfach dem Benutzer:

npm install xxx

und dann beendet.

Es gibt auch strenge Einschränkungen für die Installation der Runtime.

Zum Beispiel eine feste Runtime-Version:

Plugin 0.10.8
        ↓
Runtime v0.4.8

Anstatt:

latest

Warum?

weil latest Driften wird.

Die Runtime, die heute installiert wird, und die Runtime, die morgen installiert wird, sind wahrscheinlich nicht mehr dasselbe.

Für ein Agent-Plugin, das auf einen strengen Produktvertrag angewiesen ist, ist dies sehr gefährlich.

Das Projekt betont daher:

Fixed Version + Release + SHA - 256 - Verification + Doctor-Prüfung.

Man versteht es als:

发现 Runtime
   ↓
检查版本
   ↓
确认 Release
   ↓
下载
   ↓
SHA-256 校验
   ↓
安装
   ↓
doctor
   ↓
确认服务健康

Erst wenn der gesamte Link hergestellt ist, arbeitet Skill weiter.


14. Warum es nicht so einfach ist nohup?

Das Projekt legt auch fest, dass das Plugin nicht direkt verwendet werden sollte:

launchctl
nohup
foreground server

Verwalten Sie die Produkte und Dienstleistungen.

Die Runtime selbst ist für den Service-Lebenszyklus verantwortlich.

Verwenden Sie LaunchAgent auf Benutzerebene unter macOS und Windows Task unter Windows.

Dies bedeutet:

Das aktuelle Endgerät von Codex ist nicht der Lebenszyklus-Eigentümer des Produktdienstes.

Ansonsten kann es leicht auftreten:

终端关闭
   ↓
服务消失

Codex 重启
   ↓
又启动一个服务

第二个服务
   ↓
端口冲突

Letztendlich wird der gesamte Agent-Workflow sehr instabil.

Das Projekt wurde daher angewendet:

Die Definition ensure-running.

Der Agent muss dem Produkt lediglich sagen:

Stellen Sie sicher, dass die Dienste verfügbar sind.

Wie der Dienst gestartet wird, wie er sich aufhält und wiederhergestellt wird, wird von der Runtime selbst verwaltet.


15. Was bedeutet Windows Support?

Dieses Projekt ist kein Skript, das nur für macOS bestimmt ist.

In README wird klargestellt, dass Runtime Windows ab v0.4.2 offiziell unterstützt und die Links für Installation, Resident Services, Crash Self-Healing, Neustart, Archivierung und Export überprüft.

Der Sinn dahinter ist:

Es begann, sich von einem "Entwicklertool" zu einem "echten Plattformübergreifenden Agent-Produkt" zu entwickeln.

Insbesondere die Video-Bearbeitung solcher Aufgaben beinhaltet:

  • FFmpeg
  • FFprobe
  • Bun ist
  • Node.js
  • Chrome
  • Lokale Dokumente
  • Hintergrunddienstleistungen
  • Browser Rendering

Jedes einzelne Element, das über die Plattform hinweg nicht ordnungsgemäß behandelt wird, kann letztendlich das Verhalten des Agenten unvorhersehbar machen.

Es ist daher eine zuverlässigere Idee, diese Abhängigkeiten in den verwalteten Verzeichnissen der Laufzeit zu integrieren, anstatt Plugins überall nach der Systemumgebung zu suchen.


16. Was dieses Projekt wirklich wertvoll ist, ist nicht "AI schneidet Videos".

Wenn man nur die Oberfläche betrachtet, scheint es nur eine:

„Automatisch schneidet AI das chinesische Video"

Projekt.

Aber wenn es aus technischer Sicht wirklich wertvoll ist, sind es eigentlich drei weitere Schlüsselwörter:

1. Trennung von Urteil und Durchsetzung

AI:

决定删什么

Runtime:

决定怎么安全地执行

2. AI empfiehlt Trennung von menschlicher Bestätigung

AI:

提出删词方案

Nutzer:

确认删什么

Das System:

执行最终版本

3. Die Trennung von natürlicher Sprache und dem Zustand der Sicherheit

Agenten:

理解“帮我继续剪上一版”

Runtime:

projectId = xxx
revision = 17
cuts = ...
EDL = ...

Diese drei Schichten Trennung ist tatsächlich mehr Aufmerksamkeit verdient als "welches Modell verwendet wird".


17. Es stellt auch eine neue Art von KI-Tools dar.

Herkömmliche Software ist in der Regel:

用户
 ↓
按钮
 ↓
程序
 ↓
结果

Die Agent-Software ist näher dran:

用户自然语言
 ↓
Agent
 ↓
Skill
 ↓
工具/API
 ↓
确定性 Runtime
 ↓
结果

Auch das Problem ändert sich.

Das Wichtigste bei der klassischen Software ist:

Ist die UI gut gestaltet?

Die wichtigsten Probleme der Agent-Software werden:

Hat der Agent die richtigen Betriebsgrenzen eingehalten?

Zum Beispiel,

  • Kann man es ohne echtes Video machen?
  • Kann man einen Ersatz selbst erstellen, wenn es keine Runtime gibt?
  • Kann die alte Revision die neue Revision überschreiben?
  • Kann der Benutzer ohne Bestätigung direkt schneiden?
  • Ist das Update auf eine unbekannte Version gewechselt?
  • Das ist falsch, kann man es erraten?
  • Kann ich nach einem Fehlschlag den Port wechseln, um einen anderen Dienst zu starten?

Das sind die „Sicherheitsgrenzen" des Agentenprodukts.

und chengfeng-videocut-skills Viele Designs beantworten diese Fragen.


18. Welche Zukunft sieht man aus diesem Projekt?

Wenn wir "AI-Video - Clips" einen Schritt weiter vorantreiben, werden die wirklich reifen Produkte der Zukunft wahrscheinlich nicht sein:

„AI hilft Ihnen, das Video automatisch zu schneiden."

Wahrscheinlicher ist es:

„Die KI versteht Ihre Bearbeitungsgewohnheiten und schlägt ein erklärbares, überprüfbares und rückverfolgbares Bearbeitungsprogramm vor, das dann von einer deterministischen Bearbeitungsmaschine ausgeführt wird."

Der Benutzer muss nicht einmal jederzeit sagen:

„Wir reden weniger".

Das System kann aus der historischen Bestätigung allmählich entstehen:

用户偏好
+
用户判例
+
通用规则

Letztendlich entsteht ein persönlicher Schnitt.

So wurde „AI-Clip" von einer einmaligen Automatisierungsfunktion zu:

Ein Agent, der sich immer besser mit Ihrem Schnitt versteht.


Wirklich reife KI ist nicht „das für dich erledigen", sondern „weiss, wann ich aufhören muss und dich fragen muss".

chengfeng-videocut-skills Es ist nicht die Anzahl der Skills, die es hat, oder die Fähigkeit, FFmpeg, ASR oder Studio aufzurufen.

Was wirklich bemerkenswert ist, ist, dass es eine sehr klare Grenze setzt:

Er ist verantwortlich für das Verständnis und das Urteilen.

Die Runtime ist für die deterministische Ausführung verantwortlich.

Das Versionssystem ist verantwortlich für den Schutzstatus.

Der Nutzer ist für die entscheidenden Entscheidungen verantwortlich.

Das Ergebnis der Prüfung wird zur Erfahrung der nächsten Runde der AI-Urteil.

Dieses Design macht Videoclips von einer Aufgabe, „der KI zu erlauben, Mediendateien zu manipulieren", zu einer nachvollziehbaren, überprüfbaren, rückspielbaren und nachhaltig lernbaren Produktionslinie.

Für diejenigen, die die Kombination von Agent + Professional-Software erforschen, bietet dieses Projekt ein großartiges Beispiel:

Lassen Sie nicht, dass der Agent das gesamte Produkt ersetzt.

Machen Sie den Agent zu einer intelligenten Orchestrierungsebene über dem Produkt.

Und das ist wahrscheinlich die Richtung, die es wert ist, für künftige native KI-Profi - Tools zu untersuchen.