Seit jeher hat sich AI rasch weiterentwickelt.
Es kann uns helfen, Artikel zu schreiben, Code zu ändern, Daten zusammenzufassen und sogar komplexe Analyse-Aufgaben zu erledigen. Aber wenn es um Videoinhalte geht, gibt es noch eine deutliche Schwäche bei vielen KI:Sie verstehen das Video nicht.
Wenn Sie ihm ein zweistündiges Video geben, kann er vielleicht nur Titel, Profile oder Untertitel lesen, aber nicht wirklich die Veränderungen im Bild, die Bewegungen der Charaktere, die Produktpräsentationen und die versteckten Informationen verstehen.
Vor kurzem wurde ein Name Claude-Video Das Open-Source - Projekt von Claude erhielt die Fähigkeit, "Videos anzusehen".
Die Idee des Projekts ist nicht kompliziert: Es zerlegt das Video in Informationen, die die KI verstehen kann, und gibt es Claude zur Analyse. Sobald ein Benutzer einen Video-Link eingegeben oder ein Video hochgeladen hat, erledigt claude-video automatisch die Verarbeitung des Videos, einschließlich des Downloads des Videos, der Extraktion von Schlüsselbildern, des Abrufs von Untertiteln und der Generierung von Textinhalten durch Spracherkennung.
Letztendlich konnte Claude nicht nur die Untertitel lesen, sondern das gesamte Video mit Bildern, Ton und Text kombinieren und verstehen.
Was bedeutet das?
Wenn Sie zum Beispiel ein paar Minuten langes technisches Tutorial sehen, das Sie nicht vollständig sehen müssen, können Sie Claude fragen: „Was geht es in diesem Video?"„Was ist der Kernpunkt des Autors?"„Helfen Sie mir, die wichtigen Schritte zu organisieren."
Wenn Sie ein Entwickler sind, können Sie auch eine Software-Bildschirmaufnahme hochladen, damit Claude Ihnen helfen kann, zu analysieren, wo das Problem läuft; wenn Sie ein Content-Creator sind, können Sie die Struktur, den Rhythmus und die Ausdrucksweise eines beliebten Videos analysieren lassen; und sogar bei einem langen Meeting oder Interview können Sie schnell die Schwerpunkte herausfinden.
Aus technischer Sicht implementiert claude-video einen vollständigen Prozess zum Verständnis von Videos. Es verwendet Video-Verarbeitungswerkzeuge, um Schlüsselframme zu extrahieren, Textinformationen durch Untertitel oder Spracherkennung zu erhalten und diese multimodale Daten an Claude zur Analyse zu übergeben.
Es ist etwas, was in der Vergangenheit sehr schwer zu erreichen war:
Von „Wörter lesen" zu „Welt verstehen".
Die KI-Assistenten der Vergangenheit lebten hauptsächlich in einer Textumgebung, während die künftige KI zwangsläufig visuelle, hörbare und räumliche Verständnisfähigkeiten benötigt. Video als einer der wichtigsten Informationsträger des Internets ermöglicht es der KI, Videoinhalte wirklich zu verstehen, und wird eine Vielzahl neuer Anwendungsszenarien öffnen.
Claude-Video ist zwar nur ein Open-Source - Projekt, aber es zeigt eine sehr klare Richtung: Die Zukunft der Mensch-Computer - Interaktion ist nicht mehr nur ein Eingabe von Texten und Antworten, sondern eine KI, die in der Lage ist, unsere reale Welt zu beobachten, zu verstehen und mitzuwirken.
Sobald KI beginnt, „Augen" zu haben, kann vieles erst anfangen.