Pendant tout le temps, l'IA a évolué rapidement.
Il peut nous aider à écrire des articles, à modifier le code, à résumer des données et même à effectuer des tâches d'analyse complexes. Mais face au contenu vidéo, beaucoup d'IA ont encore une lacunes évidente :Ils ne comprennent pas la vidéo.
Vous lui donnez une vidéo de deux heures, et il peut lire seulement le titre, la présentation ou les sous-titres, mais ne peut pas vraiment comprendre les changements dans l'image, les mouvements des personnages, les présentations de produits et les informations cachées.
Et récemment, un projet appelé Claude-vidéo Le projet open source de Claude a permis de « regarder des vidéos ».
L'idée de ce projet n'est pas compliquée : il décompose la vidéo en informations que l'IA peut comprendre, puis les remet à Claude pour les analyser. Lorsque l'utilisateur entre un lien vidéo ou télécharge une vidéo, claude-video effectue automatiquement le traitement de la vidéo, y compris le téléchargement de la vidéo, l'extraction des images clés, l'obtention des sous-titres et la génération de contenu texte par reconnaissance vocale.
En fin de compte, Claude ne se contente pas de « lire les sous-titres », mais est capable de combiner les images vidéo, le son et le texte pour comprendre la vidéo dans son ensemble.
Qu 'est-ce que cela signifie ? "
Par exemple, si vous voyez un tutoriel technique de quelques dizaines de minutes, sans regarder l'ensemble, vous pouvez demander à Claude : « Qu ' est-ce que cette vidéo parle principalement ? »« Quel est le point central de l'auteur ? »« Aidez-moi à organiser les étapes importantes. "
Si vous êtes un développeur, vous pouvez également télécharger des enregistrements d'écran d'opérations logicielles et laisser Claude vous aider à analyser où le problème se produit ; si vous êtes un créateur de contenu, vous pouvez lui demander d'analyser la structure, le rythme et l'expression des vidéos populaires ; et même si vous faites face à une longue réunion ou interview, vous pouvez rapidement extraire les points forts.
D'un point de vue technique, claude-video a mis en œuvre un processus complet de compréhension vidéo. Il utilise des outils de traitement vidéo pour extraire des images clés, obtenir des informations textuelles via des sous-titres ou la reconnaissance vocale, puis transmettre ces données multimodales à Claude pour analyse.
En bref, il a fait quelque chose qui était difficile à réaliser dans le passé :
Laissez l'IA passer de « lire le texte » à « comprendre le monde ».
Les assistants d'IA du passé vivaient principalement dans un environnement textuel, tandis que l'IA du futur nécessitera nécessairement des capacités de compréhension visuelle, auditive et spatiale. La vidéo, en tant que l'un des supports d'information les plus importants d'Internet, permettra à l'IA de comprendre vraiment le contenu vidéo, ce qui ouvrira de nombreux nouveaux scénarios d'application.
Bien que claude-video n'est qu ' un projet open source, il montre une direction très claire : l'interaction humaine-machine du futur ne se limite plus à taper des mots et à obtenir des réponses, mais à l'IA capable d'observer, de comprendre et de participer à notre monde réel.
Lorsque l'IA commence à avoir des « yeux », beaucoup de choses peuvent ne faire que commencer.