AI

Microsoft Skill Recorder : laissez l'IA apprendre votre travail au lieu de vous faire apprendre Prompt

Au cours des dernières années, la modélisation de grands langages (LLM) et l'agent d'IA se sont développés rapidement, mais ce qui empêche vraiment les entreprises d'atterrir sur l'IA, ce n'est pas la capacité de modélisation, mais [...]

Catalogue des articles

Au cours des dernières années, la modélisation de langage à grande échelle (LLM) et l'agent d'IA se sont développés rapidement, mais ce qui empêche vraiment les entreprises de mettre en œuvre l'IA n'est pas la capacité de modélisation, maisComment précipiter l'expérience humaine en compétence que l'IA peut exécuter。

La dernière version open source de Microsoft Enregistreur de compétences C'est pour résoudre ce problème qu ' elle est née.

Sa philosophie est très simple :

Pas besoin d'écrire Prompt, pas besoin d'écrire Workflow, il suffit de démontrer une fois et l'IA peut apprendre.

Cette idée signifie que l'IA est en train de Ingénierie rapide (Prompt Engineering) Avancer vers Demonstration Engineering (ingénierie de démonstration)。


Qu ' est-ce que le Skill Recorder ?

Skill Recorder est un outil open source de Microsoft qui enregistre l'ensemble des tâches effectuées par les utilisateurs, y compris :

  • Opérations d'écran
  • Mouse à cliquer
  • Fenêtre Switch
  • Accès au navigateur
  • Terminal de commande
  • Contenu du clipboard
  • (Facultatif) Interprétation vocale

Ensuite, il appelle GitHub Copilot pour analyser l'ensemble du processus et distiller automatiquement :

  • Ce que l'utilisateur veut réellement accomplir
  • Étapes clés de l'entreprise (Workflow)
  • Parameters et variables
  • Compétences réutilisables (SKILL.md)
  • Automatisation qui peut être exécutée à temps ou déclenchée automatiquement

Tout le processus n'est pas simplement d'enregistrer la souris, mais d'essayer de comprendrePourquoi faire cela ?。


Workflow pour le Skill Recorder

L'ensemble du processus peut être résumé en quatre étapes :

Étape 1 : Enregistrer les tâches

Les utilisateurs terminent leur travail comme d'habitude.

Par exemple :

  • Gérer le problème GitHub
  • Déployer les services Azure
  • Soumettre un journal quotidien
  • Mise à jour Jira
  • Télécharger le rapport
  • Répondre aux clients

Aucun prompt n'est nécessaire tout au long du processus.


Étape 2 : Analyse de l'AI

Une fois l'enregistrement terminé, GitHub Copilot analyse l'ensemble du processus.

Il ne se limitera pas à enregistrer :

Cliquez ici → Entrez ici → Cliquez là

Mais essayer de comprendre :

L'utilisateur crée un problème.

L'utilisateur est dans un processus d'approbation

L'utilisateur publie une version

L'utilisateur synchronise les données

C'est - à - dire qu 'il distillerIntent de la tâche。


Étape 3 : Générer des compétences

Un standard est ensuite généré SKILL.md。

Les compétences comprennent généralement :

  • Description des tâches
  • Conditions d'utilisation
  • Paramètres d'entrée
  • Exécuter les étapes
  • Précautions
  • Outils invocables

Cela signifie que cette capacité peut être réutilisée ultérieurement par n'importe quel agent d'IA.


Étape 4 : Exécution automatique de l'agent

L'utilisateur n'a besoin que d'une phrase :

Aidez-moi avec tous les nouveaux problèmes GitHub d'aujourd 'hui.

L'agent appelle la compétence que vous venez de générer pour terminer automatiquement le travail.

L'ensemble du processus n'a pas besoin de démonstration à nouveau.


Différences majeures par rapport à la RPA traditionnelle

Beaucoup de gens regardent Skill Recorder pour la première fois et pensent :

« N'est-ce pas la version RPA ? »

En fait, la différence est très grande.

RPA classique :

  • Coordonnées Mouse
  • Enregistrer la position du clic
  • Invalidation du changement d'UI
  • Extrêmement dépendant du layout de la page

Enregistreur de compétences :

  • Comprendre les intentions des utilisateurs
  • Appel prioritaire de l'API
  • Appel de priorité CLI
  • Appel préférentiel de l'outil Agent
  • Utilisez l'interface utilisateur uniquement si nécessaire

Par exemple :

RPA classique :

点击按钮
等待3秒
点击输入框

Skill Recorder est plus susceptible d'être compris comme :

创建 GitHub Issue
填写标题
填写描述
提交

Ainsi, même si la page change, Skill peut continuer à travailler tant que les capacités sous-jacentes ne changent pas.


Pourquoi est-il important ?

Dans le passé, le plus gros problème avec le déploiement de l'IA par les entreprises n'était pas le modèle, c'était la connaissance.

La réalité est généralement :

  • La soupe n'est pas écrite.
  • L'expérience n'existe que dans les têtes des anciens employés.
  • Prompt est varié
  • Tout le monde a son propre template
  • L'IA ne peut pas réutiliser l'expérience

Le Skill Recorder change ce modèle :

Pas besoin d'écrire Prompt.

Il n'est pas nécessaire d'écrire le processus.

Une démonstration directe suffit.

Cela permet également aux professionnels de construire facilement des capacités d'IA sans avoir à devenir un ingénieur rapide.


Scénarios d'application typiques dans les entreprises

Le Skill Recorder est particulièrement adapté aux tâches qui sont répétées quotidiennement mais qui reposent sur l'expérience, telles que :

Maintenance opérationnelle

  • Publication du service
  • Voir le log
  • Ressources de redémarrage
  • Trouver les anomalies

Développement

  • Code de révision
  • Catégorie Issue
  • Bug fixé
  • Release publié

Finances

  • Télécharger le rapport
  • Résumé des données
  • Reconciliation
  • Générer un rapport mensuel

Ressources humaines

  • Screening du CV
  • Arrangement d'entretien
  • Processus d'intégration
  • Approbation de l'offre

Service client

  • Répondre aux ordres de travail
  • Enquête sur l'ordre
  • Mise à jour du CRM
  • Escalade de complexité

Ces processus, qui reposaient à l'origine sur l'expérience personnelle, peuvent être précipités en compétences en IA partageables et réutilisables.


La valeur du Skill Recorder

Du point de vue de l'entreprise, il apporte plusieurs avantages évidents :

  • Transformer les expériences tacites en actifs standardisés
  • Baisser le seuil d'utilisation de l'IA
  • Accélérer le déploiement des agents
  • Améliorer la cohérence des processus
  • Gestion des versions et partage d'équipe
  • Réduire les coûts de rédaction et de maintenance de Prompt

Avec l'accumulation de compétences, les entreprises peuvent étape par étape former leur propre pool de compétences en IA, plutôt que de laisser les connaissances rester entre les mains des individus.


Relation avec l'écosystème des agents d'IA de Microsoft

Skill Recorder n'est pas un outil isolé, mais une partie importante de l'écosystème des agents d'IA de Microsoft.

Microsoft a continué de travailler ces dernières années pour Skill En tant que système de compétence d'agent de base, grâce à GitHub Copilot, Microsoft Foundry, MCP (Model Context Protocol) et d'autres outils, les connaissances de domaine sont encapsulées dans un fichier de compétences réutilisable (SKILL.md), aidant les agents d'IA à acquérir rapidement des compétences professionnelles dans différents projets et scénarios. Skill Recorder réduit encore le seuil de la création de compétences - de « compétences en écriture manuscrite » à « compétences en génération de présentation », permettant aux professionnels de participer au renforcement des capacités en IA.


Résumé

L'importance de Skill Recorder n'est pas seulement un nouvel outil d'enregistrement d'écran, mais aussi un changement de façon de travailler.

Dans le passé, nous devions constamment dire à l'IA ce qu ' elle devrait faire ; dans le futur, nous n'aurons qu'à le faire une seule fois pour que l'IA puisse comprendre, affiner et répéter.

Cela signifie que la façon dont les connaissances de l'entreprise sont précipitées va également changer : des documents, des SOP et des instructions, évoluer progressivement vers des compétences en IA exécutables, partageables et optimisées de manière durable.

On peut s'attendre à ce que la technologie de l'agent continue de mûrir,« Démonstrer une fois, l'IA apprend à utiliser toute la vie » Il deviendra un nouveau paradigme pour de plus en plus d'entreprises qui construisent des flux de travail intelligents, et Skill Recorder est un point de départ important pour cette tendance.