Sommaire
L’assistant IA de Microsoft : Copilot Vision s’intègre à Edge
Qu’est-ce que le Copilot Vision?
Copilot Vision est une fonctionnalité d’assistant IA de Microsoft qui permet d’interpréter le contenu affiché à l’écran et d’aider à utiliser des applications.
Cette fonctionnalité, désormais accessible gratuitement dans le navigateur Edge, a été annoncée récemment par Mustafa Suleyman, PDG de Microsoft AI, sur la plateforme Bluesky.
Microsoft décrit cette expérience comme étant basée sur la “parole”, ce qui signifie que vous interagissez en parlant et attendez que Copilot vous réponde.
Comment fonctionne-t-il?
Selon Suleyman, si vous optez pour cette fonctionnalité, Copilot Vision peut “littéralement voir ce que vous voyez à l’écran.”
Suleyman propose des scénarios d’utilisation comme un guidage à travers une recette en cuisine ou la décomposition d’annonces d’emploi pour préparer des entretiens ou des lettres de motivation.
Toutefois, il est important de noter que, bien que Copilot Vision puisse souligner des parties de l’écran pour vous aider à trouver des informations pertinentes, il ne clique pas sur les liens ou n’effectue pas d’actions en votre nom.
Fonctions étendues pour abonnés
Les fonctionnalités de Copilot Vision à l’échelle du système sont encore réservées aux abonnés de Copilot Pro.
Avec cet abonnement, Vision s’étend au-delà d’Edge, permettant une assistance dans des logiciels tels que Photoshop ou des outils de montage vidéo, ou encore pour vous guider dans des jeux comme Minecraft, selon une expérience partagée par Tom Warren de The Verge.
Comment essayer Copilot Vision?
Pour tester Copilot Vision, il vous suffit d’ouvrir ce lien sur le site de Microsoft dans le navigateur Edge.
Cela devrait faire apparaître une invite pour choisir d’activer la fonctionnalité. Après avoir donné votre accord, vous pouvez ouvrir la barre latérale Copilot sur un site web, cliquer sur l’icône du microphone, et votre session Vision commencera, marquée par un carillon et un changement de teinte du navigateur.
Limitations et avertissements
Il est à noter que l’activation n’est pas toujours infaillible. Personnellement, j’ai dû tenter plusieurs fois avant qu’Edge ne me propose l’option d’activation. Même après l’activation, les commandes ne se sont pas affichées correctement sur mon ancien ordinateur portable.
Microsoft précise que l’entreprise enregistre les réponses de Copilot mais ne collecte pas vos entrées, images ou contenus de page durant une session de Copilot Vision. Quand vous souhaitez arrêter le partage d’écran avec Copilot, vous pouvez terminer la session ou fermer la fenêtre du navigateur.
