Aller au contenu

Visual Context

Sur cette page

Visual Context permet à l'assistant du chat IA de voir ce qui s'affiche sur votre écran et, avec votre autorisation, d'interagir avec d'autres applications. Au lieu de seulement lire votre projet TIA Portal, l'assistant peut regarder une fenêtre d'application, décrire ce qu'il voit et, après votre confirmation, cliquer sur un bouton ou saisir du texte dans un champ à votre place. C'est utile pour vous guider dans une boîte de dialogue, remplir un formulaire ou vérifier ce qu'affiche une application.

Par défaut, l'assistant peut regarder TIA Portal et AnyAutomation Studio lui-même et agir sur eux, rien d'autre. C'est vous qui décidez quelles autres applications il a le droit de toucher, le cas échéant.

Visual Context nécessite un forfait Pro. Avec un forfait inférieur, les outils sont listés mais, au lieu de s'exécuter, indiquent que la fonctionnalité n'est pas incluse.

Ce que l'assistant peut faire

Visual Context ajoute quatre capacités au chat IA, regroupées sous Visual Context dans le sélecteur d'outils du chat. Vous ne les lancez pas vous-même ; l'assistant les utilise lorsque votre demande le nécessite, et vous pouvez aussi les mentionner par leur nom dans un message.

Capacité Ce qu'elle fait
Lister les fenêtres d'application Indique les fenêtres ouvertes des applications que vous autorisez, afin que l'assistant trouve celle qu'il doit regarder.
Capture d'écran Prend une image d'une fenêtre ou d'un élément pour que l'assistant puisse la voir.
Obtenir l'arborescence visuelle Lit la structure d'une fenêtre (ses boutons, champs, libellés et leur texte) sous forme de texte, ou lit l'élément qui a actuellement le focus.
Exécuter des actions visuelles Clique sur un élément, y saisit du texte, appuie sur un raccourci clavier ou attend, dans les applications que vous autorisez. C'est la seule capacité qui modifie quelque chose, et elle vous demande d'abord de confirmer, sauf si vous l'avez autorisée à l'avance.

Déroulement typique : vous demandez à l'assistant de vous aider avec une fenêtre, il liste les fenêtres, lit celle dont vous parlez, prend éventuellement une capture d'écran pour la voir puis, si vous voulez qu'il agisse, il propose les actions et vous demande de confirmer, sauf si vous avez autorisé la capacité à l'avance.

Choisir les applications que l'IA peut utiliser

Ouvrez les Paramètres (Ctrl+,) et recherchez Visual Context. Deux options déterminent ce que l'assistant a le droit de toucher :

  • Noms de processus autorisés est la liste des applications que l'IA peut inspecter et capturer, ou dans lesquelles elle peut cliquer ou saisir du texte. Ajoutez le nom de processus d'une application pour l'autoriser ; retirez-en un pour la bloquer à nouveau. Seules les applications de cette liste (ainsi que cette application, si l'option ci-dessous est activée) sont accessibles. Tout le reste demeure masqué et bloqué, même si l'assistant essaie.
  • Autoriser son propre processus permet à l'IA d'inspecter et d'automatiser les fenêtres d'AnyAutomation Studio. Cette option est activée par défaut ; désactivez-la si vous ne voulez pas que l'assistant regarde Studio lui-même.

Une fenêtre qui ne figure pas dans votre liste d'autorisation apparaît quand même lorsque l'assistant liste les fenêtres, mais son titre est masqué et l'assistant ne peut ni cliquer dedans ni y saisir du texte. Si vous videz la liste et désactivez l'option de l'application elle-même, plus rien n'est accessible.

Confirmer avant que l'IA agisse

Les capacités de lecture (lister les fenêtres, prendre une capture d'écran, lire la structure d'une fenêtre) s'exécutent d'elles-mêmes, limitées aux applications que vous autorisez. La capacité Exécuter des actions visuelles est différente : comme elle peut modifier une autre application, elle affiche une demande de confirmation avant de s'exécuter, en décrivant ce qu'elle s'apprête à faire. Rien ne se passe tant que vous n'avez pas accepté, et refuser la demande annule les actions. Si vous préférez ne pas être sollicité à chaque fois, autorisez la capacité pour la session ou définitivement dans les approbations d'outils du chat ; si vous la réglez sur toujours refusée, elle ne s'exécute jamais.

Ainsi, un clic ou une frappe de touche dans une autre application reste sous votre contrôle : il est limité aux applications que vous avez choisies, quoi que vous ayez approuvé, et il attend votre accord, sauf si vous l'avez autorisé à l'avance.

Voir les captures d'écran

La capacité Capture d'écran envoie une image au modèle. Pour que l'assistant puisse réellement lire cette image, le modèle avec lequel vous discutez doit savoir comprendre les images (un modèle « vision »). La plupart des modèles de chat cloud actuels en sont capables ; si vous utilisez un modèle uniquement textuel, la capture d'écran est envoyée mais le modèle ne peut pas l'interpréter, choisissez donc un modèle doté de vision dans le sélecteur de modèles du chat avant de demander à l'assistant de regarder une capture d'écran. La lecture d'une fenêtre sous forme de texte (Obtenir l'arborescence visuelle) fonctionne avec n'importe quel modèle.

Disponibilité

Visual Context est disponible sous Windows. Il fait partie du chat IA et nécessite un forfait Pro ; consultez Chat IA pour vous connecter à un fournisseur de modèles et utiliser le chat.