Visueller Kontext
Der visuelle Kontext lässt den KI-Chat-Assistenten sehen, was auf Ihrem Bildschirm zu sehen ist, und, mit Ihrer Erlaubnis, mit anderen Anwendungen interagieren. Statt nur Ihr TIA Portal Projekt zu lesen, kann der Assistent ein Anwendungsfenster ansehen, beschreiben, was er sieht, und nach Ihrer Bestätigung für Sie auf eine Schaltfläche klicken oder in ein Feld tippen. Das hilft, wenn er Sie durch einen Dialog führen, ein Formular ausfüllen oder prüfen soll, was eine Anwendung gerade anzeigt.
Standardmässig darf der Assistent TIA Portal und AnyAutomation Studio selbst ansehen und dort handeln, sonst nichts. Sie entscheiden, welche weiteren Anwendungen er, falls überhaupt, verwenden darf.
Der visuelle Kontext erfordert einen Pro-Plan. In einem niedrigeren Plan werden die Werkzeuge zwar angezeigt, teilen Ihnen aber mit, dass die Funktion nicht enthalten ist, statt zu laufen.
Was der Assistent tun kann
Der visuelle Kontext ergänzt den KI-Chat um vier Fähigkeiten, im Werkzeug-Picker des Chats unter Visual Context gruppiert. Sie führen sie nicht selbst aus; der Assistent nutzt sie, wenn Ihre Anfrage es erfordert, und Sie können sie in einer Nachricht auch namentlich erwähnen.
| Fähigkeit | Was sie tut |
|---|---|
| Anwendungsfenster auflisten | Meldet die offenen Fenster der von Ihnen erlaubten Anwendungen, damit der Assistent das richtige zum Ansehen findet. |
| Screenshot aufnehmen | Macht ein Bild eines Fensters oder Elements, damit der Assistent es sehen kann. |
| Visuellen Baum abrufen | Liest die Struktur eines Fensters (seine Schaltflächen, Felder, Beschriftungen und deren Text) als Text, oder liest das Element, das Sie gerade fokussiert haben. |
| Visuelle Aktionen ausführen | Klickt auf ein Element, tippt Text hinein, drückt ein Tastenkürzel oder wartet, in den von Ihnen erlaubten Anwendungen. Das ist die einzige Fähigkeit, die etwas verändert, und sie fragt Sie immer zuerst um Bestätigung. |
Ein typischer Ablauf: Sie bitten den Assistenten um Hilfe mit einem Fenster, er listet die Fenster auf, liest das gemeinte, nimmt bei Bedarf einen Screenshot auf, um es zu sehen, und schlägt dann, wenn er handeln soll, die Aktionen vor und bittet Sie um Bestätigung, bevor irgendetwas geschieht.
Auswählen, welche Anwendungen die KI verwenden darf
Öffnen Sie die Einstellungen (Strg+,) und suchen Sie nach Visual Context. Die Bezeichnungen der Einstellungen zeigt die Anwendung auf Englisch, ihre Erklärung darunter erscheint in Ihrer Sprache. Zwei Optionen steuern, was der Assistent verwenden darf:
- Eine Liste der erlaubten Anwendungen legt fest, welche Anwendungen die KI ansehen, aufnehmen, anklicken oder in die sie tippen darf. Fügen Sie den Prozessnamen einer Anwendung hinzu, um sie zu erlauben; entfernen Sie einen, um sie wieder zu sperren. Nur die Anwendungen auf dieser Liste (und diese Anwendung, falls die zweite Option aktiv ist) sind je erreichbar. Alles andere bleibt verborgen und gesperrt, auch wenn der Assistent es versucht.
- Eine zweite Option lässt die KI die eigenen Fenster von AnyAutomation Studio ansehen und automatisieren. Sie ist standardmässig aktiv; schalten Sie sie aus, wenn der Assistent Studio selbst nicht ansehen soll.
Ein Fenster, das nicht auf Ihrer Liste steht, erscheint zwar weiterhin, wenn der Assistent die Fenster auflistet, aber sein Titel bleibt verborgen und der Assistent kann darin nicht klicken oder tippen. Leeren Sie die Liste und schalten Sie die Option für die eigene Anwendung aus, ist gar nichts mehr erreichbar.
Bestätigen, bevor die KI handelt
Die lesenden Fähigkeiten (Fenster auflisten, Screenshot aufnehmen, die Struktur eines Fensters lesen) laufen von selbst, beschränkt auf die von Ihnen erlaubten Anwendungen. Die Fähigkeit Visuelle Aktionen ausführen ist anders: Weil sie eine andere Anwendung verändern kann, zeigt sie immer eine Bestätigungsabfrage, bevor sie läuft, und beschreibt, was sie vorhat. Nichts geschieht, bevor Sie zustimmen, und es gibt keine Möglichkeit, die Abfrage zu überspringen, auch nicht in einem automatisierten Agenten-Lauf. Lehnen Sie die Abfrage ab, werden die Aktionen abgebrochen.
So geschieht ein Klick oder ein Tastendruck in einer anderen Anwendung nie überraschend: Er ist auf die von Ihnen gewählten Anwendungen beschränkt und wartet jedes Mal auf Ihr Ja.
Screenshots sehen
Die Fähigkeit Screenshot aufnehmen sendet ein Bild an das Modell. Damit der Assistent dieses Bild auch wirklich lesen kann, muss das Modell, mit dem Sie chatten, Bilder verstehen können (ein „Vision"-Modell). Die meisten aktuellen Cloud-Chat-Modelle können das; wenn Sie ein reines Textmodell verwenden, wird der Screenshot zwar gesendet, das Modell kann ihn aber nicht deuten. Wählen Sie darum im Modell-Picker des Chats ein bildfähiges Modell, bevor Sie den Assistenten bitten, sich einen Screenshot anzusehen. Ein Fenster als Text zu lesen (Visuellen Baum abrufen) funktioniert mit jedem Modell.
Verfügbarkeit
Der visuelle Kontext ist unter Windows verfügbar. Er ist Teil des KI-Chats und erfordert einen Pro-Plan; siehe KI-Chat zum Anmelden bei einem Modell-Anbieter und zur Nutzung des Chats.