Vai al contenuto

Visual Context

In questa pagina

Visual Context permette all'assistente della chat IA di vedere cosa c'è sul tuo schermo e, con il tuo permesso, di interagire con altre applicazioni. Invece di leggere soltanto il tuo progetto TIA Portal, l'assistente può guardare la finestra di un'applicazione, descrivere ciò che vede e, dopo la tua conferma, fare clic su un pulsante o digitare in un campo al posto tuo. È utile per guidarti attraverso una finestra di dialogo, compilare un modulo o verificare cosa mostra un'applicazione.

Per impostazione predefinita l'assistente può guardare e agire su TIA Portal e su AnyAutomation Studio stesso, e su nient'altro. Sei tu a decidere quali altre applicazioni, se ce ne sono, può toccare.

Visual Context richiede un piano Pro. Con un piano inferiore gli strumenti sono elencati, ma invece di essere eseguiti ti avvisano che la funzionalità non è inclusa.

Cosa può fare l'assistente

Visual Context aggiunge quattro capacità alla chat IA, raggruppate sotto Visual Context nel selettore degli strumenti della chat. Non le esegui tu: l'assistente le usa quando la tua richiesta ne ha bisogno, e puoi anche citarle per nome in un messaggio.

Capacità Cosa fa
Elenca finestre dell'applicazione Riporta le finestre aperte delle applicazioni che autorizzi, così l'assistente può trovare quella giusta da guardare.
Cattura screenshot Scatta un'immagine di una finestra o di un elemento, così l'assistente può vederlo.
Ottieni albero visivo Legge come testo la struttura di una finestra (pulsanti, campi, etichette e il loro testo), oppure legge l'elemento che ha attualmente il focus.
Esegui azioni visive Fa clic su un elemento, vi digita del testo, preme una scorciatoia da tastiera o attende, nelle applicazioni che autorizzi. È l'unica capacità che modifica qualcosa e ti chiede prima una conferma, a meno che tu non l'abbia autorizzata in anticipo.

Un flusso tipico: chiedi all'assistente di aiutarti con una finestra, lui elenca le finestre, legge quella che intendi, se serve cattura uno screenshot per vederla e poi, se vuoi che agisca, propone le azioni e ti chiede di confermare, a meno che tu non abbia autorizzato la capacità in anticipo.

Scegliere quali applicazioni può usare l'IA

Apri le impostazioni (Ctrl+,) e cerca Visual Context. Due opzioni controllano cosa l'assistente può toccare:

  • Nomi di processo consentiti è un elenco delle applicazioni che l'IA può ispezionare, catturare, cliccare o in cui può digitare. Aggiungi il nome del processo di un'applicazione per autorizzarla; rimuovilo per bloccarla di nuovo. Sono raggiungibili solo le applicazioni di questo elenco (più questa applicazione, se l'opzione seguente è attiva). Tutto il resto rimane nascosto e bloccato, anche se l'assistente ci prova.
  • Consenti il proprio processo permette all'IA di ispezionare e automatizzare le finestre di AnyAutomation Studio stesso. È attiva per impostazione predefinita; disattivala se non vuoi che l'assistente guardi Studio stesso.

Una finestra che non è nel tuo elenco delle applicazioni consentite compare comunque quando l'assistente elenca le finestre, ma il suo titolo è nascosto e l'assistente non può cliccarvi né digitarvi. Se svuoti l'elenco e disattivi l'opzione per la propria applicazione, non è raggiungibile niente.

Conferma prima che l'IA agisca

Le capacità di lettura (elencare le finestre, catturare uno screenshot, leggere la struttura di una finestra) vengono eseguite da sole, limitate alle applicazioni che autorizzi. La capacità Esegui azioni visive è diversa: poiché può modificare un'altra applicazione, prima di essere eseguita mostra una richiesta di conferma che descrive cosa sta per fare. Non succede nulla finché non acconsenti, e rifiutare la richiesta annulla le azioni. Se preferisci non ricevere la domanda ogni volta, autorizza la capacità per la sessione o in modo permanente nelle approvazioni degli strumenti della chat; impostala come sempre rifiutata e non verrà mai eseguita.

Questo significa che un clic o la pressione di un tasto in un'altra applicazione resta sotto il tuo controllo: è limitato alle applicazioni che hai scelto, qualunque cosa tu abbia approvato, e attende il tuo sì, a meno che tu non l'abbia autorizzato in anticipo.

Vedere gli screenshot

La capacità Cattura screenshot invia un'immagine al modello. Perché l'assistente possa davvero leggere quell'immagine, il modello con cui stai chattando deve saper comprendere le immagini (un modello "vision"). La maggior parte degli attuali modelli di chat cloud ne è in grado; se usi un modello solo testuale, lo screenshot viene inviato ma il modello non può interpretarlo, quindi scegli un modello con capacità di visione nel selettore del modello della chat prima di chiedere all'assistente di guardare uno screenshot. La lettura di una finestra come testo (Ottieni albero visivo) funziona con qualsiasi modello.

Disponibilità

Visual Context è disponibile su Windows. Fa parte della chat IA e richiede un piano Pro; consulta Chat IA per accedere a un provider di modelli e usare la chat.