Un agente AI in produzione sbaglia, e la domanda utile non è come evitarlo del tutto, ma quali errori commetterà più probabilmente e come prevenirli o accorgersene in tempo. 

Sugli agenti AI che Digital Pills ha portato in produzione per HelloFresh e lastminute.com, il tasso di errore misurato è di circa 4 interazioni ogni 100. È un numero che in una presentazione commerciale di solito non compare, ed è invece il punto da cui ha senso partire. Un sistema che lavora su dati reali, attraverso più modelli e più servizi collegati tra loro, prima o poi si rompe. Il lavoro di progettazione consiste nel decidere in anticipo come.

Quanto sbaglia un agente AI in produzione?

Quattro errori ogni cento interazioni sui nostri progetti. Preso da solo è un numero che dice poco, perché un tasso di errore ha senso solo accanto al suo termine di confronto.

Il confronto giusto non è lo zero. È il lavoro che l’agente sostituisce. L’agente che abbiamo costruito per lastminute.com gestisce le offerte sulle campagne di ricerca a pagamento su Google Search Ads 360, ed è stato progettato con un obiettivo esplicito: eguagliare o superare le performance del team. Circa il 75% delle modifiche proposte dall’agente coincideva con quelle che avrebbe fatto il team. Il riferimento, cioè, è un lavoro umano che a sua volta non è infallibile, e che raramente viene misurato con lo stesso rigore che si pretende dall’agente.

C’è poi un aspetto di scala. Quattro errori su cento, per un team che interroga l’agente cinquanta volte al giorno, significano due risposte sbagliate ogni giorno lavorativo. Sono poche se il team se ne accorge, e sono molte se nessuno le vede.

Quali errori di un agente AI si possono prevenire?

Quelli di invenzione, se si riduce lo spazio in cui l’agente può scegliere. È la parte del progetto in cui un vincolo vale più di un modello migliore.

Sull’agente di lastminute.com le proposte inventate, finora, sono zero. Non dipende dall’intelligenza del modello: l’agente lavora su binari, e ogni proposta esce da un menu di azioni costruito su misura per il cliente. Può scegliere male all’interno di quel menù, ma non può proporre qualcosa che il menu non contiene. Ne abbiamo scritto più in dettaglio nell’articolo sul dato a monte.

I quattro errori su cento, quindi, non sono allucinazioni. Sono scelte sbagliate tra opzioni legittime, oppure risposte che arrivano incomplete, e questo cambia il modo in cui vanno gestiti.

Cosa deve fare un agente AI quando non ha abbastanza dati?

Dichiararlo. Un agente che si ferma e dice di non sapere è più utile di uno che risponde comunque.

Nei nostri progetti questo comportamento è progettato. Quando una leva non si può misurare, il sistema alza le mani e segnala di avere troppo pochi dati per proporre qualcosa. A quel punto interviene una persona, che sostituisce il proprio giudizio a quello dell’agente e decide comunque. Non è un buco nel sistema: è il punto di consegna tra agente e team, stabilito prima e non scoperto dopo.

È la differenza tra mettere un umano in ogni passaggio e mettere un umano al comando. Nel primo caso la persona approva tutto, e dopo qualche settimana smette di guardare. Nel secondo interviene solo dove serve il suo giudizio, e quindi guarda davvero.

Quanto costa accorgersi di un errore?

Dipende da dove vive il dato che serve per verificarlo, ed è il costo che più spesso decide se un agente AI vale la pena.

Controllare un numero è rapido se si sa dove trovarlo. Spesso però quel numero vive dietro una query che nessuno lancia mai, e a quel punto verificare la risposta dell’agente richiede più tempo che produrla a mano. All’inizio dei nostri progetti abbiamo controllato ogni risposta a mano. Era l’unico modo per costruire fiducia, ma non poteva diventare il modo di lavorare.

Negli ambiti decisionali in cui più risposte sono difendibili, come la scelta di quanto variare un’offerta su una campagna, non esiste una soglia che dica quando un agente è abbastanza accurato: quella misura non c’è. Esiste invece un criterio pratico. Se controllare la risposta costa più che fare il lavoro, non si è costruito niente. Un tasso di errore del 4% è sostenibile solo se l’errore si individua in pochi secondi.

Cosa cambia per chi guida un team performance

Chi valuta un progetto di agenti AI dovrebbe chiedere il tasso di errore prima di chiedere il risparmio di tempo. Se il fornitore non lo conosce, o sostiene che sia zero, il problema non è il numero: è che nessuno ha ancora deciso come gestire il momento in cui l’agente sbaglia.

Le domande che contano sono poche. Quali errori il sistema rende impossibili per costruzione, e quali invece restano possibili. In quali casi l’agente si ferma e dichiara il proprio limite, e chi prende la decisione a quel punto. Quanto tempo serve a una persona del team per accorgersi che una risposta è sbagliata. Se a queste domande esiste una risposta precisa, quattro errori su cento sono un costo noto e governabile. Se non esiste, anche un errore su mille può diventare quello che nessuno vede in tempo.

Un agente che si rompe in modo controllato è un agente che può andare in produzione. Quello che si rompe senza che nessuno se ne accorga è un potenziale danno aziendale non misurato.

Come lavoriamo sugli agenti AI

Digital Pills progetta agenti AI che vanno in produzione con un tasso di errore misurato e con punti di consegna al team definiti fin dall’inizio, non scoperti dopo.

Sugli agenti AI per il marketing lavoriamo con due servizi:

  • Scale Paid: un agente operativo AI che si innesta sulle piattaforme paid già in uso, con regole e automazioni che rendono le decisioni coerenti e verificabili, anche su più mercati e account.
  • Formazione: percorsi per i team che devono usare e governare l’intelligenza artificiale, perché sapere quando fidarsi di un agente, e quando no, è una competenza da costruire.

Se state valutando un agente AI e volete capire quali errori aspettarvi e come gestirli, prenotate una call con noi