Il caso di un agente AI per il paid social attivo su trenta mercati, e cosa insegna sull’adozione dell’intelligenza artificiale nei team performance.

L’adozione di un agente AI è la misura di quante persone lo usano davvero nel lavoro quotidiano, e non coincide con il suo rilascio. Nel progetto che Digital Pills ha realizzato per HelloFresh, un agente che risponde in linguaggio naturale alle domande sul paid social di trenta mercati, i mercati che ne avevano più bisogno sono stati quelli che lo hanno usato meno. Il prodotto non aveva difetti: le cause erano organizzative.

Cos’è l’adozione di un agente AI

L’adozione di un agente AI è il passaggio in cui uno strumento tecnicamente pronto entra nelle abitudini di lavoro di un team. Si misura con l’utilizzo reale: chi apre l’agente, con quale frequenza, su quali domande, e con quale distribuzione tra ruoli, team e mercati.

Nei progetti di intelligenza artificiale in produzione, l’attenzione si concentra di solito su due domande: il modello è abbastanza accurato, e le performance sono sufficientemente buone. Sono condizioni necessarie, ma non sufficienti. Un agente accurato che nessuno usa ha lo stesso impatto sul business di un agente che non esiste.

Perché i team che hanno più bisogno di un agente AI lo usano meno?

Perché i team con meno persone e meno tempo sono anche quelli con meno margine per imparare uno strumento nuovo. È quello che abbiamo osservato su HelloFresh.

L’agente lavora sul paid social di trenta mercati e risponde in linguaggio naturale alle domande che il team si pone ogni giorno: quali creatività stanno funzionando in un mercato, quali annunci video performano meglio nelle ultime due settimane, dove sta girando una determinata linea di prodotto. Prima queste risposte richiedevano esportazioni, fogli di calcolo e una catena di richieste tra persone diverse.

A qualche mese dal rilascio, i dati di utilizzo mostravano uno squilibrio preciso. I mercati più attivi erano quelli più strutturati, con team ampi e processi maturi. I mercati che lo usavano meno erano quelli con meno risorse, cioè esattamente quelli per cui l’agente era stato pensato. Un team sotto pressione continua a lavorare nel modo che conosce, perché è il modo che non rischia di rallentarlo oggi, e il valore del progetto finisce per concentrarsi dove serviva meno.

Chi deve partecipare allo sviluppo di un agente AI?

Le persone che dovranno usarlo, in una rappresentanza che rifletta tutte le condizioni in cui verrà usato. Il gruppo che partecipa allo sviluppo determina per chi l’agente sarà naturale da usare.

Nel caso HelloFresh l’agente è nato insieme a quattro persone del team del cliente, che lavoravano nei mercati più strutturati. Hanno definito le domande da coprire, segnalato le risposte che non convincevano, indicato dove il linguaggio dell’agente non coincideva con quello del team. Il prodotto si è adattato a loro quanto loro si sono adattati al prodotto.

Tutti gli altri sono arrivati sei mesi dopo, compresi i mercati con meno risorse, su un prodotto che a quel punto funzionava già. Per chi lo aveva costruito, l’agente era uno strumento proprio, di cui conosceva logica, limiti e ragioni. Per chi lo riceveva finito, era uno strumento altrui: corretto, documentato, ma estraneo. La qualità era la stessa per tutti. Cambiava la partecipazione alle decisioni, e nessuno cambia il proprio modo di lavorare perché qualcun altro ha deciso che lo strumento nuovo è migliore.

Quanto deve essere veloce un agente AI per essere usato?

Abbastanza da battere l’alternativa che l’utente ha a portata di mano, non il processo che l’agente ha sostituito. La velocità di un agente AI non si misura in assoluto: si misura rispetto all’abitudine che deve rimpiazzare.

Su HelloFresh niente era rotto, ma su alcune domande la risposta arrivava in dieci minuti. È un tempo breve rispetto all’analisi di prima, che passava da un’esportazione a un foglio di calcolo e da una persona all’altra. Ma chi usa lo strumento non fa quel confronto. Lo confronta con aprire la piattaforma e guardare da sé, oppure con chiedere a un collega, e contro quelle alternative dieci minuti davanti a una chat sono molti.

Per chi aveva costruito l’agente, l’attesa aveva una spiegazione: sapeva quante fonti venivano interrogate e perché quella risposta valeva la pena di aspettarla. Per chi lo usava per la prima volta, l’attesa era solo attesa. Lo stesso tempo di risposta produceva fiducia in un gruppo e abbandono nell’altro.

Come si progetta l’adozione di un agente AI in un team performance

Per un Head of Performance o un CMO che valuta un progetto di agenti AI, l’adozione va progettata con lo stesso rigore della parte funzionale, e dall’inizio. In concreto significa tre decisioni.

  1. Decidere chi costruisce. Il gruppo che partecipa allo sviluppo non è un gruppo di tester: è il nucleo che renderà lo strumento credibile per tutti gli altri. Se rappresenta solo i mercati o i team più strutturati, l’agente finirà per somigliare a loro.
  2. Misurare l’utilizzo come una performance. Non un numero complessivo di accessi, ma chi usa l’agente, su quali domande e dove l’utilizzo cala. Un calo concentrato in alcuni mercati o ruoli indica esattamente dove il valore del progetto non sta arrivando.
  3. Considerare il rilascio un inizio. Il momento in cui l’agente funziona è il momento in cui comincia la parte più difficile. Con il rilascio si apre per tutti la stessa fase di adattamento reciproco che il primo gruppo ha vissuto durante lo sviluppo: le persone che non hanno scelto lo strumento devono trovare una ragione per cambiare abitudini consolidate, e lo strumento a sua volta deve cambiare per andare loro incontro, fino a rivedere buona parte della UX pensata all’inizio e, in parte, alcune funzionalità.

L’adozione è un problema di organizzazione, non di prodotto

Un agente AI in produzione non fallisce soltanto quando sbaglia una risposta. Fallisce anche quando risponde bene e nessuno lo apre, o quando lo aprono solo le persone che ne avevano meno bisogno. È un tipo di fallimento che nessun test tecnico intercetta, perché non riguarda il sistema ma l’organizzazione in cui il sistema entra.

Per questo, quando iniziamo un nuovo progetto, la domanda su chi userà l’agente arriva insieme alla domanda su cosa deve fare. Ingegnerizzare l’adozione con la stessa cura con la quale si progettano le funzionalità, è fondamentale per costruire qualcosa che funziona davvero.

Chi è Digital Pills e come può aiutarvi

Digital Pills è una società di consulenza su dati e intelligenza artificiale con sede a Torino. Aiuta aziende ed e-commerce a trasformare dati, analytics e AI in decisioni di business misurabili, e lavora dentro le organizzazioni insieme ai team che useranno gli agenti, fin dalla fase di sviluppo.

Sugli agenti AI e sulla loro adozione lavoriamo con due servizi:

  • Scale Paid: un agente operativo AI che si innesta sulle piattaforme paid già in uso e aiuta i team marketing a tenere sotto controllo il costo di acquisizione su più mercati e account. Il percorso termina con la consegna del sistema al team interno, che lo gestisce in autonomia.
  • Formazione: percorsi per i team che devono usare e governare l’intelligenza artificiale nel lavoro quotidiano, perché l’adozione dipende dalle persone almeno quanto dalla tecnologia.

Se state valutando un agente AI per il vostro team, prenotate una call con noi. Partiamo da chi lo userà, insieme a cosa deve fare.