Personas virtuali: un nuovo approccio per testare gli agenti vocali prima del lancio

Il problema per chi ingegnerizza agenti vocali IA

Chiunque sviluppi sistemi vocali di IA per l'assistenza clienti potrebbe esseri imbattutto nel seguente scenario: Hai costruito un agente vocale. Funziona senza imperfezioni nei test interni. Lo lanci in produzione. E scopri che metà dei tuoi clienti reagisce in modi che non avevi previsto.

Perché succede? Perché testare un agente vocale iA è costoso. Servono persone reali. Servono ore di chiamate. Servono campioni rappresentativi. E spesso scopri troppo tardi che l'agente funziona bene con un tipo di cliente ma malissimo con un altro.

E se ci fosse un modo per testare gli agenti vocali con migliaia di "clienti virtuali" prima del lancio?

L'idea: dare al modello una vita

Un gruppo di ricercatori di Berkeley ha pubblicato un articolo intitolato Anthology. L'idea è semplice. Invece di dire al modello "sei un uomo di 45 anni del Texas", gli dai una storia di vita completa.

Un contesto ricco di dettagli e particolari, ovvero con riferimenti culturali, con esperienze trascorse e con un stile ben preciso.

Il modello smette di comportarsi come uno stereotipo. Comincia a comportarsi come una persona.

Perché le etichette demografiche non bastano

Per sviluppare un agente vocale si usano spesso un'istruzione generica nel prompt come quella che segue: "Sono un californiano di 25 anni senza diploma di scuola superiore."

Il risultato? Il modello cade negli stereotipi. Risponde nel modo in cui pensa che "qualcuno della California senza diploma" dovrebbe rispondere. Non come una persona reale.

C'è un altro problema. Con le etichette demografiche puoi solo approssimare la popolazione in media. Non i singoli individui. E nell'assistenza clienti, i singoli contano. Eccome.

Un cliente arrabbiato per il quarto reso consecutivo non si comporta come l'utente insoddisfatto medio. Si comporta come quel cliente, con quella storia.

Il problema va ancora più a fondo. Studi recenti mostrano che gli LLM usati per l'assistenza clienti e il marketing assorbono e amplificano i bias presenti nei dati di addestramento. Testare gli agenti vocali solo con prompt generici significa non rilevare in anticipo questi problemi finché non emergono con clienti reali.

Cosa cambia con i retroscena

Il Progetto Anthology genera un contesto con prompt aperti, come "parlami di te". L'LLM produce centinaia o migliaia di vite plausibili. Diverse tra loro. Ricche di dettagli.

Queste identità vengono poi usate per simulare le risposte.

Nello studio originale, i ricercatori hanno testato il metodo su tre sondaggi del Pew Research Center. Hanno misurato tre cose:

• Quanto le risposte virtuali siano simili a quelle umane (distanza di Wasserstein).

• Quanto sono coerenti tra loro (norma di Frobenius).

• Quanto sono internamente coerenti (alfa di Cronbach).

Su Llama-3-70B e Mixtral-8x22B, Anthology ha battuto tutti i metodi precedenti. In tutte le metriche. I risultati pubblicati sul blog di Berkeley mostrano un miglioramento fino al 18% nell'allineamento con le distribuzioni umane e del 27% nella coerenza.

Applicazione concreta: testare gli agenti vocali nell'assistenza clienti

Ora trasferiamo l'idea a un call center virtuale. Ecco come funzionerebbe.

Fase 1: genera una popolazione di clienti virtuali.

Non liste demografiche. Storie complete. Per esempio:

"Mi chiamo Maria. Ho 58 anni. Vivo in un piccolo paese di tremila persone in Calabria. Ho la stessa SIM da quindici anni. Sono passata al digitale solo durante il Covid perché mia figlia mi ci ha costretta. Non mi fido dei sistemi automatici. Quando qualcosa non funziona chiamo subito, non scrivo mai sulle app."

Maria parlerà all'agente vocale in un modo specifico. Sarà impaziente. Userà parole semplici. Vorrà parlare subito con una persona.

Fase 2: metti l'agente vocale a confronto con mille Maria diverse.

Ognuna con un retroscena diverso. Età diverse. Livelli di pazienza diversi. Diversa familiarità con la tecnologia. Diversi motivi per chiamare.

Fase 3: misura dove il bot fallisce.

L'agente vocale capisce Maria quando dice "non mi stai ascoltando" in un dialetto regionale? Riconosce che è arrabbiata anche se non usa parole esplicite? Sa quando passare la chiamata a un operatore umano?

Scenari di esempio concreti

Vediamo tre casi pratici in cui delle personas virtuali farebbero la differenza.

Caso 1: rilevamento della frustrazione.

Un cliente giovane ed esperto dice "questa cosa non funziona". Un cliente anziano dice "è la terza volta che vi chiamo per lo stesso problema". Stesso livello di rabbia. Espressioni diverse.

Un agente vocale testato solo su trascrizioni medie si perde il secondo. Testato contro mille personas con retroscena diversi, lo intercetta.

Caso 2: code-switching e dialetti.

In Italia un cliente può passare dall'italiano al dialetto a metà frase. Soprattutto quando è arrabbiato. Con retroscena geograficamente diversi, scopri subito se il bot va in crisi quando un signore napoletano dice "ma che state a dì".

Caso 3: segnali impliciti di escalation.

Alcuni clienti minacciano apertamente di cambiare operatore. Altri lasciano cadere frasi come "sì, ora ho capito come funziona". La seconda è un segnale di abbandono altrettanto forte. Un agente vocale testato contro persone diverse impara a riconoscerlo prima del lancio.

Cosa dice la ricerca

L'idea di trattare gli LLM come modelli di agente viene da un articolo citato nello studio Anthology: "Language Models as Agent Models" (Andreas, 2022). L'intuizione è che un LLM, dato un contesto, generi testo coerente con l'agente che probabilmente ha prodotto quel contesto.

Quindi, se lo condizionate bene, il modello parla come una persona specifica. Non come la media di tutte le persone.

Lo studio Anthology mostra che questo funziona meglio con retroscena dettagliati. Le metriche lo confermano su sondaggi reali del Pew Research Center.

Per l'assistenza clienti questo significa una cosa importante. Le personas virtuali non sono un giocattolo. Sono uno strumento di test misurabile. Una recente ricerca sui sistemi di Quality Assurance dei contact center mostra che valutare gli agenti vocali senza profili diversi nasconde disparità sistematiche di trattamento fino al 16% tra gruppi diversi.

I limiti onesti

Va detto chiaramente. Ci sono problemi aperti.

I retroscena sono generati dallo stesso LLM. Quindi catturano la rappresentazione della diversità umana del modello. Non necessariamente la vera diversità umana. Se il modello ha bias, quei bias si riflettono nelle personas.

Il rischio di bias deve essere monitorato. Gli autori di Anthology lo dicono esplicitamente, facendo riferimento ai principi del Belmont Report sull'etica della ricerca. Le personas possono perpetuare stereotipi sottili. Vanno usate con cautela, soprattutto nei settori sensibili.

Non sostituiscono i test nel mondo reale. Sono un primo filtro. Individuano i bug più grandi. Per quelli fini servono ancora utenti reali.

In sintesi

L'assistenza clienti sta diventando un ambito in cui si decide la qualità degli agenti vocali. Sbagliare la persona che hai davanti costa clienti.

Anthology suggerisce un percorso concreto. Genera mille vite plausibili. Testa l'agente vocale su di esse. Scopri dove fallisce prima che fallisca con clienti reali.

Non è la soluzione totale. Ma è un passo serio nella direzione giusta.

E soprattutto, è misurabile. Lo studio originale dimostra che funziona meglio dei metodi precedenti su benchmark reali ricavati da sondaggi reali. Quindi non è solo una bella idea. È un'idea testata.

Riferimenti citati:

• Moon, S., Abdulhai, M., Kang, M., et al. (2024). Virtual Personas for Language Models via an Anthology of Backstories. arXiv:2407.06576.

• Andreas, J. (2022). Language Models as Agent Models. EMNLP 2022.

• Pew Research Center — American Trends Panel (onde 34, 92, 99 usate come benchmark nello studio).

• Berkeley AI Research Blog — Virtual Personas (articolo originale degli autori).