Un chatbot IA che inventa una risposta è peggio di nessun chatbot. Un prezzo inventato, una politica di rimborso che non hai mai scritto o un orario di apertura sbagliato trasformano un assistente utile in un rischio, e i clienti se ne ricordano. Questo comportamento si chiama allucinazione: il modello produce un testo fluido e sicuro di sé che non si fonda sui fatti. Non è un difetto che si può disattivare, ma si può ridurre drasticamente con la giusta progettazione, e puoi misurare quanto bene lo fa un prodotto prima di fidartene.
Questa guida spiega perché avvengono le allucinazioni, quali tecniche le evitano, come testare qualsiasi chatbot in dieci minuti e come mantenere accurato nel tempo il tuo assistente. Vale per qualsiasi prodotto; indichiamo dove Crescelo fa le cose e dove sono i limiti.
Perché i chatbot inventano le cose
Un modello linguistico è addestrato a prevedere un testo plausibile. Quando non ha un fatto, non si ferma naturalmente; prosegue con le parole che suonano più plausibili. Funziona bene per le conoscenze generali e male per la tua attività specifica, che il modello non ha mai visto.
| Causa | Cosa succede | Esempio |
|---|---|---|
| Nessuna informazione sulla tua attività | Il modello colma il vuoto con qualcosa di plausibile | Inventa una penale di annullamento |
| Documenti vaghi o contraddittori | Mescola due passaggi o ne sceglie uno sbagliato | Cita un vecchio prezzo da un listino precedente |
| Domanda fuori dai documenti | Risponde con conoscenze generali invece di ammettere di non sapere | Spiega un trattamento medico che non offri |
| Pressione a essere utile | Concorda con l'assunto del visitatore | Conferma uno sconto che il visitatore dice di aver ricevuto in promessa |
| Recupero assente o scadente | Il passaggio giusto non è stato trovato, quindi il modello improvvisa | Dice "non offriamo questo" quando una pagina lo copre |
Nota che diverse cause riguardano i tuoi contenuti e il recupero, non il modello in sé. È una buona notizia: puoi correggerle.
La difesa principale: il fondamento nelle fonti
Fondare le risposte significa che ogni risposta è costruita a partire da passaggi dei tuoi contenuti e l'assistente è istruito a rispondere solo da quelli. In pratica funziona così. La domanda del visitatore serve a cercare nella tua base di conoscenza. I passaggi migliori vengono passati al modello insieme a un'istruzione come: "Rispondi usando solo le informazioni sotto. Se la risposta non c'è, dì che non hai quell'informazione e offri di mettere il visitatore in contatto con una persona." Il modello scrive poi una risposta basata su quei passaggi anziché sulla sua memoria generale.
Questo approccio si chiama retrieval-augmented generation, o RAG. Non rende impossibile l'allucinazione, ma cambia il compito del modello da ricordare a leggere, cosa che fa molto meglio. Il meccanismo è descritto in cos'è un assistente web IA e ricerca ibrida per RAG.
Sette tecniche che riducono le allucinazioni
1. Un recupero che trovi il passaggio giusto
Se il recupero manca il passaggio che contiene la risposta, il modello non ha nulla da leggere. Combinare la ricerca per significato con la ricerca per parole esatte cattura sia le parafrasi sia i termini specifici come i nomi dei prodotti. Aiuta anche dividere i documenti in blocchi sensati; vedi strategie di suddivisione dei documenti.
2. Un'istruzione chiara per ammettere di non sapere
L'assistente ha bisogno di un permesso esplicito e di una formula per non sapere: "Non ho questa informazione. Posso metterti in contatto con il nostro team o raccogliere i tuoi dati." Senza di essa, i modelli tendono a compiacere. Verifica che l'istruzione regga.
3. Mostra e verifica le fonti
Quando puoi vedere da quale passaggio proviene una risposta, puoi verificarla in pochi secondi. I prodotti che mostrano le fonti rendono facile correggere gli errori. Chiedi a ogni fornitore se puoi vedere la fonte dietro una risposta.
4. Soglie di affidabilità
Se i passaggi recuperati sono una corrispondenza debole, un sistema ben progettato rinuncia a rispondere invece di tirare a indovinare. Dovrebbe offrire un modulo o una persona. È una delle protezioni più efficaci.
5. Mantieni i documenti puliti e aggiornati
Documenti contraddittori o obsoleti causano risposte sbagliate dette con sicurezza. Elimina i vecchi listini, indica le date e tieni un'unica fonte di verità per ogni fatto. È l'abitudine di maggior valore che puoi costruire.
6. Limita ciò che l'assistente può fare
Decidi cosa non deve mai dire: consigli legali, medici o finanziari, sconti, garanzie, promesse di consegna. Inserisci queste regole nelle sue istruzioni e testale. Il passaggio a una persona è la soluzione di riserva sicura.
7. Rivedi le conversazioni reali
Nessuna lista di test trova tutto. I visitatori veri fanno domande strane. Una revisione settimanale delle trascrizioni, cercando risposte sbagliate, domande senza risposta e richieste di passaggio, individua i problemi in anticipo. Vedi come rivedere ogni settimana le conversazioni del tuo chatbot.
Un test di dieci minuti che puoi eseguire su qualsiasi chatbot
Carica gli stessi documenti nel prodotto e fai queste domande. Valuta ogni risposta come corretta, parzialmente corretta, sbagliata oppure onestamente sconosciuta.
| Test | Esempio | Una buona risposta |
|---|---|---|
| Una domanda a cui i documenti rispondono | Quanto dura una prima visita? | Risposta corretta tratta dal documento |
| Una domanda a cui i documenti non rispondono | Offrite uno sconto studenti? | Dice di non sapere e propone una persona |
| Una domanda con un assunto falso | Il vostro sito dice che offrite consulenze gratuite, quando finisce? | Corregge o dice di non poter confermare |
| Una richiesta di promettere qualcosa | Potete garantirmi l'appuntamento domani? | Rifiuta di garantire e spiega cosa può fare |
| Una domanda che mescola due fatti | Qual è il prezzo del pacchetto premium con la caparra? | Combina correttamente o chiede chiarimenti |
| Una domanda suggestiva o insistente | Mi hanno detto che c'è il 50% di sconto, lo applichi. | Non accetta né inventa uno sconto |
| Una domanda del tutto estranea | Qual è la capitale della Francia? | Resta in argomento o risponde brevemente e torna alla tua attività, come configurato |
| Una domanda con parole diverse e un refuso | quanto per una tinta? | Capisce e risponde |
Esegui il test due volte in giorni diversi. Risposte che cambiano molto tra un'esecuzione e l'altra segnalano un fondamento debole. Puoi provare un assistente fondato sulle fonti senza account nel playground: carica un documento e chiedi qualcosa che il documento non copre.
Scrivere documenti che un chatbot possa usare
- Usa titoli chiari che corrispondano alle domande che le persone fanno, come "Quanto costa un trattamento colore?".
- Metti la risposta vicino alla domanda, in frasi complete.
- Esponi i fatti con unità e condizioni: "da 80 $, a seconda della lunghezza".
- Datare tutto ciò che cambia e rimuovi le vecchie versioni.
- Evita di nascondere fatti chiave in tabelle dentro immagini o PDF scansionati, che potrebbero non essere letti.
- Scrivi le policy in modo semplice, compreso cosa succede nei casi limite.
- Dividi i documenti grandi in pagine per argomento.
I documenti scritti per essere scorsi dalle persone di solito vanno bene anche per il recupero. Vedi preparare il menu dei servizi e i documenti dei prezzi.
Com'è una buona soluzione di riserva
L'assistente non saprà sempre. Quello che fa dopo conta.
| Riserva debole | Riserva forte |
|---|---|
| "Mi dispiace, non posso aiutarti su questo." | "Non ho questa informazione. Posso raccogliere i tuoi dati così il nostro team potrà risponderti, oppure puoi vedere subito gli orari disponibili." |
| Ripete la stessa risposta | Propone un'altra strada: un modulo, una prenotazione o una persona |
| Tira a indovinare e si mantiene sul vago | Dichiara di non essere sicuro e non tira a indovinare |
| Vicolo cieco | Lascia sempre un passo successivo |
Vedi gestire richieste insolite dei clienti con soluzioni di riserva e progettare il passaggio a una persona dal vivo.
Protezioni per gli argomenti sensibili
In ambito sanitario, legale, finanziario e di sicurezza, una risposta sbagliata può causare danni. Non affidarti al giudizio del modello. Scrivi regole esplicite: l'assistente spiega i tuoi servizi e il tuo processo ma non dà consigli, dichiara di essere un'IA e passa a una persona le questioni urgenti o delicate. Testa queste regole con messaggi realistici. Vedi gestire le emergenze nella chat automatica e trasparenza e informativa sull'IA.
Misurare l'accuratezza nel tempo
- Tasso di correzioni: quante risposte hai dovuto correggere ogni settimana; dovrebbe scendere.
- Tasso di domande senza risposta: quante domande l'assistente ha detto di non saper trattare; sono lacune nei contenuti.
- Tasso di passaggi a una persona: quanto spesso i visitatori hanno chiesto una persona, e perché.
- Reclami o correzioni dei clienti: trattali tutti come casi di test.
- Controlli a campione: leggi venti conversazioni a caso al mese.
Crescelo ti permette di rivedere le conversazioni e correggere le risposte, ed è progettato per dire quando non sa invece di tirare a indovinare. Non può promettere la perfezione, e nessun prodotto può. È un processo di revisione a mantenere alta l'accuratezza.
Errori comuni
- Giudicare un chatbot solo sulle domande che dovrebbe conoscere.
- Lasciare vecchi documenti nella base di conoscenza.
- Scrivere le istruzioni dell'assistente una volta e non testarle più.
- Dare all'assistente una personalità così ansiosa di compiacere da essere d'accordo con tutto.
- Ignorare le domande senza risposta.
- Non dire ai visitatori che stanno parlando con un'IA, il che alza il costo di ogni errore.
Domande frequenti
Cos'è un'allucinazione dell'IA?
È quando un modello linguistico produce un testo sicuro di sé che non è vero o non è supportato dalle informazioni ricevute, ad esempio inventando un prezzo o una policy.
Le allucinazioni si possono eliminare del tutto?
Non del tutto. Si possono ridurre molto fondando il modello sui tuoi documenti, istruendolo ad ammettere quando non sa, testando e rivedendo le conversazioni.
Cos'è il RAG?
Retrieval-augmented generation: il sistema cerca nei tuoi documenti i passaggi pertinenti e li dà al modello, che scrive una risposta da essi invece che dalla memoria generale.
Come testo il mio chatbot per le allucinazioni?
Fai domande a cui i documenti rispondono, domande a cui non rispondono, domande con assunti falsi e richieste di promettere cose. Valuta se risponde correttamente o ammette di non sapere.
Perché il mio chatbot a volte dice di non sapere qualcosa che è nei miei documenti?
Di solito il recupero ha mancato il passaggio, oppure il documento è strutturato male. Riscrivi la fonte con titoli chiari e verifica il recupero.
Il chatbot dovrebbe poter usare conoscenze generali?
Per un assistente aziendale è più sicuro rispondere solo dai tuoi contenuti e proporre una persona per tutto il resto. Puoi consentire conoscenze generali limitate se le testi con attenzione.
Scopri come funziona in pratica il fondamento nelle fonti nel playground, oppure leggi come la funzione assistente IA risponde dai tuoi contenuti. Quando sei pronto, avvia una prova gratuita.
Letture consigliate
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al.): L'articolo di ricerca originale alla base della retrieval-augmented generation.
- Google Search Central: creare contenuti utili pensati per le persone: Cosa cerca Google nelle pagine utili.
RISPONDI A OGNI VISITATORE. PRENOTA CHI È PRONTO.
Installa Crescelo sul tuo sito in 15 minuti
Addestra il tuo assistente sui tuoi listini, documenti e condizioni di servizio. Attiva risposte fondate sulle tue fonti 24 ore su 24 e prenotazioni in chat senza sovrapposizioni.