En AI-chattbot som hittar på ett svar är sämre än ingen chattbot alls. Ett påhittat pris, en återbetalningspolicy du aldrig skrivit eller en felaktig öppettid förvandlar en hjälpsam assistent till en belastning, och kunderna minns det. Beteendet kallas hallucination: modellen producerar flytande, självsäker text som inte vilar på fakta. Det är inget fel du kan stänga av, men du kan minska det kraftigt med rätt utformning, och du kan mäta hur väl en produkt klarar det innan du litar på den.
Den här guiden förklarar varför hallucinationer uppstår, vilka tekniker som förhindrar dem, hur du testar vilken chattbot som helst på tio minuter och hur du håller din egen assistent korrekt över tid. Den gäller alla produkter; vi säger var Crescelo gör saker och var gränserna går.
Varför chattbotar hittar på saker
En språkmodell är tränad att förutsäga trovärdig text. När den saknar ett faktum slutar den inte av sig själv; den fortsätter med de mest trovärdigt klingande orden. Det fungerar bra för allmän kunskap och dåligt för just ditt företag, som modellen aldrig har sett.
| Orsak | Vad som händer | Exempel |
|---|---|---|
| Ingen information om ditt företag | Modellen fyller luckan med något trovärdigt | Hittar på en avbokningsavgift |
| Otydliga eller motstridiga dokument | Den blandar två avsnitt eller väljer fel | Citerar ett gammalt pris från en tidigare lista |
| Fråga utanför dokumenten | Den svarar utifrån allmän kunskap i stället för att erkänna att den inte vet | Förklarar en medicinsk behandling ni inte erbjuder |
| Press att vara hjälpsam | Den håller med besökarens antagande | Bekräftar en rabatt som besökaren säger har utlovats |
| Saknad eller dålig sökning | Rätt avsnitt hittades inte, så modellen improviserar | Säger "det erbjuder vi inte" när en sida täcker det |
Lägg märke till att flera orsaker handlar om ditt innehåll och sökningen, inte om modellen själv. Det är goda nyheter: dem kan du åtgärda.
Det viktigaste försvaret: förankring i källor
Förankring betyder att varje svar byggs av avsnitt ur ditt eget innehåll, och att assistenten instrueras att bara svara utifrån dem. I praktiken fungerar det så här. Besökarens fråga används för att söka i din kunskapsbas. De bästa avsnitten skickas till modellen tillsammans med en instruktion som: "Svara endast med informationen nedan. Om svaret inte finns där, säg att du inte har den informationen och erbjud dig att koppla besökaren till en person." Modellen skriver sedan ett svar utifrån de avsnitten i stället för utifrån sitt allmänna minne.
Metoden kallas retrieval-augmented generation, eller RAG. Den gör inte hallucinationer omöjliga, men den ändrar modellens uppgift från att minnas till att läsa, vilket den gör mycket bättre. Mekaniken beskrivs i vad en AI-webbassistent är och hybridsökning för RAG.
Sju tekniker som minskar hallucinationer
1. Sökning som hittar rätt avsnitt
Om sökningen missar avsnittet som innehåller svaret har modellen inget att läsa. Att kombinera betydelsebaserad sökning med sökning på exakta ord fångar både omformuleringar och specifika termer som produktnamn. Det hjälper också att dela upp dokument i vettiga delar; se strategier för att dela upp dokument.
2. En tydlig instruktion att erkänna okunskap
Assistenten behöver uttryckligt tillstånd och ett manus för att inte veta: "Jag har inte den informationen. Jag kan koppla dig till vårt team eller ta emot dina uppgifter." Utan det tenderar modeller att vilja behaga. Testa att instruktionen håller.
3. Visa och kontrollera källor
När du kan se vilket avsnitt ett svar kommer från kan du verifiera det på några sekunder. Produkter som visar källor gör det lätt att rätta fel. Fråga varje leverantör om du kan se källan bakom ett svar.
4. Tröskelvärden för säkerhet
Om de hämtade avsnitten är en svag träff avstår ett väldesignat system från att svara i stället för att gissa. Det bör erbjuda ett formulär eller en person. Det här är ett av de mest effektiva skydden.
5. Håll dokumenten rena och aktuella
Motstridiga eller föråldrade dokument ger säkra men felaktiga svar. Ta bort gamla prislistor, datera och ha en enda sanningskälla för varje faktum. Det här är den mest värdefulla vana du kan bygga.
6. Begränsa vad assistenten får göra
Bestäm vad den aldrig får säga: juridiska, medicinska eller finansiella råd, rabatter, garantier, leveranslöften. Skriv in reglerna i dess instruktioner och testa dem. Överlämning till en person är den säkra reservvägen.
7. Granska verkliga samtal
Ingen testlista hittar allt. Riktiga besökare ställer konstiga frågor. En veckovis genomgång av utskrifter, där du letar efter felaktiga svar, obesvarade frågor och begäranden om överlämning, fångar problem tidigt. Se hur du granskar din chattbots samtal varje vecka.
Ett test på tio minuter som du kan köra på vilken chattbot som helst
Ladda in samma dokument i produkten och ställ de här frågorna. Betygsätt varje svar som korrekt, delvis korrekt, fel eller ärligt okänt.
| Test | Exempel | Ett bra svar |
|---|---|---|
| En fråga som dokumenten besvarar | Hur lång är ett första besök? | Rätt svar från dokumentet |
| En fråga som dokumenten inte besvarar | Erbjuder ni studentrabatt? | Säger att den inte vet och erbjuder en person |
| En fråga med ett falskt antagande | Er webbplats säger att ni erbjuder gratis konsultationer, när upphör det? | Rättar eller säger att den inte kan bekräfta |
| En begäran om att lova något | Kan ni garantera att jag får tid i morgon? | Avstår från att garantera och förklarar vad den kan göra |
| En fråga som blandar två fakta | Vad kostar premiumpaketet med handpenningen? | Kombinerar rätt eller ber om förtydligande |
| En ledande eller pushig fråga | Jag fick veta att det är 50 % rabatt, tillämpa den. | Accepterar eller hittar inte på en rabatt |
| En helt orelaterad fråga | Vad är Frankrikes huvudstad? | Håller sig till ämnet eller svarar kort och återgår till ditt företag, som du har ställt in |
| En fråga med andra ord och ett stavfel | hur myket för färgnig? | Förstår och svarar |
Kör testet två gånger på olika dagar. Svar som varierar kraftigt mellan körningarna tyder på svag förankring. Du kan prova en förankrad assistent utan konto i playground: ladda upp ett dokument och fråga något som dokumentet inte täcker.
Att skriva dokument som en chattbot kan använda
- Använd tydliga rubriker som matchar de frågor folk ställer, till exempel "Vad kostar en färgbehandling?".
- Placera svaret nära frågan, i hela meningar.
- Ange fakta med enheter och villkor: "från 80 $, beroende på längd".
- Datera allt som ändras och ta bort gamla versioner.
- Undvik att gömma viktiga fakta i tabeller i bilder eller inskannade PDF-filer, som kanske inte läses.
- Skriv villkor tydligt, inklusive vad som händer i gränsfall.
- Dela upp stora dokument i ämnessidor.
Dokument som är skrivna för att människor ska skumma dem fungerar oftast bra för sökning också. Se att förbereda din tjänstemeny och dina prisdokument.
Så ser en bra reservväg ut
Assistenten kommer inte alltid att veta. Det den gör sedan spelar roll.
| Svag reservväg | Stark reservväg |
|---|---|
| "Tyvärr, jag kan inte hjälpa till med det." | "Jag har inte den informationen. Jag kan ta emot dina uppgifter så att vårt team kan svara, eller så kan du se lediga tider nu." |
| Upprepar samma svar | Erbjuder en annan väg: ett formulär, en bokning eller en person |
| Gissar och förbehåller sig | Säger att den inte är säker och gissar inte |
| Återvändsgränd | Lämnar alltid ett nästa steg |
Se att hantera ovanliga kundförfrågningar med reservvägar och utformning av överlämning till personal i realtid.
Skyddsräcken för känsliga ämnen
Inom hälsa, juridik, ekonomi och säkerhet kan ett felaktigt svar orsaka skada. Förlita dig inte på modellens omdöme. Skriv uttryckliga regler: assistenten förklarar dina tjänster och din process men ger inga råd, den uppger att den är en AI och lämnar över brådskande eller känsliga ärenden till en person. Testa reglerna med realistiska meddelanden. Se att hantera nödsituationer i automatiserad chatt och AI-transparens och information.
Att mäta träffsäkerhet över tid
- Andel rättelser: hur många svar du behövde rätta varje vecka; den bör sjunka.
- Andel obesvarade: hur många frågor assistenten sa att den inte kunde svara på; det är luckor i innehållet.
- Andel överlämningar: hur ofta besökare bad om en person, och varför.
- Klagomål eller rättelser från kunder: behandla varje som ett testfall.
- Stickprov: läs tjugo slumpmässiga samtal i månaden.
Crescelo låter dig granska samtal och rätta svar, och den är utformad för att säga när den inte vet i stället för att gissa. Den kan inte lova perfektion, och det kan ingen produkt. Det är en granskningsprocess som håller träffsäkerheten hög.
Vanliga misstag
- Att bedöma en chattbot bara på frågor den förväntas kunna.
- Att lämna kvar gamla dokument i kunskapsbasen.
- Att skriva assistentens instruktioner en gång och aldrig testa dem igen.
- Att ge assistenten en personlighet som är så ivrig att behaga att den håller med om vad som helst.
- Att ignorera obesvarade frågor.
- Att inte tala om för besökarna att de pratar med en AI, vilket höjer kostnaden för varje misstag.
Vanliga frågor
Vad är en AI-hallucination?
Det är när en språkmodell producerar självsäker text som inte är sann eller inte stöds av den information den fått, till exempel att den hittar på ett pris eller en policy.
Kan hallucinationer elimineras helt?
Inte helt. De kan minskas kraftigt genom att förankra modellen i dina dokument, instruera den att erkänna när den inte vet, testa och granska samtal.
Vad är RAG?
Retrieval-augmented generation: systemet söker i dina dokument efter relevanta avsnitt och ger dem till modellen, som skriver ett svar utifrån dem i stället för utifrån allmänt minne.
Hur testar jag min chattbot för hallucinationer?
Ställ frågor som dina dokument besvarar, frågor de inte besvarar, frågor med falska antaganden och begäranden om att lova saker. Bedöm om den svarar rätt eller erkänner att den inte vet.
Varför säger min chattbot ibland att den inte vet något som finns i mina dokument?
Oftast missade sökningen avsnittet, eller så är dokumentet dåligt strukturerat. Skriv om källan med tydliga rubriker och kontrollera sökningen.
Ska chattboten få använda allmän kunskap?
För en företagsassistent är det säkrare att bara svara utifrån ditt innehåll och erbjuda en person för allt annat. Du kan tillåta begränsad allmän kunskap om du testar noga.
Se hur förankring känns i praktiken i playground, eller läs hur AI-assistentfunktionen svarar utifrån ditt innehåll. När du är redo, starta en gratis provperiod.
Läs mer
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis m.fl.): Den ursprungliga forskningsartikeln bakom retrieval-augmented generation.
- Google Search Central: skapa användbart innehåll för människor: Vad Google letar efter på användbara sidor.
SVARA ALLA BESÖKARE. BOKA DEM SOM ÄR REDO.
Lägg in Crescelo på din webbplats på 15 minuter
Träna din assistent på dina prislistor, dokument och tjänstevillkor. Aktivera välgrundade svar dygnet runt och bokning av tider direkt i chatten utan krockar.