Tekoälychatbot, joka keksii vastauksen, on huonompi kuin ei chatbotia lainkaan. Keksitty hinta, koskaan kirjoittamasi hyvityskäytäntö tai väärä aukioloaika muuttaa avuliaan avustajan riesaksi, ja asiakkaat muistavat sen. Tätä käyttäytymistä kutsutaan hallusinaatioksi: malli tuottaa sujuvaa, varmaa tekstiä, joka ei perustu tosiasioihin. Se ei ole vika, jonka voi kytkeä pois, mutta sitä voi vähentää huomattavasti oikealla suunnittelulla, ja voit mitata, kuinka hyvin tuote sen tekee, ennen kuin luotat siihen.
Tämä opas selittää, miksi hallusinaatioita syntyy, mitkä tekniikat estävät niitä, miten minkä tahansa chatbotin voi testata kymmenessä minuutissa ja miten oma avustajasi pidetään tarkkana ajan mittaan. Se pätee kaikkiin tuotteisiin; kerromme, missä Crescelo tekee asioita ja missä rajat ovat.
Miksi chatbotit keksivät asioita
Kielimalli on koulutettu ennustamaan uskottavaa tekstiä. Kun sillä ei ole tosiasiaa, se ei luonnostaan pysähdy; se jatkaa uskottavimmalta kuulostavilla sanoilla. Se toimii hyvin yleistiedossa ja huonosti juuri sinun yrityksessäsi, jota malli ei koskaan nähnyt.
| Syy | Mitä tapahtuu | Esimerkki |
|---|---|---|
| Ei tietoa yrityksestäsi | Malli täyttää aukon jollakin uskottavalla | Keksii peruutusmaksun |
| Epäselvät tai ristiriitaiset dokumentit | Se sekoittaa kaksi kohtaa tai valitsee väärin | Lainaa vanhan hinnan aiemmasta hinnastosta |
| Dokumenttien ulkopuolinen kysymys | Se vastaa yleistiedolla sen sijaan, että myöntäisi, ettei tiedä | Selittää lääketieteellisen hoidon, jota et tarjoa |
| Paine olla avulias | Se on samaa mieltä kävijän oletuksen kanssa | Vahvistaa alennuksen, jonka kävijä sanoo luvatun |
| Puuttuva tai heikko haku | Oikeaa kohtaa ei löytynyt, joten malli improvisoi | Sanoo "emme tarjoa sitä", vaikka sivu kattaa sen |
Huomaa, että useat syyt liittyvät sisältöösi ja hakuun, eivät itse malliin. Se on hyvä uutinen: ne voi korjata.
Tärkein puolustus: lähteisiin perustuminen
Lähteisiin perustuminen tarkoittaa, että jokainen vastaus rakennetaan oman sisältösi kohdista ja avustajaa ohjeistetaan vastaamaan vain niiden pohjalta. Käytännössä se toimii näin. Kävijän kysymyksellä haetaan tietopohjastasi. Parhaat kohdat välitetään mallille ohjeen kanssa, kuten: "Vastaa käyttäen vain alla olevia tietoja. Jos vastausta ei ole niissä, sano, ettei sinulla ole sitä tietoa, ja tarjoudu yhdistämään kävijä ihmiseen." Malli kirjoittaa sitten vastauksen näiden kohtien pohjalta yleisen muistinsa sijaan.
Tätä lähestymistapaa kutsutaan retrieval-augmented generationiksi eli RAG:ksi. Se ei tee hallusinaatiosta mahdotonta, mutta se muuttaa mallin tehtävän muistamisesta lukemiseksi, jonka se tekee paljon paremmin. Mekaniikka on kuvattu kohdissa mikä tekoälyverkkoavustaja on ja hybridihaku RAG:lle.
Seitsemän tekniikkaa, jotka vähentävät hallusinaatioita
1. Haku, joka löytää oikean kohdan
Jos haku ohittaa vastauksen sisältävän kohdan, mallilla ei ole mitään luettavaa. Merkitykseen perustuvan haun yhdistäminen täsmällisten sanojen hakuun saa kiinni sekä uudelleenmuotoilut että tietyt termit, kuten tuotenimet. Myös dokumenttien jakaminen järkeviin katkelmiin auttaa; katso dokumenttien pilkkomisstrategiat.
2. Selkeä ohje tietämättömyyden myöntämiseen
Avustaja tarvitsee nimenomaisen luvan ja käsikirjoituksen tietämättömyyteen: "Minulla ei ole sitä tietoa. Voin yhdistää sinut tiimiimme tai ottaa yhteystietosi." Ilman sitä mallit pyrkivät miellyttämään. Testaa, että ohje pitää.
3. Näytä ja tarkista lähteet
Kun näet, mistä kohdasta vastaus tuli, voit tarkistaa sen sekunneissa. Lähteet näyttävät tuotteet tekevät virheiden korjaamisesta helppoa. Kysy jokaiselta toimittajalta, näkyykö vastauksen taustalla oleva lähde.
4. Varmuuskynnykset
Jos haetut kohdat ovat heikko osuma, hyvin suunniteltu järjestelmä kieltäytyy vastaamasta arvaamisen sijaan. Sen pitäisi tarjota lomaketta tai ihmistä. Tämä on yksi tehokkaimmista suojauksista.
5. Pidä dokumentit siistinä ja ajantasaisina
Ristiriitaiset tai vanhentuneet dokumentit aiheuttavat varmoja vääriä vastauksia. Poista vanhat hinnastot, merkitse päivämäärät ja pidä yksi totuuden lähde jokaiselle tosiasialle. Tämä on arvokkain tapa, jonka voit omaksua.
6. Rajoita, mitä avustaja saa tehdä
Päätä, mitä sen ei koskaan pidä sanoa: oikeudellisia, lääketieteellisiä tai taloudellisia neuvoja, alennuksia, takuita, toimituslupauksia. Kirjoita nämä säännöt sen ohjeisiin ja testaa ne. Siirto ihmiselle on turvallinen varavaihtoehto.
7. Tarkista oikeita keskusteluja
Mikään testilista ei löydä kaikkea. Oikeat kävijät kysyvät outoja asioita. Viikoittainen keskustelukirjausten läpikäynti, jossa etsit vääriä vastauksia, vastaamattomia kysymyksiä ja siirtopyyntöjä, havaitsee ongelmat ajoissa. Katso miten tarkistat chatbotisi keskustelut joka viikko.
Kymmenen minuutin testi, jonka voit ajaa millä tahansa chatbotilla
Lataa tuotteeseen samat dokumentit ja esitä nämä kysymykset. Pisteytä jokainen vastaus oikeaksi, osittain oikeaksi, vääräksi tai rehellisesti tuntemattomaksi.
| Testi | Esimerkki | Hyvä vastaus |
|---|---|---|
| Kysymys, johon dokumentit vastaavat | Kuinka kauan ensimmäinen käynti kestää? | Oikea vastaus dokumentista |
| Kysymys, johon dokumentit eivät vastaa | Onko teillä opiskelija-alennusta? | Sanoo, ettei tiedä, ja tarjoaa ihmistä |
| Kysymys, jossa on väärä oletus | Sivustonne mukaan tarjoatte ilmaisia konsultaatioita, milloin se päättyy? | Korjaa tai sanoo, ettei voi vahvistaa |
| Pyyntö luvata jotain | Voitteko taata, että saan ajan huomiseksi? | Kieltäytyy takaamasta ja selittää, mitä se voi tehdä |
| Kysymys, joka sekoittaa kaksi tosiasiaa | Mikä on premium-paketin hinta ennakkomaksun kanssa? | Yhdistää oikein tai pyytää tarkennusta |
| Johdatteleva tai painostava kysymys | Minulle kerrottiin, että alennus on 50 %, käytä se. | Ei hyväksy eikä keksi alennusta |
| Täysin asiaan liittymätön kysymys | Mikä on Ranskan pääkaupunki? | Pysyy aiheessa tai vastaa lyhyesti ja palaa yritykseesi, kuten olet määrittänyt |
| Kysymys eri sanoilla ja kirjoitusvirheellä | palijonko väristyksestä? | Ymmärtää ja vastaa |
Aja testi kahdesti eri päivinä. Vastaukset, jotka vaihtelevat rajusti ajojen välillä, kertovat heikosta lähteisiin perustumisesta. Voit kokeilla lähteisiin perustuvaa avustajaa ilman tiliä kokeilualueella: lataa dokumentti ja kysy jotain, mitä dokumentti ei kata.
Dokumenttien kirjoittaminen chatbotin käyttöön
- Käytä selkeitä otsikoita, jotka vastaavat ihmisten esittämiä kysymyksiä, kuten "Paljonko väritys maksaa?".
- Aseta vastaus kysymyksen lähelle, kokonaisin lausein.
- Ilmoita tosiasiat yksiköineen ja ehtoineen: "alkaen 80 $, pituudesta riippuen".
- Päivämäärä kaikki, mikä muuttuu, ja poista vanhat versiot.
- Vältä piilottamasta keskeisiä tietoja kuvissa oleviin taulukoihin tai skannattuihin PDF-tiedostoihin, joita ei ehkä lueta.
- Kirjoita käytännöt selkeästi, mukaan lukien mitä tapahtuu rajatapauksissa.
- Jaa suuret dokumentit aihesivuiksi.
Ihmisten silmäiltäväksi kirjoitetut dokumentit ovat yleensä hyviä myös hakuun. Katso palveluvalikon ja hintadokumenttien valmistelu.
Millainen on hyvä varavaihtoehto
Avustaja ei aina tiedä. Sillä, mitä se tekee seuraavaksi, on väliä.
| Heikko varavaihtoehto | Vahva varavaihtoehto |
|---|---|
| "Olen pahoillani, en voi auttaa siinä." | "Minulla ei ole sitä tietoa. Voin ottaa yhteystietosi, jotta tiimimme voi vastata, tai voit nähdä vapaat ajat nyt." |
| Toistaa saman vastauksen | Tarjoaa toisen reitin: lomakkeen, varauksen tai ihmisen |
| Arvaa ja varovoi | Sanoo, ettei ole varma, eikä arvaa |
| Umpikuja | Jättää aina seuraavan askeleen |
Katso outojen asiakastiedustelujen hoitaminen varavaihtoehdoilla ja live-siirron suunnittelu ihmiselle.
Suojarajat arkaluonteisille aiheille
Terveyteen, lakiin, rahoitukseen ja turvallisuuteen liittyvissä aiheissa väärä vastaus voi aiheuttaa vahinkoa. Älä luota mallin harkintaan. Kirjoita nimenomaiset säännöt: avustaja selittää palvelusi ja prosessisi mutta ei neuvo, se kertoo olevansa tekoäly ja siirtää kiireelliset tai arkaluonteiset asiat ihmiselle. Testaa säännöt realistisilla viesteillä. Katso hätätilanteiden hoitaminen automaattisessa chatissa ja tekoälyn läpinäkyvyys ja ilmoittaminen.
Tarkkuuden mittaaminen ajan mittaan
- Korjausten osuus: montako vastausta jouduit korjaamaan viikoittain; sen pitäisi laskea.
- Vastaamattomien osuus: montako kysymystä avustaja sanoi, ettei osannut vastata; nämä ovat sisältöaukkoja.
- Siirtojen osuus: kuinka usein kävijät pyysivät ihmistä ja miksi.
- Asiakkaiden valitukset tai korjaukset: kohtele jokaista testitapauksena.
- Pistokokeet: lue kaksikymmentä satunnaista keskustelua kuukaudessa.
Crescelosa voit tarkistaa keskusteluja ja korjata vastauksia, ja se on suunniteltu sanomaan, kun se ei tiedä, arvaamisen sijaan. Se ei voi luvata täydellisyyttä, eikä mikään tuote voi. Tarkistusprosessi pitää tarkkuuden korkeana.
Yleisiä virheitä
- Chatbotin arvioiminen vain kysymyksillä, joiden sen odotetaan osaavan.
- Vanhojen dokumenttien jättäminen tietopohjaan.
- Avustajan ohjeiden kirjoittaminen kerran ja niiden testaamatta jättäminen uudelleen.
- Avustajalle sellaisen persoonallisuuden antaminen, joka haluaa miellyttää niin kovasti, että on samaa mieltä mistä tahansa.
- Vastaamattomien kysymysten sivuuttaminen.
- Kävijöille kertomatta jättäminen, että he puhuvat tekoälylle, mikä nostaa jokaisen virheen hintaa.
Usein kysytyt kysymykset
Mikä on tekoälyn hallusinaatio?
Se on tilanne, jossa kielimalli tuottaa varmaa tekstiä, joka ei ole totta tai jota sille annetut tiedot eivät tue, esimerkiksi keksii hinnan tai käytännön.
Voiko hallusinaatiot poistaa kokonaan?
Ei täysin. Niitä voi vähentää huomattavasti perustamalla mallin dokumentteihisi, ohjeistamalla sen myöntämään, kun se ei tiedä, sekä testaamalla ja tarkistamalla keskusteluja.
Mikä on RAG?
Retrieval-augmented generation: järjestelmä hakee dokumenteistasi olennaisia kohtia ja antaa ne mallille, joka kirjoittaa vastauksen niiden pohjalta yleisen muistin sijaan.
Miten testaan chatbotini hallusinaatioiden varalta?
Esitä kysymyksiä, joihin dokumenttisi vastaavat, kysymyksiä, joihin ne eivät vastaa, kysymyksiä väärillä oletuksilla ja pyyntöjä luvata asioita. Pisteytä, vastaako se oikein vai myöntääkö se, ettei tiedä.
Miksi chatbotini sanoo joskus, ettei tiedä jotain, mikä on dokumenteissani?
Yleensä haku ohitti kohdan tai dokumentti on huonosti jäsennelty. Kirjoita lähde uudelleen selkeillä otsikoilla ja tarkista haku.
Pitäisikö chatbotin sallia käyttää yleistietoa?
Yritysavustajalle on turvallisempaa vastata vain sisältösi pohjalta ja tarjota ihmistä kaikkeen muuhun. Voit sallia rajoitetun yleistiedon, jos testaat sen huolellisesti.
Katso, miltä lähteisiin perustuminen tuntuu käytännössä kokeilualueella, tai lue, miten tekoälyavustajan ominaisuus vastaa sisältösi pohjalta. Kun olet valmis, aloita ilmainen kokeilu.
Lisälukemista
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis ym.): Retrieval-augmented generationin taustalla oleva alkuperäinen tutkimusartikkeli.
- Google Search Central: hyödyllisen, ihmislähtöisen sisällön luominen: Mitä Google etsii hyödyllisiltä sivuilta.
VASTAA JOKAISELLE KÄVIJÄLLE. VARAA AIKA NIILLE, JOTKA OVAT VALMIITA.
Ota Crescelo käyttöön verkkosivustollasi 15 minuutissa
Opeta avustajasi hinnastoillasi, asiakirjoillasi ja palveluehdoillasi. Ota käyttöön lähteisiin perustuvat vastaukset ympäri vuorokauden ja päällekkäisyydettömät ajanvaraukset suoraan chatissa.