3. TUTKIMUKSEN TARKOITUS JA TAVOITE
6.2. PSOP -chatbotin vastaustarkkuuden muutos
Kuviossa 8 on kuvattuna kahden kuukauden aikana tapahtunut muutos botin osaamisessa vastausten ymmärrettävyyden tarkastelun perusteella. Vaiheessa 1 kysymyksiä botille oli yhteensä 225 (178 matriisista ja 47 vapaaehtoisten esittämiä). Havaittu muutos botin KUVIO 7. Botin antamien vastausten saatavuus vasteaikoina
0 2 4 6 8 10 12 14 16
Oikein Ehkä Väärin Keskiarvo
Jatkovastaus 1 3 0 3 0 3 3 3 3 6 6 3 3 3 3 6 3 3 3 3 3 0 0 6 6 3 3 6 6 3 3 3,
Jatkovastaus 2 3 3 0 3 0 3
Jatkovastaus 3 3 0 6 3 4
Jatkovastaus 4 3 3
Loppulause 3 3 3 3 3 3 3 6 3 3 3 6 3 0 3 3 3 3 6 3 3 6 3 3,
Vastaus -loppulause 12 0 6 3 9 6 3 6 9 9 12 3 6 15 9 3 6 6 9 6 0 3 9 9 6 9 9 9 9 6 7
Vastausaika sekunnin kymmenyksiä
Vastausajat kysymyksestä jatkovastauksittain
SAATAVUUS
Jatkovastaus 1 Jatkovastaus 2 Jatkovastaus 3 Jatkovastaus 4 Loppulause Vastaus -loppulause
osaamisessa oli oikeiden vastausten lisääntymisenä (n=6), joka tarkoittaa 2,7% vastaus-tarkkuuden parantumista kahden kuukauden aikana, kun kohdejoukkona on identtiset ky-symykset vaiheessa 1 ja vaiheessa 2. Muutosta ei luonnollisestikaan voitu arvioida tam-mikuussa lisättyjen 51 yhden kysymyksen osalta. Vaiheessa 2 matriisissa oli yhteensä 276 kysymystä.
Tietokantaan tallennettujen vastausten avainsanojen harmonisoinnin ja redundanssivai-heessa etsittiin samankaltaisia avainsanasarjoja, jotka antoivat eri vastauksen. Vaiheen 1 kyselyaineistosta nousi esille erityisesti taulukossa 2a esitetyt kaksi vastausta, joissa al-kuosa on identtinen, mutta toinen vastaus on pidempi kuin toinen. Lähemmin tarkastel-tuna vastauksiin liitetyt avainsanasarjat viittaavat vain identtiseen osaan.
Taulukossa 2a on kuvattu esimerkki vaiheen 1 kyselyssä esiinnousseesta poikkeamasta;
samat avainsanat, mutta eri vastaus. Kursiivilla oleva teksti tarkoittaa, että vastaus on sisällönanalyysin yhteydessä todettu ”ehkä” vastaavan botille esitettyyn kysymykseen.
Vahvennetulla (boldattu) merkitty teksti kertoo oikein menneestä botin vastauksesta esi-tettyyn kysymykseen.
KUVIO 8. Botin osaamisen muutos ensimmäisen ja toisen vaiheen kyselyissä
Oikein Ehkä Väärin Yhteensä Oikein Ehkä Väärin Yhteensä
Vaihe 1 Vaihe 2
Identtiset 73 21 131 225 79 21 125 225
Lisäyksen jälkeen 82 25 169 276
Muutos 6 0 -6 51
-50 0 50 100 150 200 250 300
Kysymysten lukumäärä
Kysymyksiin botilta saatujen vastausten jaottelu kolmeen eri pääluokkaan
Kysymysmatriisin kysymykset
Identtiset Lisäyksen jälkeen Muutos Lin. (Identtiset)
Samat avainsanat kuin taulukossa 2a esitetyt tuottivat kyselyvaiheessa 2 taas hieman erilaisen vastauksen. Taulukon 2b esimerkki kuvaa tilannetta, miten projektiryhmä oli muokannut vastausta, johon kyseiset avainsanat ovat kiinnitettyinä.
Vastaus (bold teksti = oikein/ vihreä)
Jos asiakkaan palveluseteliä ei löydy järjestelmästä, varmista vielä, että palvelusetelin numero on kirjoitettu oikein.
Jos varmasti oikein kirjoitetullakaan palvelusetelinumerolla ei löydy tietoja, voisi olla parempi koittaa ratkaista asiaa asiakaspal-velijan kanssa.
Botin vastaamisosaamisen kehittymistä kahden kuukauden aikana kuvaa myös se, että botille alettiin rakentaa ehdollisia ohjelmointilausekkeita tietokantaan. Tällä tarkoitetaan tilannetta, jossa asiakas päättää botin ehdotuksesta, miten tämä haluaa jatkaa keskustelua.
Taulukoissa 3a ja 3b on kuvattuna esimerkillä vaihtoehtotilanne, jossa valitsemalla sa-noista ”asiakas” tai ”palveluntuottaja” botti antaa erilaisen jatkovastauksen. Tosin esi-merkkitapauksen perusteella vain ”asiakas” -vaihtoehdon valinnut käyttäjä sai oikeaksi tulkittavan vastauksen. ”Palveluntuottaja” -vaihtoehdon kirjoittanut sai toisessa vaiheessa haastattelussa täysin puutteellisen ”väärän” vastauksen. Merkillepantavaa on, että mo-lempiin vastauksiin on kuitenkin lokiin kirjautuneet samat avainsanat.
Vastaus (kurssivilla = ehkä/ keltainen ja bold teksti = oikein/ vihreä) Avainsanat
Jos asiakkaan palveluseteliä ei löydy järjestelmästä, varmista vielä, että palvelusetelin numero on kirjoitettu oikein. Jos varmasti oikein kirjoitetul-lakaan palvelusetelinumerolla ei löydy tietoja, voisi olla parempi että yh-distän sinut asiakaspalvelijalle.
Jos asiakkaan palveluseteliä ei löydy järjestelmästä, varmista vielä, että palvelusetelin numero on kirjoitettu oikein. Jos varmasti oikein kirjoitetullakaan palvelusetelinumerolla ei löydy tietoja, voisi olla pa-rempi että yhdistän sinut asiakaspalvelijalle. Jos palvelusetelinumero oli oikein, eikä edelleenkään löydy järjestelmästä ja haluat että yhdis-tän sinut asiakaspalveluumme, vastaa "kyllä" tai jos asia ratkesikin numeron tarkistuksella ja ei tarvitse jatkoselvitystä, vastaa "ei".
palse, seteli*, pal-veluseteli* AND ei löyd*, en löydä, puuttuu, ei tule näkyv*
TAULUKKO 2b. Esimerkki vaiheen 2 kyselyn tuloksista: vastauksen muokkaus sa-moilla avainsanoilla kuin vaiheessa 1
TAULUKKO 2a. Esimerkki vaiheen 1 kyselyn tuloksista: vastauspoikkeama samoilla avainsanoilla
Onnistuneen tietojärjestelmän käyttöönottoa voidaan tarkastella DeLone ja McLeanin (2003) mukaan sen tuottaman tiedon vakuuttavuuden ulottuvuuden perusteella. Tätä on tarkasteltu vertaamalla botin antamien oikeiden vastausten määrää harmonisoituun ja redudantisoituun aineistoon. Samoin väärien tai puuttuvien vastauksien määrä ja sen muutokset olivat tarkastelun kohteena. Kuviossa 9a on kuvattuna molempien vaiheiden kysymyksiin liitettyjen oikeiden vastausten määrä. Todetaan erotuksen osoittavan (n=17)
3a. Kysyjän valinta vaih-toehtoiseen kysymykseen:
Asiakas
(vastaus = oikein/ vihreä)
Avainsanat 3b. Kysyjän valinta vaih-toehtoiseen kysymykseen: vielä oletko asiakas eli po-tilas (vastaa: asiakas), vai palveluntuottaja (vastaa:
palveluntuottaja)
asiakas
Jos et ole tyytyväinen hoidosta saamaasi las-kuun, sinun tulee aina ensin keskustella asiasta
09-310 51400, ma-to klo 7-18 ja pe klo 7-15. vielä, oletko asiakas eli potilas (vastaa: asiakas), uusiksi niin ehkä osaan vastata paremmin.
TAULUKOT 3a ja 3b. Esimerkki ehdollisesta lausekkeesta, jossa käyttäjä valitsee botin tarjoamista vaihtoehdoista
oikeiden vastausten lukumäärän kasvua, näiden kahden mittaushetken välillä. Toiseen vaiheen tulosten perusteella botin vastaamisosaaminen oli 36% luokkaa.
Kuviossa 9b on kuvattuna molempien vaiheiden kysymyksiin liitettyjen väärien vastaus-ten määrä. Tulosvastaus-ten perusteella todetaan erotuksen olevan vain kahden vastauksen kasvu kahden eri mittaushetken välillä. Vaiheessa 2 tulosten perusteella botin osaamattomuus oli 6,38% tasolla. Tähän tulokseen vaikuttivat oleellisesti ne toimenpiteet, joita vastausten avainsanasarjoja projektiryhmän toimesta tehtiin vaiheiden 1 ja 2 välillä.
KUVIO 9a. Botin vakuuttavuus arvioituna oikeiden vastauskertojen määrällä vaiheessa 1 ja vaiheessa 2
KUVIO 9b. Botin vakuuttavuus arvioituna väärien tai puuttuvien vastauskertojen määrällä vs. kysymysten kokonaismäärä (n=235)
68 Toiseen vaiheen osuus kaikista kysymyksistä
Oikeat Vastaus- avainsanatparit Vaiheen 2 vastausten osuus kaikista kysymyksistä Muutos (n)
Väärät vastaus -avainsanaparit
Kahden kuukauden muutos
Vakuuttavuus
Botin osaamista tarkasteltaessa vastaamistarkkuuden kautta, niin järjestelmän tuottaman informaation ja neuvontapalvelun laatua tulee pystyä arvioimaan kokonaisuutena. Tämä on kuvattuna kuviossa 10.
Botin käytettävyyttä arvioitaessa on otettava huomioon aineistosta kaikki oikeat vastauk-set (true), väärät oikeat vastaukvastauk-set (false true), tarkistettavat tai korjattavat vastaukvastauk-set sekä se kysymysten joukko, johon botilla ei ollut vielä valmiuksia vastata lainkaan. Jotta botin kautta jaettavan neuvonnan laatua voidaan kehittää jatkossa tulisi projektiryhmän kiinnittää huomiota väärien oikeiden (false true) vastausten (n=13), tarkistettavien (n=25) ja niiden kysymysten joukkoon, joihin se ei ole osannut vastata lainkaan (n=156). Näiden lukujen valossa botti osasi vastata tammikuussa 2019 noin joka kolmanteen sille esitet-tyyn kysymykseen eli kolmeen kysymykseen kymmenestä kysymyksestä.
0 50 100 150 200 250 300
Kaikki kysymykset
yhteensä
Oikeita Vääriä
vastauksia
Tarkistettavia Botti ei osannut vastata lainkaan 276
82
13 25
156
Kysymysten määrä
Jakauma, miten botti osasi vastata kysymyksiin tammikuussa 2019
KUVIO 10. Botin kyselyvaiheessa 2 antamien vastauksien jakauma suhteessa kysy-mysmatriisin kysymyksiin