PSOP -chatbotin informaation ja neuvontapalvelun laatu

Aineiston sisällönanalyysin yhteydessä, laadittaessa aineiston alaluokittelua kuuteen eri alaluokkaan, suurimpana alaluokkana erottui ”korjaus”. Tähän alaluokkaan sijoitettiin kaikki ne tutkimusaineiston kysymykset, joihin sisällön analyysin perusteella löytyisi vastaukset jo tietokannasta, mutta niihin liitettäviä avainsanoja ei ollut tarpeeksi tai ei ollenkaan, jolloin botti ei osannut vastata lainkaan. Kuviossa 11a on kuvattuna vastausta vaille jääneet kysymykset molempien kyselyvaiheiden osalta. Tutkijan ehdottamat kysy-mykset on huomioitu toiseen vaiheen lukujen yhteydessä laskettaessa muutosta vaihe 1 ja vaihe 2 bottihaastatteluihin. Muutos vaiheen 1 ja vaiheen 2 identtisten kysymysten vä-lillä muutos oli vain kaksi kysymystä, joka tarkoittaa sitä, että sisällöntuottajaryhmän toi-minnan tuloksena botti ei osannut vastata vaiheessa 2 kahteen sellaiseen kysymykseen, joihin se oli osannut vastata vaiheessa 1. Kehityssuunta oli siis negatiivinen.

22 23 24 25 26 27 28 29 30

Vaihe 1 Vaihe 2 Tutkijan ehd.

kysymykset

Muutos 25

27

28

30

Korjattavia kysymyksiä

Kysymys-vastausotokset, joista avainsanat puuttuvat

EHEYS

KUVIO 11a. Botin tiedon eheys arvioituna kysymysten määrällä, joihin botti ei osannut liittää tietokannasta vastausta

Tutkimusmatriisin kysymyksiin ja vapaaehtoisten testaajien esittämiin kysymyksiin botin antamien vastausten perusteella muodostui tutkimusaineistosta kaikkiaan 18 erilaista ai-hepiiriä eli teemaa, jotka ovat kuvattu kuviossa 11b.

Kuviossa 11b on teemojen lisäksi kuvattu muutosarvolla tilannetta, jossa tarkasteltavassa luokassa ei vaiheessa 1 ollut vielä esitetty yhtään kysymystä matriisin perusteella botille kyseisestä aihepiiristä. Vaiheessa 1 korjausta vaativia kysymyksiä matriisin perusteella oli noin 10 % (n=17), mutta vaiheessa 2 kysymysmatriisia oli laajennettu tutkijan lisää-millä kysymyksillä (n=235), jolloin korjattavia kysymyksiä aineistosta oli 22 % (n=51).

Näiden teemojen osalta oleellisin muutos kysymysten nousemiselle toiseen vaiheen tut-kimusaineistoon liittyi vaiheen 1 vapaaehtoisten testaajien esittämiin kysymyksiin, jotka kohdistuivat asiakkaiden näkökulmasta palvelusetelien yleisneuvontaan (3. Yleistietoa palvelusetelistä), omavastuuosuuteen ( 5. Omavastuu), palvelusetelin saamiseen kotiin (6. Postitus), palveluntarjoajan vaihtamiseen hoidon ollessa kesken (7. Palveluntarjoajan vaihto, TUTHO -seteli) sekä palautteen antamiseen (14. Palaute, kiitos), ajanvarauksen KUVIO 11b. Botin tiedon eheys arvioituna teemoittain korjattavien kysymysten perus-teella

Kaikki korjattavat kysymykset Vaihe 1 (n=17) ja vaihe 2 (n=51)

Aineistosta nousseet teemat (n=18)

EHEYS

Vaihe 1 Vaihe 2 Muutos

tekemiseen (16. Ajanvaraus) ja asiakkaan tunnistautumiseen PSOP -järjestelmään (17.

Asiakkaan tunnistautuminen). Samoin palvelutarjoajan näkökulmaa testatakseen vapaa-ehtoiset testaajat olivat esittäneet kysymyksiä, jotka liittyivät laskutukseen (3. Laskutus), PSOP -järjestelmän käyttäjätunnuksiin (11. Käyttöoikeuksien haku ja ylläpito) sekä ra-portointiin (15. Raportit). Toiseen vaiheen testauksen yhteydessä todettiin, että näihin en-simmäisen vaiheen testauksessa esiin tulleisiin uusiin aihepiireihin oli projektiryhmän toimesta laadittu jo vastauksia vaiheeseen 2 tultaessa, mutta avainsanat puuttuivat koko-naan näistä vastauksista tai ne olivat vajaat, joten botti ei osannut vastata sille esitettyyn kysymykseen.

Aineistoa luokiteltaessa kuuteen eri alaluokkiin tulos, muutos, väärin, korjattavat ja uu-det. Alaluokkaan ”tulos” sijoitettiin sisällöllisesti ainoastaan ne kysymykset, jotka olivat olleet identtisiä molemmissa kyselyissä ja botti oli antanut saman oikean vastauksen mo-lemmilla kerroilla (n=225). Alaluokkaan ”muutos” sijoitettiin ne kysymykset, joissa vas-taus oli ollut oikein sekä vaiheessa 1 että vaiheessa 2, mutta vasvas-tausta oli muutettu kahden kuukauden seurantajakson aikana projektiryhmän toimesta jollain tavalla. Alaluokkaan

”väärin” sijoitettiin ne kysymykset, joihin botti oli osannut vastata oikein vaiheessa 1, mutta ei enää vaiheessa 2. ”Korjaus” alaluokkaan sijoitettiin ne kysymykset, joihin botin tietokannasta löytyisi vastaus tutkijan tulkinnan mukaan ja ”uudet” alaluokkaan sijoitet-tiin ne kysymykset, joihin botin antamien vastausten perusteella ei vielä löytynyt tieto-kannasta sopivaa vastausta.

Kuviossa 12a on kuvattu aihepiireittäin eli teemoittain ”tulos” -alaluokkaan sijoitettujen kysymys-vastausparien määrät. Kyselyvaiheessa 1 oikein vastattuja kysymyksiä oli 25,5

% (n=57,5) kaikista esitetyistä kysymyksistä (n=225). Kuviossa 12a on kuvattu lisäksi kyselyvaiheen 1 botin oikein vastaamat kysymykset pylvään ensimmäisen osan sinisellä palkilla. Toisen vaiheen kysymys-vastausparit on kuvattu punaisella palkilla, joihin botti vastasi oikein 30 % (n=68,5) sekä ”väärien” vastausten muutos (n=3) vaiheessa 2 vihre-ällä palkilla. Positiivinen muutos (n=11) vastausten asiankuuluvuuden näkökulmasta on kuvattu kuviossa 12a pylvään reunimman osan liilalla värillä teemoittain.

Botin vastausten asiaan kuuluvuutta arvioitaessa selkeimmin oikein kohdentuneiden ky-symys-vastausparien muutos näkyy seuraavissa teemoissa: 1. Palveluseteliä ei löydy, 4.

Yleistietoa palvelusetelistä, 5. Omavastuu, 7. Palvelutarjoajan vaihto (TUTHO) ja 17.

Asiakkaan tunnistautuminen. Kolmessa eri teemassa havaittiin ensimmäisen ja toisen ky-selyvaiheen botin vastausten ”väärin” -alaluokan kohdalla löydöksiä. Nämä teemat olivat 2. Reklamaatio palvelutuottajasta, 3. Laskutus ja 8. PSOP -käyttöohje.

Jotta aineiston luokittelu teemoittain ja alaluokittain oli ylipäätänsä mahdollista, niin sitä ennen botin antamien vastausten asiaan kuuluvuus mittaroitiin sisällönanalyysin yhtey-dessä luokittelemalla ”kysymys - vastaus” parit kolmeen eri pääluokkaan ”oikein tai ehkä oikein” vihreällä värillä, ”ehkä tai vajaa” keltaisella värillä ja ”väärin tai puuttuu” punai-sella värillä. Liitteissä 3a ja 3b on kuvattu taulukkoesimerkit aineiston analysoinnin tästä vaiheesta.

Vastausten asiaankuuluvuutta arvioitaessa todettiin seuraavanlaisia havaintoja liittyen vastauksiin yhdistettyihin avainsanajoukkoihin. Liitteen 3a taulukon esimerkistä voidaan todeta, että tarkastelun kohteena olleen botin tietokannan vastaukseen, se on neljän (n=4) KUVIO 12a. Vastausten asiaankuuluvuus vaiheissa 1 ja vaiheissa 2 sekä vastausosaa-misen huonontuminen vaiheessa 2.

0,5 11. Käyttöoikeuksien haku ja ylläpito 12. Järjestelmäroolit (pääkäyttäjä) 13. Uusi palv.tarjoaja ja sääntökirja 14. Palaute (kiitos) 15. Raportit 16. Ajanvaraus 17. Asiakkaan tunnistautuminen 18. Palvelusetelin voimassaolo

KYSYMYSTEN LUKUMÄÄRÄT ERI VAIHEISSA, JOIHIN BOTTI ON VASTANNUT OIKEIN TAI VÄÄRIN SEKÄ VAIHEIDEN VÄLINEN MUUTOS

VASTATUT KYSYMYKSET TEEMOITTAIN

ASIAANKUULUVUUS Vaiheessa 1 oikein Vaiheessa 2 oikein Vaiheessa 2 väärin Muutos (n)

kysymyksen kohdalla onnistunut vastaamaan ensimmäisessä kyselyvaiheessa oikein.

Liitteen 3a taulukon PSOP -chatbotin esimerkkivastaus kuuluu seuraavasti: ”Yritys il-moittaa kaikki työntekijät tarvittavine liitteineen: hammaslääkäristä, tutkinto- ja distus sekä asema yrityksessä, suuhygienististä ote JulkiTerhikistä ja tutkinto- ja kielito-distus.” Tällöin vastaukseen liitetyt avainsanat ”PSOP, hakemu* AND tiedot, työnteki*, mitä, tarvitaan, tiet*” ovat olleet näiden kysymysten osalta oikeanlaiset ja botti on osan-nut antaa toivotun vastauksen eli tuloksen. Kysymykset, jotka on sijoitettu liitteen 3a tau-lukossa luokkiin ”ehkä väärin” (n=1) ja ”väärin” (n=1) kuuluisivat tutkijan tulkinnan mu-kaan paremminkin jonkin toisen vastauksen yhteyteen, eikä tämän botin kyselyvaiheessa 1 antaman vastauksen piiriin. Kyseisten ”ehkä väärin” ja ”väärin” -alaluokkien kysymys-ten osalta sisällöltään sopivat vastaukset vaatisivat avainsanojen uudelleen arviointia.

Kyselyn toisessa vaiheessa botti on osannut vastata vain kolmeen (n=3) kysymykseen kuudesta oikein liitteen 3a taulukon esimerkissä, jotka kuvattiin edellä. Vastaustarkkuus oli ollut ensimmäisen kyselyn yhteydessä 4 kysymystä oikein ja kaksi kysymystä ”ehkä väärin” tai ”väärin”. Botilta kysyttiin täsmälleen samat kuusi kysymystä molemmissa ky-selyvaiheissa. Mutta tulos oli muuttunut vaiheen 2 kyselyssä. Toisen vaiheen oikeiden vastausten muutoksen (n= -1) taustalla on ollut liitteen 3a esimerkkitapauksessa kysymys:

” PSOP -hakemuksessa kysytään työntekijöiden tietoja, mitä ne ovat?”. Ensimmäisessä kyselyvaiheessa botti on osannut antanut kysymykseen sisällöllisesti oikean vastauksen, mutta toisessa kyselyvaiheen yhteydessä ei.

Selitys löytyy vastausosaamisen huonontumiselle, kun tarkastellaan liitteen 3a taulukon esimerkkivastaukseen liittyvää lokista poimittua vastaavaa avainsanajoukkoa ”psop, ha-kemu*, AND tiedot, työnteki*, mitä, tarvitaan, tiet*”. Tämän havainnon perusteella voi-daan todeta vastaustarkkuuden muutoksen johtuneen siitä, että on olemassa myös toinen, täysin identtinen avainsanajoukko, joka on liitetty muuhun vastaukseen (liite 3b). Tämä toinen vastaus kuuluu: ”PSOP järjestelmään ei voi liittää excelhinnastoja. Hinnat täytyy syöttää yksitellen suoraan järjestelmään.” Tulosten perusteella on todettava ja lisätutki-muskysymyksiä herättävää, että sama avainsanajoukko oli ollut käytössä myös ensim-mäisen kyselyvaiheen aikana ja liitettynä kahteen eri vastaukseen. Avainsanajoukko muodostetaan periaatteessa kahdesta tai useammasta avainsanasarjasta, jotka liitetään toi-siinsa AND, NOT tai OR -komentojen avulla.

Liitteen 3b taulukon esimerkin vastauksesta on huomioitava lisäksi myös se, että tarkas-telussa oleva avainsanajoukko on aktivoinut botilta saman vastauksen esitettyyn kysy-mykseen molempina haastattelukertoina. Tutkijan tulkinnan mukaan liitteen 3b taulukon kysymykseen ”Mitä ovat PSOP -järjestelmän käyttäjäroolit?” botin antaman vastauksen tulisi kuvata ja neuvoa tarkemmin PSOP -järjestelmän käyttöoikeuksista ja -rooleista (teema 11. Käyttöoikeuksien ylläpito ja haku) enemmin kuin liittää kysymys sellaiseen vastaukseen, jossa ohjataan PSOP -järjestelmän hinnastojen Excel -liitetiedostojen liittä-miseen. Tämän vuoksi kysymys on luokiteltu taulukossa keltaisella värillä kategoriaan

”ehkä”, koska kysymyksen asiasisältö ja vastaus eivät kohtaa toisiaan.

Kuviossa 13 on kuvattu botille eri teemoista esitetyt kysymykset, joihin se on osannut vastata oikein. Tuloksissa ovat mukana alaluokkiin ”tulos” ja ”muutos” sijoitetut kysy-mysten määrät, joihin botti on antanut oikean vastauksen. Kysymyksen antaessa saman

”tuloksen” eli vastauksen molemmilla kyselykerroilla, se sai aineistossa arvon laskennal-lisesti 1. Mikäli kysymys antoi molemmissa kyselyvaiheissa oikean vastauksen, mutta ne olivat sisällöltään eriäviä toisistaan, niin kysymys sai arvon 0,5 kummankin vastausker-ran yhteyteen. Molemmat kysymykset sijoitettiin ”muutos” alaluokkaan.

0,5 11. Käyttöoikeuksien haku ja ylläpito 12. Järjestelmäroolit (pääkäyttäjä) 13. Uusi palv.tarjoaja ja sääntökirja 14. Palaute (kiitos) 15. Raportit 16. Ajanvaraus 17. Asiakkaan tunnistautuminen 18. Palvelusetelin voimassaolo

KYSYMYSTEN MÄÄRÄ, JOHON BOTTI VASTASI OIKEIN

TEEMAT

MUKAUTUVAISUUS

KUVIO 13. Botille esitetyt kysymykset teemoittain, joihin se on vastannut oikein.

Kuvion 13 teemat, joista oli kysytty botilta eniten: 8. PSOP -käyttöohje (n=11), vastauk-sia botin tietokannassa valmiina oli 12 erilaista. 9. Ammatinharjoitusliite (n= 6), jossa oli 4 erilaista vastausta tallennettuna botin tietokantaan.10. Hinnasto (n=20), johon oli 12 erilaista vastausta valmiina botin tietokannassa sekä 11. Käyttöoikeuksien haku ja yllä-pito (n=9), johon oli viisi erilaista vastausta botin tietokannassa.

Botin algoritmien toimiessa suunnitellusti, asiaan kuuluvasti ja mukautuvasti, se osasi vastata useampaan kysymykseen samasta aiheesta sisällöllisesti oikein. Liitteen 4a taulu-kossa on annettu esimerkki vastausten ja kysymysten luokittelusta teeman ”11. Käyttöoi-keuksien haku ja ylläpito” avulla. Tietokannassa kyseiseen teemaan yhteydestä löytyy kaikkiaan viisi erilaista vastausta, jotka botti on antanut vastauksena erilaisiin kysymyk-siin. Yksi niistä, joka on esimerkkivastauksemme liitteessä 4a, kuuluu näin: ” Tunnuson-gelmissa ota yhteyttä suun terveydenhuollon ostopalveluun osoitteeseen: suunte.ostopal-velut@hel.fi”. Vastaus on sisällöllisesti oikea vastaus viidelle botille esitetylle kysymyk-selle molemmilla kyselykerroilla. Botille esitetyt tutkimuskysymykset olivat: 1) tapalvelua tunnukseni on lukkiutunut, mistä voisin saada uuden tunnuksen?”, 2) ”Paras-tapalvelua tunnukseni on lukkiutunut, miten saan ne auki?”, 3) ”Tunnukseni meni luk-koon, mitä teen?”, 4) ”Tunnukseni on lukkiutunut, mitä teen?” ja 5) ”Tunnukset on lu-kossa”. Avainsanasarja, joka antoi, sisällöllisesti oikean vastauksen esitettyihin kysy-myksiin on: ” tunnu*, parastapalvelua, psop, käyttäjät* AND luk*”, jolloin päättely vas-tauksen tarvitsemista avainsanoista on laadittu asiaan kuuluvasti ja mahdollistanut mu-kautumisen erilaisiin kysymyksiin tämän vastauksen osalta.

Liitteen 4a taulukossa on kuvattu myös vastaus: ” Salasana vanhenee aina 90 päivässä”.

Tuo toinen esimerkkivastaus liitteen 4a taulukossa on värjätty taulukossa punaisella vä-rillä, koska siinä botti ei ole vastannut lainkaan kysymykseen: ”Milloin salasanani van-henee?”. Voitaneen päätellä, että tietokannasta löytyisi vastaus, joka olisi sisällöllisesti oikea vastaus esitettyyn kysymykseen. Syy siihen, ettei vastaus ole aktivoitunut on, että kysymyksessä ei ole yhtään sanaa, joka olisi liitettynä vastauksen avainsanajoukkoon.

Botti on kuitenkin osannut antaa saman edellä mainitun vastauksen kysymyksiin: 1)

”Kuinka kauan salasana on voimassa?” ja 2) ”Salasanan voimassaolo aika”.

Avainsanat, jotka ovat laukaisseet edellä kyseisen vastauksen ”Salasana vanhenee aina 90 päivässä.” ovat ”salasan*, passu, password; sala sana, AND voimassa*, kauan*, mi-ten, kuinka, pitkään, usein”. Tämän avainsanajoukon perusteella voidaan todeta syy sii-hen, miksi kysymys ”Milloin salasana vanhenee?” ei ole saanut toivottua vastausta. Vas-taukseen liitetyssä avainsanajoukossa ei ole sanaa ”Milloin” ohjelmointilausekkeen AND ehdon jälkeen. Liitteissä 4a ja 4b ovat kuvattuina esimerkkivastaukset, niihin liite-tyt avainsanat sekä kysymykset.