Yhteenveto tuloksista

Tulosten perusteella PSOP -chatbotin vastaamistarkkuus parani kahden kuukauden ai-kana noin 3 % (n=6) identtisten kysymysten osalta (n=225). Jos tarkastellaan pelkästään toisen kyselyvaiheen tuloksia (n=235), niin silloin botin vastaamistarkkuus ja -osaaminen eli botin vakuuttavuus oli 36% (n=85) luokkaa. Botin avulla tarjotun palvelun saavutet-tavuus käyttäjälle oli 7 sekunnin kymmenysosaa, kun kysymykseen botti antoi yhden tai

useamman jatkovastauksen. Yhden yksittäisen vastauksen vasteaika kysymykseen oli 3 sekunnin sadasosaa.

Selkeä muutos botin välittämän informaation laadussa löytyi 14 kysymyksen kohdalla, joihin tietokannassa vaiheessa 1 ei ollut vielä vastauksia olemassa lainkaan tai avainsanat olivat puuttuneet vastauksista. Täysin uusia vastauksia, jotka lisättiin tietokantaan vasta marraskuun käyttöönoton jälkeen, oli kaksi (n=2). Niistä vaiheen 1 tietokannassa olleista vastauksista, joiden yhteydessä avainsanoja oli muutettu ennen vaiheen 2 kyselyn uusin-taa, oli yhteensä 24. Näiden vastauksien avainsanojen muutoksen jälkeen 14 kysymystä oli saanut oikean vastauksen, 2 kysymystä olivat ”ehkä” oikein tai vastaus ei suoraan vastannut kysymykseen. Loppujen 8 kysymyksen kohdalla botti ei osannut vastata oikein kysymyksestä poimimiensa avainsanojen perusteella.

Kyselyvaiheessa 2 botin antamien vastausten asiaan kuuluvuus toteutui 82 kysymyksen kohdalla. Niitä kysymyksiä, joihin botti vastasi väärin (false true) oli 13. Jolloin botin väärien vastausten osaamistaso oli 6,38% luokkaa. Kysymyksiä, joihin botti ei osannut vastata lainkaan oli 156. Näiden tulosten perusteella botin asiakkaalle tai palveluntarjo-ajille antama informaatio ja neuvontapalvelu olivat kaksi kuukautta käyttöönoton jälkeen sisällöllisesti melko samanlaista kuin käyttöönoton aikaan. Suuria muutoksia ei aineis-tosta saatu nousemaan esille. Mielenkiintoisia poikkeamia ja ilmiöitä pystyttiin tunnista-maan, kuten se, että botin kyselyvaiheessa 1 oikein annettu vastaus oli muuttunut kysely-vaiheessa 2 ”ei osannut vastata” -muotoon tai samalla avainsanasarjalla botti saattoi antaa täysin erilaisen vastauksen. Nämä poikkeamat tulee huomioida ja poissulkea chatbottien tietokantoja rakennettaessa ja käyttöönoton mallinnusta tehtäessä. Tärkein tutkijan ha-vainto tuloksista lienee se, että vastauksiin liitettyjä avainsanasarjoja laadittaessa, tulee pystyä erottelemaan eri vastausten avainsanasarjat toisistaan. Botti ei pysty vastaamaan oikein, jos sama avainsanasarja on liitetty kahteen eri vastaukseen. Samoin vastaamis-tarkkuutta tarkasteltaessa, riittävien avainsanasarjojen tai -joukkojen laadinta on tarpeen, jotta samaa asiaa kysyttäessä eri tavoin botti osaa vastata oikein.

Projektiryhmän toiminnassa nousi selkeästi esille se, ettei chatbotin tietokannan rakenta-miseen tarvittavaa työpanosta ja sitoutumista ollut osattu resursoida oikein käyttöönottoa

seuraavaan aikaan. Toisin kuin perinteisissä tietojärjestelmien käyttöönotoissa luonnol-lista kieltä ymmärtävän botin tuotantokäyttö vasta käynnistää tietokannan todellisen ra-kentamistyön saatuun käyttäjäkokemukseen perustuen. Sisällöntuottajaryhmän toimen-piteet botin tietokannan laajentamiseksi ja osaamisen parantamiseksi olisivat voineet olla tehostetumpia marras-joulukuussa 2018, jotta botin vastaamistarkkuuden parantamiseksi olisi saatu paljon enemmän käyttäjäkokemusta ja käyttäjien esittämien kysymysten pe-rusteella lokitietoa siitä, mitä botilta odotetaan.

Tutkimusaineistoa kerättäessä havainnointiin myös botin kautta annettavan palvelun saa-tavuutta tallentamalla kysymysten ja botin niihin antamien vastausten tai vastaussarjojen vasteajat. Saatujen tulosten perusteella botti toimii käyttäjäystävällisesti ilman käyttäjää turhauttavia tai viivyttäviä odotusaikoja. (Kinnunen 2017, 15; Hämäläinen 2001.) Mutta asiakkaan käyttökokemukseen varmasti vaikuttaa, että botti osasi vastata tammikuun ky-selyvaiheessa vain kolmeen kysymykseen kymmenestä oikein. Niissä tilanteissa, joissa botti ei osannut vastata, se kysyi käyttäjältä haluaisiko tämä keskustella ihmisasiakaspal-velijan kanssa. Halutessaan keskustella ihmisen kanssa, käyttäjä vastaamalla valintaky-symykseen sai valita chat -kontaktin käännön reaaliaikaiseen chat-palveluun, joka on avoinna virka-aikaan. Asiakaspalaute linkin lisääminen PSOP -chatbottiin ja sitä kautta asiakkailta lisätietojen saaminen botin käytettävyydestä olisi yksi mahdollisuus saada kei-noja parantaa botin osaamista.

Uuden luonnollista kieltä (NLP) hyödyntävän chatbotin käyttöönoton yhteydessä pro-sessi etenee tämän tutkimuksen tulosten pohjalta laaditun teoreettisen mallin mukaan, joka kuvattu kuviossa 14. Aivan käyttöönottoprosessin alussa, ennen aloittamista, sosi-aali- ja terveydenhuollon botin tarve tulee miettiä erittäin tarkoin sekä kirkastaa se palve-lulupaus, jota bottia käyttäville asiakkaille halutaan viestittää. Uuden palvelukanavan käyttöönoton tavoitteena tulee olla hyvä käyttäjäkokemus, jollainen syntyy silloin, kun tietojärjestelmä tarjoaa nopeasti ja yksinkertaisilla toimenpiteillä käyttäjälleen tämän tar-vitseman vastauksen (Hämäläinen 2001). Tällöin vapautuu aiemmin kysymyksiin vastan-neen ihmisen työpanoksen toisaalle. Tämän tavoitteen saavuttamiseksi botin vastaustie-tokannan ja siihen liitettyjen avainsanojen tulee olla hyvin harkittuja ja laajasti testattuja, jotta botilla on mahdollisuus tarttua eri tavoilla esitettyihin kysymyksiin ja tarjota oikeaa vastausta käyttäjälle. (Cameron ym. 2017; Vaira ym. 2018; Voutilainen 2018.)

Tämän tutkimuksen tulosten perusteella olisi suositeltavaa, että uuden botin tietokantaa lähdetään rakentamaan siten, että palveluntarjonnasta vastaava sosiaali- ja terveydenhuol-lon ammattilaiset teemoittavat tai luokittelevat usein kysytyt kysymykset ”UKK” -aineis-ton tai vastaavan taustamateriaalin. Tämä auttaa hahmottamaan ja kohdentamaan botin vastaustietokantaa haluttuun aihepiiriin. Tämän jälkeen vastauksiin lähdetään miettimään kysymyksiä, miten usealla eri tavalla tätä kyseistä asiaa voitaisiin kysyä. Kun useampi kysymys on saatu listattua, niin näistä kysymyksistä poimitaan hypoteettiset avainsanat ja niiden erilaiset yhdistelmät AND, NOT tai OR -sanojen avulla. Lisäksi chatbotille on mahdollista laatia erilaisia päättelysääntöjä keskusteluhistorian perusteella: ”jos x on tosi, niin y on tosi” tai ” jos keskustelussa x on ollut epätosi, mutta y tosi, niin seuraava vastaus on z”. Ohjelmointilausekkeen luomisessa toimivat samat lainalaisuudet ja logiikka kuin lauselogiikassa eli propositiologiikassa sekä siitä johdettavassa predikaattilogiikassa.

(Niiniluoto 1999, 97-98; Hyvönen 2018, 152-159.) Tällöin botin vastaustarkkuus on hal-litun prosessin sisällä ja vastausten luotettavuus paranee. Lisäksi ylläpidon näkökulmasta olisi järkevää listata muodostetut avainsanasarjat erilliseen taulukkoon yhdessä botille tallennettujen vastausten kanssa teemoittain.

KUVIO 14. Chatbotin käyttöönoton malli sosiaali- ja terveydenhuollossa

Ylläpidon näkökulmasta olisi oleellista, että tietokannasta vastaavat sosiaali- ja tervey-denhuollon ammattilaiset myös itse voisivat testata oletettujen avainsanojen toimivuuden joko botin testi- tai tuotantoympäristössä, jolloin mahdolliset ristiriidat ja puutteet havai-taan ennen uuden vastauksen ja avainsanasarjan tai -joukon julkaisua tuotantoon. Botin käyttöönoton jälkeenkin botin lokia on laadun varmistamiseksi kuitenkin seurattava ja sieltä poimittava ne kysymykset, joihin botti ei ole osannut vastata lainkaan kysymyk-seen, annettu vastaus ei ole kohdentunut oikein tai vastausta pitäisi päivittää tiedon oi-keellisuuden ja luotettavuuden varmistamiseksi. Samalla kansalaisten mahdollisuus saada neuvoa ihmisasiakasneuvojalta on varmistettava aina, kun kyseessä on julkisen sek-torin palvelu. Tämä on jokaisessa käyttöönotossa mietittävä erikseen ja palvelusta vas-taavan tahon on mietittävä, millainen on asiakaspalveluprosessi, joka erilaisille asiakas-ryhmille tarjotaan, jotta kaikki kansalaiset ovat viranomaispalvelujen piirissä.

7 POHDINTA