Tekoälyn kehittäminen vaatii runsaasti dataa ja datan laatu heijastuu saavutettaviin lopputuloksiin (FRA, 2019). Korkealaatuisten järjestelmien kehittäminen vaatii siis korkealaatuista dataa ja vastaavasti heikkolaatuinen data voi johtaa jopa ihmisten perusoikeuksien loukkaamiseen (FRA, 2019). Usein lainattu lausahdus kuuluu"garbage in - garbage out", roskaa sisään - roskaa ulos (FRA, 2019). Tekoälyn läpinäkyvyyttä voidaankin lisätä myös valaisemalla hyödynnettävää dataa.
Vinouma (bias) on keskeinen datan laatua kuvaava käsite. Erityisesti suurissa datamää-rissä data on usein heterogeenistä (Mehrabi ym., 2019). Se koostuu useiden pienempien
ryhmien tuottamasta datasta, joilla on omat piirteensä (Mehrabi ym., 2019). Jos vi-nouman sisältämää dataa hyödynnetään tekoälymallin koulutuksessa, voi vinouma siirtyä mallin tuloksiin, joista voi tulla epätarkkoja ja käyttötarkoituksesta riippuen epäoikeudenmukaisia (Mehrabi ym., 2019).
Mehrabi ym. (2019) esittävät seuraavan hypoteettisen esimerkin: ravitsemustutkimus selvittää painoindeksin suhdetta päivittäin syödyn pastan määrään. Regressioanalyysi osoittaa painoindeksin nousevan pastansyönnin lisääntyessä (ks. Kuvan 2.7 vasen kuvaaja, punainen viiva). Kuvan 2.7 vasemman esimerkin tutkijat eivät kuitenkaan olleet tietoisia käytetyn datan heterogeenisestä luonteesta. Data oli kerätty usealta eri ryhmältä: ihmisiltä jotka eivät harrasta liikuntaa, keskimääräisesti kuntoilevilta sekä kilpaurheilijoilta. Kun sama analyysi suoritetaan erottelemalla nämä kolme ryhmää toisistaan (ks. Kuvan 2.7 oikea kuvaaja) ryhmien sisäiset trendit (kuvaajan vihreä viiva) ovatkin negatiivisia. Jos analyysien pohjalta tehtäisiin ravintosuosituksia olisivat ne täysin päinvastaisia. Datan ymmärtäminen on siis välttämätöntä vähintään sitä hyödyntäville asiantuntijoille.
Kuva 2.7:Mehrabi ym. (2019) esimerkki vinoumasta regressiomallin datassa.
Mehrabi ym. (2019) listaavat yhteensä 23 erityyppistä vinoumaa. Vinoumat voivat johtua siis useista syistä ja kaikkien mahdollisuuksien huomioiminen on haasteellista.
Tunnettu esimerkki on historiallinen vinouma, joka johtuu olemassa olevien vinoumien (esimerkiksi tasa-arvo-ongelmien) näkymisestä datassa. Historialliset vinoumat voivat siirtyä tekoälymalleihin helposti tilanteissa, joissa käytetään esimerkiksi aiempia ih-misten tekemiä päätöksiä automaattisen päätöksenteon pohjana. Käyttäytymisvinouma (behaviorial bias) tarkoittaa vinoumaa, joka kohoaa käyttäjien erilaisesta käyttäyty-misestä erilaisissa konteksteissa (Mehrabi ym., 2019). Tällainen vinouma voi johtua esimerkiksi siitä, että data on kerätty eri alustojen käyttäjiltä Mehrabi ym. (2019).
Esimerkiksi H. Miller ym. (2016) havaitsi eri alustojen eriävien tapojen esittää emo-jeita johtavan eri tulkintoihin niiden merkityksistä. Tällainen melko pieni asia voisi vaikuttaa huomattavasti myös tämän tutkielman aineiston laatuun, jos mobiilikyselyn
vastausvaihtoehdot olisi toteutettu käyttäjän laitteesta riippuvalla tavalla. Vinoumia voi muodostua tekoälyjärjestelmää kehitettäessä myös esimerkiksi epäonnistuneen otannan seurauksena (Mehrabi ym., 2019). Voidaan helposti kuvitella esimerkiksi tilanne, jossa koneoppimismallin hyödyntämän datan jakaminen harjoitus- ja testausdataan ei ole satunnaista tai otokset ovat pienten määrien johdosta sattumalta epäedustavia.
Erityisesti AI-HOKS-hankkeen kannalta mielenkiintoisena näkökulmana Mehrabi ym. (2019) korostavat tekoälyjärjestelmien mahdollisuutta luoda itseään ruokkiva palautesykli (feedback loop). Tällaisessa tilanteessa esimerkiksi datan sisältämä tai kehittäjän aikaansaama vinouma aiheuttaa vinouman myös tekoälyn avulla saatuihin tuloksiin ja nämä vinoutuneet tulokset vaikuttavat tulevaisuudessa kerättävään dataan.
Jos esimerkiksi hyödynnämme koneoppimista lainojen myöntämiseen, tehdyt päätökset luovat uutta dataa siitä, millaisille hakijoille lainoja on myönnetty. Jos tätä dataa käytetään mallin parantamiseen tai uuden mallin luomiseen, sen vinoumat voivat siirtyvät taas eteenpäin ja vaikutukset voivat näin kasautua (Chouldechova & Roth, 2020). Monet tosielämän koneoppimisongelmista ovat luonteeltaan sellaisia, joissa vastaukkaisia tilanteita ei ole mahdollista havainnoida (Chouldechova & Roth, 2020). Tällaisia ovat esimerkiksi mainittu lainojen myöntäminen, riskin arviointi rikoksen uusimisille ja peräkkäiset lääketieteelliset kokeet (Chouldechova & Roth, 2020). Tällaisissa tilanteissa emme voi tietää olisiko henkilö maksanut lainansa takaisin tai miten tietty potilas olisi reagoinut eri lääkkeeseen (Chouldechova & Roth, 2020).
Euroopan unionin perusoikeusvirasto FRA on myös tunnistanut heikkolaatuisen datan tuomat riskit (FRA, 2019). Datan laatu on varsin laaja käsite. FRA:n (2019) mukaan datan laadun ongelmat voidaan jakaa kahteen laajasti käytettyyn konseptiin:
1. Edustavuusvirhe (error of representation, käännös tutkielman kirjoittajan). Data ei kata sitä populaatiota, jota sen on tarkoitus kuvata.
2. Mittausvirheet (measurement errors). Data ei mittaa sitä, mitä sillä on tarkoitus mitata.
Heikkolaatuinen data voi olla uhka ihmisten perusoikeuksien toteutumiselle (FRA, 2019). FRA (2019) listaa esimerkkien kautta useita tekoälyn käyttötapauksia (use case), joissa perusoikeudet voivat olla tai ovat jo olleet uhattuna. Tutkituin ja ilmeisin esimerkki on oikeus olla kohtaamatta syrjintää. Tekoälyn tuottamasta syrjinnästä on kuitenkin lukuisia esimerkkejä. Tämä voi näkyä myös erilaisten taloudellisten ja sosiaalisten oikeuksien toteutumisessa, jos tekoälyjärjestelmä ja sen käyttämä data vaikuttaa palve-luiden saatavuuteen (esimerkiksi Eubanks (2018)). Tämä on ajankohtainen aihe myös
Suomessa: AuroraAI-hankkeen on määrä auttaa kansalaisia löytämään palveluita, mistä esimerkiksi AlgorithmWatch (2020) on esittänyt huolensa. Lisäksi heikkolaatuinen data voi vaikuttaa sukupuolten välisen tasa-arvon toteutumiseen, jos jokin sukupuoli on datassa yliedustettuna. Myös oikeus oikeudenmukaiseen oikeudenkäyntiin ja oikeus tehokkaaseen hoitoon voivat olla uhattuna, kun tekoälyä hyödynnetään oikeusjärjes-telmissä ja sairaanhoidossa (FRA, 2019). Samoin data voi vaikuttaa hyvän hallinnon periaatteiden toteutumiseen (FRA, 2019).
FRA (2019) esittää myös tapoja datan laadun arviointiin. Datan laadun arviointiin liittyy monia seikkoja, kuten datan saatavuus, ajankohtaisuus, tarkkuus ja täydellisyys (FRA, 2019). FRA (2019) korostaa myös, ettei big dataa hyödynnettäessä tulisi ajatella datan suuren määrän takaavan sen laatua. FRA (2019) esittää tapoja datan laadun arviointiin aiemmin mainittujen edustavuus- ja mittausvirheiden kautta.
Mittausvirheiden arvioinnilla viitataan FRA:n (2019) mukaan siihen, kuinka hyvin data kuvaa mitattua asiaa. Se on käyttökelpoisin käsiteltäessä kyselydataa eli sopii siis hyvin tämän tutkielman aineiston arviointiin. Tällaisessa yhteydessä voidaan arvioida sitä, kuinka hyvin tietty kysymys mittaa haluttua asiaa. Samaa ajattelua voidaan soveltaa muihinkin tietolähteisiin. Esimerkiksi arvioitaessa lainan myöntämistä voidaan miettiä sellaisia kysymyksiä kuten "kuinka tarkkaa tuloista saatu tieto on?"tai "ovatko tulot hyvä luottokelpoisuuden indikaattori?"(FRA, 2019). Usein useita eri muuttujia käytetään mittaamaan yhtä asiaa ja usein kyse on vain approksimaatioista FRA (2019). FRA:n (2019) esimerkissä kysytään kuinka määrittelemme tai mittaamme sen, kuka on hyvä työntekijä. Samoin tämän tutkielman puitteissa opiskelijoiden tarvetta interventiolle on vaikea suoraan mitata. Olennaista on ymmärtää, että approksimoitaessa reaalimaailman ilmiöitä mittausvirhe on aina olemassa, ja tavoitteena on määrittää millainen virhe on hyväksyttävä (FRA, 2019).
Edustavuusvirheen kohdalla tilanne on sama: jos käytettävissä oleva data ei käsitä koko populaatiota, sisältää se jonkinlaisen vinouman (FRA, 2019). Satunnaisotannalla pystytään saamaan riittävän tarkkoja tuloksia suuristakin populaatioista, mutta hyväksyt-tävä tarkkuus tulee erikseen määrittää ja otoksen on oltava aidosti satunnainen (FRA, 2019). Esimerkiksi kyselytilanteissa edustava satunnaisotos ei kuitenkaan aina takaa edustavaa lopputulosta. Vastaajat voivat esimerkiksi kieltäytyä luovuttamasta tietojaan käytettäväksi tai jättää tyhjiä vastauksia (FRA, 2019). FRA (2019) korostaa erityisesti internetistä kerättyjen tietojen soveltamista koko väestöön ongelmallisena, varsinkin jos data on kerätty tietyltä alustalta. Samoin korostetaan ajankohtaisuutta, sillä aiemmin kerätty data ei välttämättä edusta enää edes saman alustan uusia käyttäjiä. Edustavasta otoksesta huolimatta data on usein myös puutteellista (FRA, 2019).
FRA (2019) peräänkuuluttaa yhtenäistä tapaa kuvata tietoaineistojen laatua. Datan laadun määrittäminen vaatii runsaasti tietoa datan hankkimisesta: esimerkiksi millä metodilla data on kerätty (haastattelu, kysely, rekisteri, käyttäjien seuraaminen verkossa), miten otos on valikoitu, mitkä ovat datan ajalliset ja maantieteelliset rajat. Tähän tarpeeseen on herätty myös Suomessa. Tilastokeskuksella on käynnissä tietoaineistojen laatukriteerejä määrittelevä hanke, joka sisältää monia samoja periaatteita (Tilastokeskus, 2021).
Tekoälymallit ovat siis vain yhtä hyviä kuin niiden hyödyntämä data. Tekoälyn vas-tuullinen käyttö edellyttää, että olemme tietoisia käytetyn datan laadusta. Jos data ei kuvaa haluttuja asioita tai se sisältää merkittäviä vinoumia, voi sen hyödyntäminen johtaa vakaviinkin ongelmiin. Koska datan laatu vaikuttaa näin merkittävästi tekoälyn avulla saavutettaviin tuloksiin, tulee se ottaa huomioon myös tekoälyn läpinäkyvyyttä edistettäessä. Tuomalla tekoälyn pohjalla vaikuttavaa dataa näkyväksi voimme myös parantaa selitettävyyttä. Erityisesti iteratiivisessa kehityksessä on otettava huomioon Mehrabi ym. (2019) esittämä palautesykli. Datan käyttö on pystyttävä perustelemaan ja sen rajoitteet on tuotava esille.
3. Selitettävyys osana
AutoML-kehitystä - esimerkkinä AI-HOKS
Tässä luvussa esitellään Helsingin kaupungin AI-HOKS-hankkeen kanssa yhteistyössä toteutettu tapaustutkimus. Tapaustutkimuksessa tekoälyn selitettävyyttä lähestytään muodostamalla luokittelijamalleja kahden AutoML-työkalun avulla. Luokittelijat hyö-dyntävät AI-HOKS-hankkeeseen kuuluvan mobiilikyselyn dataa. Alaluku 3.1 esittelee AI-HOKS-hankkeen lähtökohdat ja tavoitteet. Alaluvussa 3.2 esitellään tarkemmin hyödynnettävä mobiilikyselydata. Tavoitteena on kuvata hyödynnettävän datan piirteitä ja AutoML-luokittelijoiden muodostamisen tavoitteita. Alaluvussa 3.3 esitellään hyödyn-nettävät AutoML-työkalun. Tämän jälkeen alaluvussa 3.4 käydään läpi AutoML-mallien muodostaminen ja analysoidaan malleja työkalujen tuottaman selitettävyyden avulla.
Tämän tiedon pohjalta pyritään alaluvussa 3.5 luomaan parempia malleja. Lopuksi tarkastellaan millaisia tuloksia tuotetut mallit tarjoavat ja esitellään esimerkkitoteutus alaluvun 2.2 havaintojen mukaisista vertailevista selityksistä.
3.1 AI-HOKS
Tässä tutkielmassa tekoälyn läpinäkyvyyttä ja selitettävyyttä tarkastellaan käyttäen esimerkkinä Helsingin kaupungin AI-HOKS-hanketta ja siihen liittyvää mobiilikyselyä.
Hankkeen keskeisenä tavoitteena on tekoälyavusteisen AI-HOKS-työkalun tuottaminen Stadin ammatti- ja aikuisopiston käyttöön. Tämän luvun tavoitteena on esitellä AI-HOKS-hanke sekä sen tarjoamia mahdollisuuksia ja haasteita.
AI-HOKS-työkalun avulla on tarkoitus pyrkiä vähentämään keskeytysten määrää amma-tillisessa koulutuksessa ja näin osaltaan vähentää syrjäytymistä. Siinä missä nuorille suunnatun lukiokoulutuksen keskeytti lukuvuonna 2016 3,1 prosenttia opiskelijoista,
nuorille suunnatun ammatillisen koulutuksen keskeytti yli kaksi kertaa suurempia osuus, 7,6 prosenttia (Tilastokeskus, 2015). Kaikista ammatillisen peruskoulutuksen opiskeli-joista keskeytti samana lukuvuonna 2016 11,4 prosenttia (Pensonen & Ågren, 2018).
Toisen asteen koulutuksessa keskeyttäminen on siis selkeästi yleisempää ammatillisen peruskoulutuksen puolella. Ammatillisessa peruskoulutuksessa keskeytysten määrä on lisäksi ollut kasvussa, nousten vuoden 2013 8,6 prosentista mainittuun 11,4 prosent-tiin (Pensonen & Ågren, 2018). Lukiokoulutuksessa vastaavaa trendiä ei ole havaittu (Pensonen & Ågren, 2018).
Toisen asteen koulutuksen puutteesta ja sen aiheuttamista riskeistä puhutaan koulutuk-sellisen syrjäytymisen käsitteellä (Komonen, 2012). Peruskoulun jälkeisten tutkintojen keskeytyminen on ilmiönä merkittävä myös siksi, että se on nostettu keskeiseksi syrjäy-tymisen indikaattoriksi (Myrskylä, 2012). Ammatillisen koulutuksen keskeyttäminen heikentää työllistymismahdollisuuksia ja siten altistaa syrjäytymiselle (Myrskylä, 2012).
Komosen (2012) mukaan merkittävä osa syrjäytymisen ehkäisemisestä onkin pyritty toteuttamaan saattamalla nuoria toisen asteen koulutukseen. Muun muassa nuorisota-kuun avulla nuoria on ohjattu erityisesti ammatillisen koulutuksen pariin (Souto, 2014).
Samoin Helsingin kaupungin nuorten syrjäytymisen ehkäisemisen kaupunkistrategia-hanke, Mukana-ohjelma, pyrkii takaamaan jokaiselle nuorelle peruskoulun jälkeisen koulutuksen (Helsingin kaupunki, 2021a).
Ammatillista koulutusta on Stadin ammatti- ja aikuisopistossa kehitetty osaamisperustei-sempaan suuntaan (AI-HOKS-projektin kuvailutiedot henkilökohtaisesta tiedonannosta, Silander (2021)). Opiskelijan Henkilökohtaisen Osaamisen Kehittämissuunnitelmassa (HOKS) otetaan huomioon aiempi osaaminen eli kaikki samaa tutkintoa suorittavat opiskelijat eivät suorita kaikkia tutkinnon osia samassa järjestyksessä. Nämä yksilölliset opintopolut sekä jatkuvat haku asettavat haasteita opintojen etenemisen suunnittelulle ja seuraamiselle. AI-HOKS-työkalun on tarkoitus tukea opiskelijan itseohjautuvuutta selkeyttämällä ja visualisoimalla opintojen etenemistä ja mahdollisia opintopolkuja.
AI-HOKS esimerkiksi pilkkoo laajoja opintokokonaisuuksia pienempiin osasuorituksiin.
Opettajille AI-HOKS tarjoaa samoin tarkemman näkymän yksittäisten opiskelijoiden sekä ryhmien opintojen etenemisestä ohjauksen ja suunnittelun avuksi. Samoin kou-lutuspäälliköille ja oppilaitoksen ylimmälle johdolle tarjotaan oma näkymä opintojen etenemisestä eri ryhmissä.
Hankkeessa on projektisuunnitelman mukaan (Silander, 2021) tarkoitus hyödyntää ja kerätä dataa useista eri lähteistä: opintohallintojärjestelmästä, oppimisympäristöistä ja seuraavassa alaluvussa tarkemmin esiteltävästä mobiilikyselystä. Erilaisia tapahtumia, tietoja ja näiden yhdistelmiä voidaan analysoida ja niiden pohjalta voidaan tarkastella
opintojen etenemiseen vaikuttavia tekijöitä, arvioida valmistumisajankohtia ja keskeyt-tämisriskejä sekä käynnistää interventioita. Hankkeen puitteissa on tarkoitus tehdä teknologiakokeiluja muun muassa erilaisten ainakin osittain automaattisten interventoi-den toteuttamiseksi esimerkiksi tekoälypohjaisten ennusteiinterventoi-den avulla. Interventioiinterventoi-den tavoitteena on kohdistaa tukea sitä tarvitseville opiskelijoille ja näin vähentää opintojen keskeytyksiä.