ForestBioFacts-oppimisympäristön käytettävyys ja oppimista tukevat elementit

Kemian tekniikan korkeakoulu

Bio- ja kemiantekniikan koulutusohjelma

Johanna Vainiomäki

FORESTBIOFACTS-OPPIMISYMPÄRISTÖN KÄYTETTÄVYYS JA OPPIMISTA TUKEVAT ELEMENTIT

Diplomityö, joka on jätetty opinnäytteenä tarkastettavaksi diplomi-insinöörin tut- kintoa varten Espoossa 29.07.2021.

Valvoja Professori Jouni Paltakari Ohjaaja DI Jenni Sievänen-Rahijärvi

Aalto-yliopisto, PL 11000, 00076 AALTO www.aalto.fi

Diplomityön tiivistelmä

Tekijä Johanna Vainiomäki

Työn nimi ForestBioFacts-oppimisympäristön käytettävyys ja oppimista tukevat elementit Koulutusohjelma Master's Programme in Chemical, Biochemical and Materials Engineering PääaineEnvironmental Management

Työn valvoja Prof. Jouni Paltakari

Työn ohjaaja(t) M.Sc. Jenni Sievänen-Rahijärvi

Päivämäärä 29.7.2021 Sivumäärä 110+10 Kieli Suomi

Tiivistelmä

Puunjalostusinsinöörit ry:llä on pitkä historia metsäteollisuuden oppimateriaalien tuot- tajana. Vastatakseen entistä paremmin digitaalisen tiedonvälityksen kehittyviin tarpei- siin Puunjalostusinsinöörit ry:n johdolla kehitettiin vuosina 20182020 uuden ajan di- gitaalinen ForestBioFacts-oppimisympäristö, jonka sisällöt kattavat biometsäteollisuu- den koko arvoketjun, avainprosessit ja -tuotteet sekä uusimmat teknologiat.

Tämän diplomityön tavoitteena oli rakentaa käyttäjäkeskeisen suunnittelun menetelmä ForestBioFacts-oppimisympäristön kehittämisen tueksi. Pääpaino empiirisessä työssä oli oppimisympäristön merkittävimpien käytettävyysongelmien tunnistamisessa ja rat- kaisemisessa käytettävyystutkimuksen keinoin. Tutkimusaineisto kerättiin käyttäjäana- lyysin, heuristisen arvioinnin ja käytettävyystestauksen avulla, System Usability Scale (SUS) -kyselyllä sekä haastatteluilla. Käytettävyystutkimuksen kohderyhmänä olivat tekniikan alan korkeakouluopiskelijat (yliopisto & AMK) sekä lukiolaiset. Käytettävyys- testausta tehtiin sekä käytettävyyslaboratoriossa että oppimisympäristön luonnollisessa käyttöympäristössä luentotilanteessa.

Diplomityö kokonaisuudessaan vaikutti merkittävällä tavalla ForestBioFacts-oppimis- ympäristön suunnitteluun ja kehittämiseen, sillä diplomityössä toteutetun käytettävyys- tutkimuksen avulla käyttäjän ääni nostettiin kuuluviin ja merkittäviä käytettävyysongel- mia saatiin ratkaistuksi ennen oppimisympäristön varsinaista julkistusta. Käytettävyys- tutkimuksen tulokset osoittivat, että ForestBioFacts-oppimisympäristön pilottiversion käytettävyys oli hyvällä tasolla. Merkittävimmät käytettävyysongelmat liittyivät navi- gointiin, erilaisiin valikoihin ja toimimattomiin painikkeisiin. Oppimisympäristön sel- keiksi vahvuuksiksi nousivat houkutteleva visuaalinen ilme, vakuuttavuus sekä moni- puolinen sisältö.

Oppimisympäristön jatkokehityksen kannalta on ensiarvoisen tärkeää jatkaa säännölli- sesti käyttäjäkeskeisen suunnittelun, erityisesti käytettävyystestauksen, hyödyntämistä.

Hyväksyttävän käytettävyyden tasolle tulisi määritellä selkeät mittarit, joita seurataan säännöllisesti. Korkea käytettävyys luo kilpailuetua oppimisympäristölle ja auttaa sen käyttäjiä saavuttamaan tavoitteensa tuloksellisesti, tehokkaasti ja tyytyväisesti.

Avainsanat ForestBioFacts, digitaalinen oppimisympäristö, e-learning, käytettävyys, käyt- täjäkeskeinen suunnittelu, käyttäjäkokemus, oppiminen, metsäteollisuus

Aalto-yliopisto, PL 11000, 00076 AALTO www.aalto.fi

Abstract of master´s thesis

Author Johanna Vainiomäki

Title of thesis The usability and elements that support learning in ForestBioFacts learning environment

Degree programme Master's Programme in Chemical, Biochemical and Materials Engineering MajorEnvironmental Management

Thesis supervisor Prof. Jouni Paltakari

Thesis advisor(s) M.Sc. Jenni Sievänen-Rahijärvi

Date 29.7.2021 Number of pages 110+10 Language Finnish

Abstract

The Finnish Forest Products Engineers’ Association has a long history as a publisher of educational materials for forest industry. To better meet the evolving needs of digital communication, a new e-learning environment called ForestBioFacts was developed in 2018–2020 under the leadership of Finnish Forest Products Engineers’ Association.

The aim of this thesis was to build a method for user-centered design to be utilised throughout the life cycle of the ForestBioFacts. The main emphasis in the empirical work was on identifying and solving the most significant usability problems of the learning environment by means of research. Research material was collected through user anal- ysis, heuristic evaluation and usability testing, the System Usability Scale (SUS) and in- terviews. The target group of the usability study consisted of university students in the field of technology as well as high school students. Usability testing was performed both in the usability laboratory and in the students' natural operating environment during a lecture.

This thesis had a significant role for for the design and development of the ForestBio- Facts learning environment. The results of the first usability testing indicated that the general usability of the ForestBioFacts learning environment was good. The major usa- bility issues were related to navigation and inoperability of different menus and other functionalities. The clear strengths of the learning environment were the attractive visual look, persuasiveness, and diverse content.

For further development of the ForestBioFacts learning environment, it is of vital im- portance to continue the user-centered design, especially usability testing with real us- ers. Clear indicators should be defined for the level of acceptable usability, which should be monitored regularly. High usability creates a competitive advantage for the learning environment and helps its users achieve their goals efficiently, effectively and with sat- isfaction.

Keywords ForestBioFacts, digital learning environment e-learning, usability, user-centered design, user experience, learning, forest industry

Aalto-yliopisto, PL 11000, 00076 AALTO www.aalto.fi

Esipuhe

Elämässä kaikki ei mene kuten suunnitellaan. Ei oikeastaan juuri mikään mene niin.

Elämässä on kuitenkin tärkeintä tehdä ja olla sinnikäs. Yrittää, kompuroida matkalla, nousta pystyyn ja yrittää taas uudelleen. Tämä diplomityö on kompuroinnin ja pys- tyyn nousemisen pitkäjänteinen tulos. Matka on ollut ultrajuoksu, kivikkoinen sellai- nen, mutta näin jälkeen päin ajateltuna kaiken tavoittelemisen arvoinen.

Käytettävyys oli ennen diplomityön aloittamista minulle käsitteenä tuttu vain oma- kohtaisen kokemuksen tasolla. Edelleen koen hallitsevani asiasta vain osan jäävuoren huipusta; pinnan alla on vielä paljon opittavaa. Tämä diplomityö ei välttämättä täytä kaikkia oikeaoppisen käyttävyystutkimuksen vaatimuksia, mutta yritystä siinä on.

Erityisen suuret kiitokset työni valvojalle professori Jouni Paltakarille äärettömästä joustavuudesta ja kannustavuudesta. Sydämelliset kiitokset myös työni ohjaajalle DI Jenni Sievänen-Rahijärvelle (Puunjalostusinsinöörit ry.) jatkuvasta tsemppaamisesta ja ystävyydestä. Uskoitte molemmat koko ajan siihen, mihin itseltä tahtoi usko lop- pua. Kiitos myös Puunjalostusinsinöörit ry:lle ja TkT Antti Lindqvistille siitä, että sain olla osa ForestBioFacts-kehitystiimiä projektin alkumetreiltä aina oppimisympäristön julkistukseen asti.

Kiitos Aalto-yliopiston käytettävyyslaboratorion lainasta professori Marko Niemi- selle, luentotestausmahdollisuudesta Tampereen ammattikorkeakoululle ja lehtori Päivi Virtaharjulle sekä tarkkasilmäisestä kielenhuoltoavusta DI Susanna Lähdesmä- elle ja FM Roy Juurijoelle. Iso kiitos jokaiselle käytettävyystestaukseen osallistuneelle.

Teidän avullanne saatiin laivan keula käännettyä oikeaan suuntaan.

Erityiskiitokset perheelleni kaikesta tuesta ja läsnäolosta. Ilman teitä olisi hiljaista ja yksinäistä!

Sastamalassa 29.7.2021 Johanna Vainiomäki

S isällysluettelo

1 JOHDANTO ... 1

1.1 Uuden oppimisympäristön taustalla tunnettu kirjasarja ... 2

1.2 Tutkimuksen tavoitteet, tutkimuskysymykset ja rajaukset... 6

1.3 Tutkimuksen teoreettinen viitekehys ja tutkimusmenetelmät ... 7

1.4 Työn rakenne ... 9

2 KÄYTETTÄVYYS JA OPPIMINEN... 10

2.1 E-learning laajentaa oppimisen ympäristöjä ... 10

2.2 Digitaaliset oppimisympäristöt ... 11

2.2.1 Digitaalisen oppimisympäristön asiakas ja käyttäjä ... 12

2.3 Käyttäjäkeskeinen suunnittelu ... 14

2.4 Käytettävyys ... 17

2.4.1 Käytettävyyden suunnittelu ja arviointi ... 21

2.4.1.1 Käytettävyystutkimuksen suunnittelu ... 23

2.4.1.2 Heuristinen arviointi ... 24

2.4.1.3 Käytettävyystestaus ... 27

2.4.1.4 Käyttäjäkokemuksen arviointi ... 32

2.5 Oppiminen ja motivaatio/kiinnostus ... 34

2.5.1 Mitä oppiminen on?... 34

2.5.1.1 Oppiminen luo uusia yhteyksiä ... 36

2.5.1.2 Reunatuntemusten kautta uuden oppimiseen ... 38

2.5.2 Monet taidot oppimista tukemassa ... 39

2.5.3 Motivaatio ja kiinnostus oppimisen vahvistajana ... 41

2.5.3.1 Kiinnostusta voi herättää ja auttaa kehittämään ... 42

2.5.4 Käytettävyys, oppiminen ja kiinnostus ... 44

3 KÄYTETTÄVYYSTUTKIMUKSEN TOTEUTUS ... 47

3.1 Tutkimusympäristö ... 47

3.2 Käytettävyystutkimuksen testihenkilöt ... 51

3.3 Käyttäjäryhmien ja käyttökontekstin määritys ... 53

3.4 Käytettävyystestauksen teemojen ja tehtävien määrittäminen ... 54

3.5 Käytettävyystestauksen suorittaminen ... 55

3.6 Käytettävyystestauksesta saadun aineiston käsittely ja analysointi ... 56

3.7 Tutkimuksen luotettavuus ... 56

4 KÄYTETTÄVYYSTUTKIMUKSEN TULOKSET ... 58

4.1 Käyttäjäanalyysin tulokset ... 58

4.1.1 Käyttäjäanalyysi – korkeakouluopiskelijat ... 59

4.1.2 Käyttäjäanalyysi – lukiolaiset ... 61

4.1.3 Käytettävyystestauksen teemat ... 62

4.2 Heuristisen arvioinnin tulokset ... 63

4.2.1 Heuristinen arviointi ja merkittävimmät käytettävyysongelmat ... 76

4.3 Käytettävyystestauksen tehtävät ... 77

4.4 Käytettävyystestauksen tulokset ... 78

4.5 System Usability Scale (SUS) -kyselyn tulokset ... 91

4.6 Käytettävyystestauksen loppukyselyn tulokset ... 94

5 JOHTOPÄÄTÖKSET JA POHDINTA ... 97

5.1 Tulosten merkitys ... 97

5.2 Havaintoja ja kehittämisehdotuksia ... 98

LÄHTEET ... 103

LIITTEET

1 Johdanto

Metsäteollisuus on viimeisten vuosikymmenten aikana ollut otsikoissa painopaperin kulutuksen laskun, tehtaiden sulkemisen ja metsäympäristön köyhdyttämisen näkö- kulmista. Mediassa metsäteollisuutta on kutsuttu toistuvasti auringonlaskun alaksi, jonka loistokaudet ja asema Suomen kansantalouden tukijalkana ovat vain historian siipien havinaa. 2020-luvulle tultaessa keskustelu on kuitenkin saanut taas positiivi- sempia sävyjä metsäteollisuuden marssittaessa esiin uudenlaisia kestävän kehityksen haasteisiin vastaavia innovaatioita sekä maamme mittakaavassa merkittäviä teollisia investointeja.

Metsäteollisuus uudistuu nyt vauhdilla ja pyrkii osaltaan vastaamaan ekologisen kes- tävyyskriisin haasteisiin. Metsäteollisuuden uudistumiskyvyn ja menestyksen kan- nalta osaaminen ja osaamisen kehittäminen nousee entistä merkityksellisempään asemaan. Ala vaatii osaajia, joilla on vahva ja monipuolinen koulutustausta sekä halu ja mahdollisuudet elinikäiseen osaamisen kehittämiseen. Muuttuva ja alati murrok- sessa oleva työ tarvitsee tekijöitä, jotka ovat valmiita kehittämään ja uudistamaan itseään, organisaatioitaan ja laajasti ajateltuna koko yhteiskuntaa.

Pelkkä työntekijöiden oma halu osaamisen kehittämiseen ei kuitenkaan yksinomaan riitä. Tarvitaan myös yritysten vahvaa panosta yksilöiden, tiimien ja koko organisaa- tion oppimisen tukemiseen. Tässä rinnalla ja mukana kulkevat entistä vahvemmin eri- laiset oppilaitokset, tutkimuslaitokset sekä yksityiset oppimisratkaisuja, -teknologi- oita ja -palveluja tuottavat tahot. Kaikki edellä mainitut toimijat yhdessä muodosta- vat elinikäisen oppimisen infrastruktuurin.

Elinikäisen oppimisen tietä viitoittaa niin sanottu moderni oppiminen, joka vaatii to- teutuakseen uudenlaisia tapoja opettaa ja oppia. Moderni oppiminen nojaa nykyai- kaisiin oppimisympäristöihin, digitalisaation ratkaisuihin ja uusiin pedagogisiin mah- dollisuuksiin. Modernista oppimisesta puhuttaessa, puhutaan väistämättä samalla

myös sähköisestä oppimisesta (myöhemmin e-learning), eli verkko-opetusta hyödyn- tävästä oppimisesta. Erilaiset digitaaliset oppimisalustat ja niiden ympärille rakenne- tut oppimisympäristöt yleistyvät opetuksessa sekä työelämässä kiihtyvällä tahdilla.

Myös metsäteollisuudessa on havahduttu siihen tosiasiaan, että sähköinen oppimi- nen on tullut jäädäkseen, muuttaen merkittävästi ihmisten tiedonhakua, oppimista ja tapaa tehdä työtä. Metsäteollisuuden kilpailukyvyn ja alan houkuttelevuuden kan- nalta on tärkeää, että ajantasaista ja kansainvälisesti kilpailukykyistä oppisisältöä on saatavilla perinteisen kirjallisuuden ja julkaisujen lisäksi enenevässä määrin myös ver- kossa. Tätä tavoitetta tukemaan käynnistettiin Puunjalostusinsinöörit ry:ssä vuonna 2018 Bioaapinen-projekti, joka huipentui loppuvuodesta 2020 maailman laajimman metsäteollisuuden sähköisen oppimisympäristön (ForestBioFacts) julkistamiseen.

1.1 Uuden oppimisympäristön taustalla tunnettu kirjasarja

Vuonna 19982001 Suomen Paperi-insinöörit ry (nykyisin Puunjalostusinsinöörit ry) ja TAPPI (The Technical Association of Pulp and Paper Industry) julkaisivat yhteistyönä Papermaking Science and Technology -kirjasarjan, joka on vakiinnuttanut vuosien varrella paikkansa sekä yliopisto-opetuksessa että metsäteollisuuden ammattilaisten tietolähteenä. Kirjasarja kattaa paperinvalmistusprosessin aina raaka-aineesta loppu- tuotteisiin ja metsäteollisuuden sivuvirtoihin asti. Kirjasarja kokonaisuudessaan on esitetty kuvassa 1 sekä liitteenä I olevassa taulukossa.

Kuva 1. Papermaking Science and Technology -kirjasarja. (ForestBioFacts 2021a).

Papermaking Science and Technology -kirjasarjan painettuja teoksia on myyty maail- manlaajuisesti yli 10 000 kappaletta. Kirjasarjan päivitetystä toisesta painoksesta (20072011) julkaistut pdf-versiot sekä e-kirjat helpottivat ja nopeuttivat sähköisten lukuoikeuksien myyntiä. Tähän päivään mennessä kirjojen sähköisiä lukuoikeuksia on myyty yhteensä yli 21 000. (Puunjalostusinsinöörit 2018) Kuvassa 2 on esitetty pdf- kirjojen myynnin osuus Papermaking Science and Technology -kirjasarjan kokonais- myynnistä vuosina 20102017.

Vastatakseen entistä paremmin digitaalisen tiedonvälityksen kehittyviin tarpeisiin Puunjalostusinsinöörit ry käynnisti vuonna 2018 Bioaapinen-projektin, jonka tarkoi- tuksena oli luoda globaalisti kilpailukykyinen, ajantasainen digitaalinen oppimisym- päristö kattamaan pääosin puubiomassaan pohjautuvan biometsätalouden ja -teolli- suuden koko arvoketjun, avainprosessit ja -tuotteet sekä esittelemään uusimmat tek- nologiat innovatiivisella ja modernilla tavalla. Bioaapinen-projektissa oli samanaikai- sesti käynnissä kaksi erillistä prosessia:

1) WordPress-pohjaisen digitaalisen oppimisympäristön tuotekehitysprosessi Edita Publishing Oy:n kanssa sekä

2) varsinainen sisällöntuotantoprosessi, jossa oli mukana toimijoita yliopisto- ja ammattikorkeakoulukentän lisäksi myös metsäteollisuuden keskeisistä yrityk- sistä.

ForestBioFacts-oppimisympäristöä kehitettiin käyttäjäkeskeisen suunnittelun peri- aatteiden mukaisesti projektin ensimetreiltä alkaen. Ensimmäiset käytettävyystes- taukset toteutettiin Natural Fibre Products -teemaan perustuneen pilottiversion Kuva 2. Papermaking Science and Technology -kirjasarjan pdf-kirjojen myynnin osuus kirjojen kokonaismyynnistä vuosina 2010--2017. (Puunjalostusinsinöörit 2018)

avulla vuoden 2018 lopulla. Käytettävyystestauksia jatkettiin tämän jälkeen läpi koko projektin, ja testituloksia hyödynnettiin aktiivisesti oppimisympäristön kehittämi- sessä. Bioaapinen-projekti päättyi vuoden 2020 marraskuuhun, jolloin uusi oppimis- ympäristö, ForestBioFacts, julkaistiin (www.forestbiofacts.com).

Englanninkielisessä ForestBioFacts-oppimisympäristössä on 16 teemaa (kuva 3), joi- den artikkelit tutustuttavat lukijan syvällisesti koko metsäteollisuuden arvoketjuun.

Lisäksi ForestBioFacts sisältää artikkeleihin liittyvän sanaston (Glossary), erillisen metsäteollisuuden kuusikielisen sanakirjan (Dictionary) sekä kaikki Papermaking Science and Technology -kirjasarjan kirjat pdf-versioina.

Kuva 3. ForestBioFacts-oppimisympäristön teemat kattavat koko metsäte- ollisuuden arvoketjun. (ForestBioFacts 2021b).

Siirtyminen perinteisestä kirjasarjasta digitaaliseen oppimisympäristöön mahdollis- taa muun muassa sisällön ketterän ja ajantasaisen päivittämisen, monipuoliset toi- minnallisuudet, järjestelmän räätälöitävyyden sekä tiedon saavutettavuuden. Forest- BioFacts-oppimisympäristön avulla voidaan tehostaa oppimista, motivoida opiskeli- joita sekä ylläpitää alan yleistä osaamistasoa. Jatkossa ForestBioFacts-oppimisympä- ristön teemoihin pohjautuen voidaan eri käyttäjäryhmille tarjota räätälöityjä sisäl- töjä, oppimateriaaleja ja verkkokursseja.

1.2 Tutkimuksen tavoitteet, tutkimuskysymykset ja rajaukset

Metsäteollisuuden uusi sähköinen oppimisympäristö, ForestBioFacts, kehitettiin Puunjalostusinsinöörit ry:n, metsäteollisuuden keskeisten yritysten sekä alan oppilai- tosten yhteistyönä Bioaapinen-projektissa. Tämän diplomityön tavoitteena on kuvata sitä, miten käyttäjäkeskeinen suunnittelu näkyi ForestBioFacts-oppimisympäristön kehittämisessä, sekä rakentaa käyttäjäkeskeisen suunnittelun menetelmä oppimis- ympäristön jatkokehityksen tueksi. Pääpaino työssä on oppimisympäristön pilottiver- sion käytettävyysongelmien löytämisessä ja ratkaisemisessa käytettävyystutkimuk- sen keinoin. Käytettävyyden osalta työssä kiinnitetään huomiota oppimisympäristön käyttäjien tarpeisiin sekä siihen, miten käytettävyyden keinoin voidaan tukea ja edis- tää oppimista. Edellä mainittujen tavoitteiden saavuttaminen vaatii sekä käytettävyy- den että oppimisen käsitteiden teoreettista taustoittamista tarpeenmukaisin osin.

Osin käytettävyyden ja pedagogiikan keinot oppimisen edistämisessä risteävät.

Tämä diplomityö pyrkii vastaamaan seuraaviin tutkimuskysymyksiin:

i. Minkälaisia käyttäjäkeskeisen suunnittelun vaiheita ForestBioFacts-oppimis- ympäristön pilottiversion kehittäminen on pitänyt sisällään?

ii. Mitkä olivat ForestBioFacts-oppimisympäristön pilottiversion merkittävim- mät käytettävyysongelmat ja miten niitä tutkittiin?

iii. Millainen oli ForestBioFacts-oppimisympäristön pilottiversion käytettävyys ja käyttäjäkokemus?

iv. Miten käytettävyyden ja pedagogiikan keinoin voidaan yleisesti vaikuttaa op- pimiseen ja kiinnostuksen heräämiseen sähköisessä oppimisympäristössä?

Tässä diplomityössä keskitytään ForestBioFacts-oppimisympäristön pilottiversion ke- hittämistyöhön ja käytettävyystestaukseen. Käyttäjäkeskeisen suunnittelun periaat- teiden mukaisesti ForestBioFacts-oppimisympäristön käytettävyyttä on testattu Bio- aapinen-projektin eri vaiheissa sekä opiskelijoilla, opettajilla että teollisuuden asian- tuntijoilla. Tässä diplomityössä keskitytään kuitenkin vain yliopisto-, ammattikorkea- koulu- ja lukio-opiskelijoille vuonna 2018 tehtyyn käytettävyystestaukseen ja sen tu- loksiin.

Sekä käytettävyys että oppiminen ovat molemmat laajoja, moniulotteisia käsitteitä.

Tässä diplomityössä käytettävyyden teoriataustaa avataan vain niiden menetelmien osalta, joita ForestBioFacts-oppimisympäristön käytettävyystestauksessa ja tulosten analysoinnissa on hyödynnetty. Oppimisen käsitteiden osalta puolestaan pitäydytään niissä teoreettisissa lähtökohdissa, jotka kuvaavat käytettävyyden, oppimisen ja opis- kelumotivaation/kiinnostuksen positiivista yhteyttä.

1.3 Tutkimuksen teoreettinen viitekehys ja tutkimusmenetelmät

Tämän diplomityön teoreettisena viitekehyksenä käytetään Hevner et al. (2004) jul- kaisemaa informaatiojärjestelmien tutkimuksen viitekehystä, joka on esitetty ku- vassa 4. Diplomityö on luonteeltaan soveltavaa tieteellistä tutkimusta, jonka tavoit- teisiin ei varsinaisesti kuulu uuden tieteellisen tiedon tuottaminen. Näin ollen ku- vassa 4 esitetyn viitekehyksen osalta keskitytään vain toimintaympäristön (Environ- ment) ja informaatiojärjestelmätutkimuksen (IS Research) väliseen yhteyteen.

Tarkastelun kohteena olevaa informaatiojärjestelmää, eli tässä tapauksessa Forest- BioFacts-oppimisympäristöä, lähdettiin alun perin kehittämään toimintaympäristön ja liiketoiminnan lähtökohdista käsin. Oppimisympäristöä informaatiojärjestelmänä tutkittiin heuristisen arvioinnin sekä käytettävyystestauksen keinoin. Testausta teh- tiin sekä laboratorio-olosuhteissa että oppimisympäristön luonnollisessa käyttöym- päristössä oppitunnilla. Ennen varsinaista käytettävyystutkimusta suoritettiin puo- listrukturoituja yksilöhaastatteluja, joilla pyrittiin kartoittamaan oppimisympäristön keskeisen käyttäjäryhmän, opiskelijoiden, lähtötilannetta sekä tarpeita ja toiveita.

Käytettävyyttä arvioitiin formatiivisesti, eli pyrkien nimenomaan löytämään merkit- tävimmät käytettävyysongelmat iteratiivisen suunnitteluprosessin aikana. Käytettä- vyyttä ei siis arvioitu summatiivisesti suhteessa muihin vastaaviin järjestelmiin tai suunnitteluvaihtoehtoihin. Käytettävyystestausten tuloksia on tässä diplomityössä tulkittu pääosin kvalitatiivisesti. Tutkimustulosten perusteella ForestBioFacts-oppi- misympäristöä on kehitetty käyttäjälähtöisesti ja iteratiivisesti pala palalta projektin Kuva 4. Informaatiojärjestelmien tutkimuksen viitekehys (Hevner et al. 2004).

edetessä. Oppimisympäristö on kehittynyt siis inkrementaalisesti jatkuvasti kasvaen ja uusiutuen.

Oppimisen teoriatausta pohjautuu nykyaikaiseen sosiokonstruktivistiseen oppimis- käsitykseen, jonka mukaan oppiminen, toisin sanoen aktiivinen tiedon rakentaminen (konstruktio), on luonteeltaan sosiaalista, ja oppimiseen liittyy olennaisesti sosiaali- sesti jaettujen merkitysten luominen sekä kulttuurinen vuorovaikutus muiden ihmis- ten kanssa (Lonka 2014).

1.4 Työn rakenne

Tämä diplomityö on jaettu viiteen lukuun. Ensimmäisessä luvussa kuvataan Forest- BioFacts-oppimisympäristön syntyä, tutkimuksen tavoitteita, tutkimuskysymyksiä, tutkimuksen rajausta sekä tutkimuksessa käytettyä viitekehystä. Toisessa luvussa pa- neudutaan käsitteisiin e-learning ja digitaalinen oppimisympäristö, sekä avataan käyttäjäkeskeisen suunnittelun, käytettävyyden ja oppimisen teoriaa. Toisessa lu- vussa luodaan myös positiivinen yhteys käytettävyyden ja oppimisen sekä opiskelu- motivaation/kiinnostuksen välille.

Kolmannessa luvussa kuvataan käytettävyyden suunnittelun vaiheet; erityisesti käy- tettävyystestauksen suunnittelu ja toteutus. Neljännessä luvussa esitetään käytettä- vyystutkimuksen tulokset. Viidennessä luvussa tarkastellaan käytettävyystutkimuk- sen tuloksia tutkimuskysymysten valossa, ja esitetään tuloksista tehdyt johtopäätök- set sekä kehittämisehdotuksia ForestBioFacts-oppimisympäristölle.

2 Käytettävyys ja oppiminen

Tämän luvun alussa paneudutaan ensin lyhyesti e-learning-termiin sekä digitaalisen oppimisympäristön määritelmään. Pääpaino on kuitenkin käyttäjäkeskeisen suunnit- telun, käytettävyyden ja oppimisen käsitteissä sekä siinä, miten käytettävyyden kei- noin voidaan vaikuttaa positiivisesti oppimiseen ja opiskelumotivaatioon/kiinnostuk- seen.

2.1 E-learning laajentaa oppimisen ympäristöjä

Käsitteenä e-learning voidaan määritellä hyvin monella eri tavalla eikä sille ole ole- massa yhtä yhteisesti hyväksyttyä määritelmää. Tässä diplomityössä käytetään pää- osin englanninkielistä e-learning-termiä, vaikka yhtä hyvin voidaan käyttää esimer- kiksi termejä verkko-oppiminen, e-oppiminen ja digitaalinen oppiminen.

Kansankielellä e-learning tarkoittaa tietoverkon ja sähköisten välineiden avulla ta- pahtuvaa oppimista. Teoreettisesti ajateltuna, e-learning tarkoittaa esimerkiksi sel- laisten informaatio- ja kommunikaatiokanavien hyödyntämistä, jotka mahdollistavat pääsyn verkossa oleviin opetus- ja oppimisresursseihin (Arkorful & Abaidoo 2015).

Ruitz et al. (2006) ovat puolestaan määritelleet, että e-learning on suorituskyvyn ja tiedon lisäämistä internet-pohjaisia teknologioita käyttäen. Rosenberg (2000) puo- lestaan on esittänyt kolme keskeistä e-learning-käsitettä määrittävää piirrettä:

1. E-learning tapahtuu verkossa (internet), jolloin informaatiota voidaan päivit- tää, tallentaa ja jakaa reaaliajassa. Tieto on mahdollista saavuttaa milloin vain ja missä vain.

2. E-learning perustuu standardoituun teknologiaan. E-learning-sovelluksen lop- pukäyttäjä voi saavuttaa tiedon tietokoneen tai muun päätelaitteen, internet- yhteyden sekä nykyaikaisen selaimen avulla.

3. E-learning-ratkaisut mahdollistavat kokonaan uudenlaiset opiskelumallit, sillä ne laajentavat oppimisen ympäristöjä perinteisen luokkahuoneen ulkopuo- lelle. E-learning tarjoaa tiedon jakamisen lisäksi mahdollisuuden tutkimiseen ja uuden tiedon kehittämiseen. (Rosenberg 2000)

Määritelmän monimuotoisuudesta huolimatta e-learning on lunastanut paikkansa sekä oppilaitosten että yritysten osaamisen kehittämisen järjestelmissä. E-learning- liiketoiminnan markkina on jatkanut positiivista kasvuaan kautta koko 2000-luvun ja jatkaa sitä edelleen. Markkinatutkimusyritys Stratistic MRC:n (2019) mukaan pelkäs- tään akateemisen e-learning-markkinan arvo kasvaa vuoteen 2026 mennessä noin 152 miljardiin dollariin, kun vuonna 2017 sen arvo oli noin 58 miljardia dollaria. Ke- väällä 2020 yhteiskunnat yli vuodeksi sulkenut koronaviruspandemia pakotti yrityk- set, oppilaitokset ja kaikki yhteiskunnan toimijat nopealla tahdilla kehittämään etä- työ- ja etäopiskelumahdollisuuksia, mikä entisestään on vauhdittanut e-learning-so- vellusten kehittämistä, käyttöönottoa ja koko liiketoiminta-alueen arvonmuodos- tusta.

E-learning-käsitteen yhteydessä puhutaan nykyään usein myös m-learning-käsit- teestä. M-learning (mobiilioppiminen) tukee langattoman verkon ja mobiililaitteiden (älypuhelin, tabletti, kannettava tietokone) avulla tapahtuvaa oppimista. M-learning on käytännössä e-learning-kokonaisuuteen kuuluva osa-alue, joka yhdistää verkko- oppimisen ja mobiililaitteet. Mobiilioppimisen hyötyjä ovat muun muassa nopeus, helppokäyttöisyys, paikkariippumattomuus ja edullisuus. (Behra 2013)

2.2 Digitaaliset oppimisympäristöt

Oppimisympäristö voidaan laajasti ajateltuna nähdä tilasta, paikasta, yhteisöstä, toi- mintakäytännöistä, välineistä, palveluista ja materiaaleista muodostuvaksi kokonai- suudeksi, jossa oppimista tapahtuu (Opetushallitus 2014). Huomionarvoista on se, että oppimisympäristö ei itsessään takaa oppimista, mutta hyvin toimiessaan oppi-

Digitaalinen oppimisympäristö on verkossa oleva oppimista vahvistava ympäristö, jota voidaan hyödyntää esimerkiksi lähiopetuksen osana, monimuoto-opetuksessa ja itseopiskelun tukena. (eOppiva 2019) Digitaaliset oppimisympäristöt ja e-learning yleisesti ovat olennainen ja erottamaton osa nykyaikaista oppimisjärjestelmää. Tieto- ja viestintäteknologian avulla voidaan tukea oppijan osallisuutta ja henkilökohtaisia oppimispolkuja sekä kehittää taitoa työskennellä yhteisöllisesti. (Opetushalli- tus 2014)

2.2.1 Digitaalisen oppimisympäristön asiakas ja käyttäjä

Digitaalista oppimisympäristöä suunniteltaessa keskeiseen rooliin kohoaa oppimis- ympäristön käyttäjä. Käyttäjällä tarkoitetaan henkilöä, joka käyttää järjestelmää, tuo- tetta tai palvelua saavuttaakseen tietyn päämäärän. Easonin (1987) määritelmän mu- kaan käyttäjät voidaan yleisesti ottaen luokitella primaarisiin, sekundaarisiin ja terti- aarisiin käyttäjiin. Näistä primaariset käyttäjät käyttävät järjestelmää säännöllisesti, sekundaariset käyttäjät satunnaisesti, ja tertiaariset käyttäjät puolestaan tekevät jär- jestelmää koskevia päätöksiä. (Drin & Nieminen 2015, Eason 1987)

Schneiderman (1998) puolestaan on jaotellut käyttäjät käyttökokemuksen perus- teella kolmeen eri ryhmään 1) vasta-alkajat, joilla on hyvin vähän (tai ei lainkaan) ko- kemusta järjestelmästä tai sen sisällöstä, 2) satunnaiset käyttäjät, joilla on jo enem- män tietoa järjestelmästä ja sen sisällöstä ja 3) kokeneet vakituiset käyttäjät, jotka tuntevat järjestelmän ja sen sisällön erittäin hyvin. Jokaisella kolmella käyttäjäryh- mällä on omat erityispiirteensä ja vaatimuksensa, jotka on otettava huomioon järjes- telmiä suunniteltaessa ja kehitettäessä.

Yksi lisänäkökulma asiaan on erottaa toisistaan käyttäjä ja asiakas sekä näiden mah- dollisesti hyvinkin erilaiset roolit ja se, miten nämä roolit vaikuttavat itse järjestel- män, tuotteen tai palvelun käyttöön. Toisinaan käyttäjä ja asiakas ovat yksi ja sama henkilö; esimerkiksi, jos järjestelmä, tuote tai palvelu ostetaan suoraan toimittajalta henkilön omaan käyttöön. Asiakas voi kuitenkin olla myös organisaatio, esimerkiksi

yliopisto tai yritys, joka tekee hankintapäätöksen tuotteesta tai palvelusta ja luovut- taa käyttöoikeuden opiskelijoidensa ja/tai työntekijöidensä hyödynnettäväksi. (Jo- kela 2011)

Tässä diplomityössä käyttäjällä tarkoitetaan henkilöä, joka käyttää, eli on suoraan vuorovaikutuksessa tuotteen tai palvelun kanssa. Asiakas puolestaan on se taho (usein organisaatio tai yritys), jolle tuote tai palvelu myydään, ja joka hallinnoi sitä esimerkiksi lisenssin kautta, tarjoten tuotteen tai palvelun käyttäjän käyttöön. Digi- taalisella oppimisympäristöllä on usein käyttäjän ja asiakkaan lisäksi myös muita si- dosryhmiä, joilla on suora tai epäsuora vaikutus järjestelmän suunnitteluun ja kehi- tykseen. Sidosryhmä voi pitää sisällään esimerkiksi järjestelmän kehityksestä ja yllä- pidosta vastaavia henkilöitä, sisällöntuottajia ja asiakasorganisaatioiden IT- järjestelmävastaavia. Tässä diplomityössä käyttäjän ja asiakkaan lisäksi ei muita sidosryhmiä oteta huomioon.

Asiakasta ajatellen on tärkeää suunnitella ja toteuttaa digitaalinen oppimisympäristö siten, että se tarjoaa vakuuttavan ja varteenotettavan tuotteen, joka erottuu kilpaili- joistaan parempien ominaisuuksiensa ja sisältönsä puolesta. Käyttäjän kannalta taas merkityksellistä on se, että tuote tai palvelu on hyvä käyttää. (Jokela 2011) Tyytyväi- set käyttäjät luovat järjestelmälle, tuotteelle tai palvelulle juuri sitä lisäarvoa, jolla se myydään taas uusille asiakkaille, ja jolla ylläpidetään jo olemassa olevia asiakassuh- teita.

Erilaiset digitaaliset oppimisratkaisut yleistyvät opetuksessa ja työelämässä kiihty- vällä vauhdilla. Kilpailussa selviytyvät vain ne toimijat, jotka pystyvät sitouttamaan asiakkaita ja käyttäjiä tarjoamalla laadukkaita, innovatiivisia ja käyttäjäkokemuksel- taan ensiluokkaisia tuotteita.

2.3 Käyttäjäkeskeinen suunnittelu

Vuorovaikutuksellisia järjestelmiä (esimerkiksi digitaalisia oppimisympäristöjä) suun- niteltaessa ja kehitettäessä tulee käyttäjäkeskeisen suunnittelun periaatteet integ- roida kattamaan koko järjestelmän elinkaari. Tässä diplomityössä keskitytään pitkälti ISO 9241-210 (2019) -standardin mukaisiin käyttäjäkeskeisen suunnittelun periaattei- siin sekä Jakob Nielsenin (1993) määrittämiin käytettävyyden suunnittelun vaiheisiin ja toimenpiteisiin (kts.2.4.1.1 Käytettävyystutkimuksen suunnittelu).

ISO 9241-210 (2019) -standardin mukaan käyttäjäkeskeisellä suunnittelulla tarkoite- taan vuorovaikutuksellisten järjestelmien suunnitteluun ja kehittämiseen liittyvää lä- hestymistapaa, jonka avulla voidaan huomioida kokonaisvaltaisesti käyttäjien tarpeet ja vaatimukset, järjestelmän käyttötarkoitus sekä käyttöympäristö.

Käyttäjäkeskeiselle suunnittelulle on olennaista, että:

 suunnittelu perustuu pyrkimykseen ymmärtää käyttäjiä, tehtäviä ja käyttöym- päristöä,

 käyttäjiä osallistetaan kaikkiin suunnittelun ja kehittämisen vaiheisiin,

 suunnittelua ohjataan käyttäjälähtöisen arvioinnin perusteella,

 prosessi on iteratiivinen,

 suunnittelun kohteena on käyttäjäkokemus ja

 suunnittelutiimillä on monialaista taitoa ja näkemystä. (ISO 9241-210: 2019)

Käyttäjäkeskeisen suunnittelun avulla pyritään ensisijaisesti parantamaan käytettä- vyyttä, käyttäjäkokemusta ja ergonomiaa. Bevan & Earthyn (2018) mukaan todennä- köisyys sille, että järjestelmällä on korkea käytettävyys kasvaa, kun käyttäjiä ymmär- retään ja järjestelmää kehitetään iteratiivisesti käyttäjien tarpeiden pohjalta. Käyttä- jäkeskeisen suunnittelun myötävaikutuksella voidaan parantaa käyttäjien hyvinvoin- tia ja tehostaa tavoitteiden saavuttamista. Suunnittelun avulla voidaan myös pienen- tää järjestelmän epäonnistumisen riskiä tunnistamalla mahdollisia ongelmakohtia ja käyttäjälle tarpeettomia ominaisuuksia heti prosessin alusta alkaen. Lisäksi kustan-

voidaan käyttäjäkeskeisen suunnittelun avulla saavuttaa markkinoilla selvää kilpai- luetua. (ISO 9241-210: 2019)

Kuvassa 5 on esitetty ISO 9241-210 -standardiin (2019) perustuva käyttäjäkeskeinen suunnitteluprosessi, jonka vaiheet pitävät sisällään käyttökontekstin sekä käyttäjä- vaatimusten määrittelyn ja täsmentämisen. Vaatimusten pohjalta tuotetaan suunnit- teluratkaisuja, joita puolestaan arvioidaan taas käyttäjien, lainsäädännön sekä erilais- ten standardien ja suunnitteluohjeiden asettamien vaatimusten valossa. Iteraatioi- den avulla vähennetään suunnitteluprosessin epävarmuutta, tunnistetaan ongelmia, kehitetään järjestelmää käyttäjiltä saadun palautteen avulla ja varmistetaan erilais- ten vaatimusten toteutuminen. Käyttäjäkeskeinen suunnittelu voidaan aloittaa mistä tahansa suunnitteluprosessin vaiheesta, riippuen siitä tarkastellaanko esimerkiksi täysin uutta vai jo olemassa olevaa järjestelmää (ISO 9241-210:2019).

Kuva 5. Käyttäjäkeskeinen suunnitteluprosessi. Piirretty ja suomennettu ISO 9241-210 -standardin pohjalta. (ISO 9241-210:2019).

Yllä mainitulla termillä, käyttökonteksti, tarkoitetaan hyvin laajaa käyttäjien, tavoit- teiden, tehtävien, resurssien ja käyttöympäristön yhdistelmää. Käyttöympäristö puo- lestaan koostuu siitä teknisestä, fyysisestä, sosiaalisesta, kulttuurisesta ja organi- sationaalisesta ympäristöstä, missä järjestelmää käytetään. Käyttäjän vaatimuksia ja tarpeita määritettäessä tulee aina tuntea tarkkaan se käyttökonteksti, missä vaati- mukset ja tarpeet ovat voimassa. (ISO 9241-210:2019)

Käyttäjäkeskeistä suunnittelua tekevältä tiimiltä vaaditaan monialaista näkemystä ja osaamista. Tiimillä tulee olla selkeä kokonaiskuva järjestelmän kehittämisestä ja sii- hen vaikuttavista tekijöistä. Monialainen ymmärrys auttaa hahmottamaan käyttäjä- keskeisen suunnittelun haasteita. Näitä ovat esimerkiksi useat eri käyttäjäryhmät (ja sidosryhmät), joiden tarpeet on otettava huomioon, monimutkaiset käyttökonteks- tit, vaihtelevat ja osittain myös ristiriitaiset vaatimukset sekä ajan myötä ilmenevät uudet, esimerkiksi lainsäädännön tai käyttäjien tarpeiden muutoksiin liittyvät ongel- mat (ISO 9241-210:2019).

Pyrittäessä ymmärtämään järjestelmän käyttäjää ja käyttökontekstia, tulee käyttäjä- keskeiseen suunnitteluun osallistaa henkilöitä, joiden kyvyt, osaaminen ja kokemuk- set heijastelevat mahdollisimman hyvin koko käyttäjäjoukkoa. Käyttäjää tarkastelta- essa tulee ottaa kokonaisvaltaisesti huomioon käyttäjän tarpeet ja vaatimukset, käyt- täjien tai käyttäjäryhmien luonteenomaiset piirteet sekä käyttäjän järjestelmässä te- kemät tehtävät ja järjestelmälle asettamat tavoitteet.

Käyttäjäkeskeisessä suunnittelussa usein käytetty tutkimusmenetelmä on käytettä- vyystestaus, jossa käyttäjä itse käyttää järjestelmää, sen osia tai prototyyppiä. Toinen käytettävyystestauksen rinnalla usein käytetty menetelmä on asiantuntijan suorit- tama ohjeisiin, suosituksiin ja standardeihin perustuva järjestelmän arviointi. (ISO 9241-210:2019) Näitä tutkimusmenetelmiä avataan tarkemmin tämän diplomityön

seuraavassa luvussa2.4 Käytettävyys, jossa kuvata käytettävyyden käsitettä sekä käy- tettävyyden arviointiin liittyvää teoriaa ja käytäntöä.

2.4 Käytettävyys

Käytettävyys mielletään arkipäivän tilanteissa usein synonyymiksi termeille ”helppo- käyttöisyys” ja ”käyttäjäystävällisyys”. Todellisuudessa käytettävyys on paljon edellä mainittuja termejä laajempi kokonaisuus, jolle on alan kirjallisuudesta löydettävissä useita erilaisia, osin päällekkäisiä tai ristiriitaisiakin määritelmiä.

Laajasti käytetty käytettävyyden määritelmä pohjautuu ISO 9241-11:201 -standar- diin, jonka mukaan käytettävyys on kontekstisidonnainen ”mitta sille, miten hyvin määrätyt käyttäjät voivat käyttää järjestelmää, tuotetta tai palvelua määrätyssä käyttötilanteessa saavuttaakseen määritetyt tavoitteet tuloksellisesi, tehokkaasti ja tyytyväisesti” (ISO 9241-11:2018). Käytettävyys on siis aina käyttäjä- ja tilannekoh- taista, eli käytettävyyttä tutkittaessa tulee tuntea tarkkaan se käyttökonteksti, missä käyttäjän järjestelmälle asettamat vaatimukset ja tarpeet ovat voimassa. Käytettä- vyys muodostuu käyttäjän ja järjestelmän vuorovaikutuksesta.

Kuten edellä luvussa 2.3 Käyttäjäkeskeinen suunnittelu todettiin, käyttökontekstilla tarkoitetaan sitä käyttäjän, käyttötavoitteiden ja -tehtävien, käyttöympäristön sekä resurssien muodostamaa kokonaisuutta, missä järjestelmää, tuotetta tai palvelua käytetään. Käyttöympäristö puolestaan koostuu teknisestä, fyysisestä, sosiaalisesta, kulttuurisesta ja organisationaalisesta ympäristöstä. (ISO 9241-210:2019 ja ISO 9241- 11:2018). Kuvassa 6 on havainnollistettu käyttökontekstia ja käytettävyyttä ISO 9241- 11 -standardin mukaisesti.

Kuva 6. Käyttökontekstin mukaisessa käytössä ilmenevä järjestelmän, tuotteen tai pal- velun käytettävyys (suomennettu ISO 9241-11:2018standardin pohjalta).

Kuvan 6 mukaisesti käytettävyys voidaan nähdä seurauksena käyttäjän ja järjestel- män vuorovaikutuksesta. Käytettävyys ilmenee tuloksellisuutena, tehokkuutena ja tyytyväisyytenä. Tuloksellisuudella tarkoitetaan sitä, miten onnistuneesti käyttäjä saavuttaa tehtävälle asetetut tavoitteet. Tehokkuus puolestaan kuvaa tehtävän teke- misen suorituskykyä. Tyytyväisyys perustuu käyttäjän subjektiiviseen kokemukseen siitä, miten miellyttävä järjestelmää on käyttää. (ISO 9241-11:2018)

Ohjelmistojen laatuun keskittyvässä ISO/IEC 25010 -standardissa (2019) määritellään käytettävyyden osa-alueiksi soveltuvuus, selkeys, opittavuus, käytönhallinta, käyttö- virheiden estäminen, käyttöliittymän miellyttävyys ja esteettömyys. Standardin mu- kaan käytettävyys voidaan määritellä tai mitata tuotteen laatuominaisuutena tai suo- raan käytönaikaisen laadun alaisilla mittareilla. (ISO/IEC 25010:2019)

Järjestelmää suunniteltaessa ja kehitettäessä on otettava huomioon se, että käytet- tävyys on todellakin vain yksi kokonaisuuden osatekijä. Toisinaan joudutaan teke- mään kompromisseja käytettävyyden kustannuksella, jotta saadaan huomioitua laaja-alaisesti kaikki suunnittelu- tai kehitysprosessiin vaikuttavat tekijät. Kokonais-

kuvan ja käytettävyyden välistä yhteyttä on määritellyt esimerkiksi käytettävyystut- kimuksen uranuurtaja Jacob Nielsen (1993), jonka mukaan käytettävyys on yksi jär- jestelmän hyväksyttävyyden ominaisuuksista (kuva 7).

Järjestelmän hyväksyttävyydellä kuvataan sitä, miten järjestelmä kokonaisuudessaan kykenee vastaamaan käyttäjän tarpeisiin ja vaatimuksiin. Järjestelmän hyväksyttä- vyys jakautuu sosiaaliseen ja käytännön hyväksyttävyyteen. Siinä missä sosiaalinen hyväksyttävyys painottaa arvoja ja etiikkaa, käytännön hyväksyttävyys puolestaan keskittyy esimerkiksi kustannuksiin, yhteensopivuuteen, luotettavuuteen ja käyttö- kelpoisuuteen. Käytettävyys on toiminnallisen hyödyllisyyden ohella käyttökelpoi- suuden toinen ulottuvuus. (Nielsen 1993)

Kuva 7. Malli järjestelmän hyväksyttävyyden ominaisuuksista (suomennettu ja piir- retty Jakob Nielsenin kuvan pohjalta). (Nielsen 1993)

Nielsenin (1993) mukaan käytettävyyttä määrittävät seuraavat viisi osa-aluetta:

1. Opittavuus. Järjestelmän tulee olla helposti opittavissa, jotta käyttäjä voi päästä nopeasti suorittamaan tehtäviään järjestelmässä.

2. Käytön tehokkuus. Järjestelmän tulee mahdollistaa käytön tehokkuus, jotta opittuaan järjestelmän käyttäjä saavuttaa tehtävissään korkean tuottavuu- den.

3. Muistettavuus. Järjestelmän toiminnan tulee olla helposti muistettava, jotta käyttäjä palatessaan tauon jälkeen takaisin järjestelmään ei joudu käyttä- mään aikaansa järjestelmän toimintojen uudelleen opetteluun.

4. Virheettömyys. Järjestelmän tulee toimia mahdollisimman virheettömästi, ja virhetilanteissa käyttäjän tulee saada tukea, jotta virhe on korjattavissa. Va- kavia virheitä ei järjestelmässä tulisi esiintyä lainkaan.

5. Miellyttävyys. Järjestelmän tulisi tarjota miellyttävä käyttökokemus, jotta käyttäjä voisi kokea tyytyväisyyttä käyttäessään järjestelmää. (Nielsen 1993) Hertzum (2010) on puolestaan hahmotellut kuusi erilaista käytettävyyden kuvaa, joita ovat:

1. Universaali käytettävyys: Käytettävyys pyrkii vastaamaan haasteeseen, jossa suunnitellaan järjestelmiä, jotka ovat käytettäviä kaikille.

2. Tilannekohtainen käytettävyys: Ilmenee tietyn käyttäjän tehdessä tiettyjä tehtäviä tietyssä käyttökontekstissa.

3. Koettu käytettävyys: Ilmenee käyttäjän subjektiivisena kokemuksena tämän ollessa vuorovaikutuksessa järjestelmän kanssa.

4. Hedoninen käytettävyys: Ilmenee nimenomaan ilon ja mielihyvän kautta.

5. Organisationaalinen käytettävyys: Ilmenee ihmisryhmien välisessä vuorovai- kutuksessa organisaatioissa.

6. Kulttuurinen käytettävyys: Imenee eri tavalla käyttäjien kulttuurisen taustan vaihdellessa. (Hertzum 2010)

Mikään edellä esitetyistä kuudesta käytettävyyden kuvasta ei yksinomaan riitä järjes- telmän kokonaiskäytettävyyden tarkasteluun, mutta useamman näkökulman saman aikainen huomioiminen auttaa ymmärtämään käytettävyyttä entistä syvemmin ja

laajemmin. (Hertzum 2010) Esimerkiksi tässä diplomityössä kuvatun digitaalisen op- pimisympäristön käytettävyyttä lähestytään tilannekohtaisen, koetun ja organisatio- naalisen käytettävyyden lähtökohdista käsin, ottaen samalla huomioon yllä esitetyt viisi Jakob Nielsenin (1993) käytettävyyden osa-aluetta sekä soveltuvat standardit ISO 9241-210:2019 ja ISO 9241-11:2018.

Luvussa2.3 Käyttäjäkeskeinen suunnittelu esitettiin, että käyttäjäkeskeisen suunnit- telun avulla pyritään ensisijaisesti parantamaan käytettävyyttä ja käyttäjäkokemusta.

Tämä vaatii käyttäjän kannalta merkittävimpien käytettävyysongelmien ja järjestel- män virheiden havaitsemista ja poistamista. Käytettävyyttä ja käyttäjäkokemusta on mahdollista tutkia ja mitata erilaisilla käytettävyyden arviointimenetelmillä, joista seuraavaksi esitellään tämän diplomityön toteutuksen kannalta merkittävimmät.

2.4.1 Käytettävyyden suunnittelu ja arviointi

Käytettävyyttä tulee arvioida koko järjestelmän elinkaaren ajan, jotta käyttäjän to- delliset tarpeet ja vaatimukset voidaan realistisesti huomioida, käyttäjäkokemusta parantaa, sekä käyttäjän ja järjestelmän välistä vuorovaikutusta tehostaa. Käytettä- vyyden mittaaminen on välttämätöntä järjestelmän menestymisen kannalta. Riittä- vän korkealla tasolla oleva käytettävyys luo tavoiteltua etua sekä käyttäjille että jär- jestelmän toimittajalle. Suoranaista kilpailuetua on mahdollista saavuttaa nimen- omaan silloin, kun järjestelmän käytettävyys on huomattavan korkea. Mikäli taas jär- jestelmän käytettävyys on odotettua alhaisempi, käyttäjä ei kykene tai ole halukas lainkaan käyttämään järjestelmää. (ISO 9241-11:2018)

Käytettävyyden määritelmä on laaja ja moniulotteinen (kts. kappale 2.4 Käytettä- vyys), eikä käytettävyydelle ole näin ollen olemassa myöskään yksiselitteistä mitta- ria/mittaristoa. Standardissa ISO 9241-11:2018 esitetyn käytettävyyden määritelmän mukaisesti käytettävyys synnyttää käyttäjän ja järjestelmän välisessä vuorovaikutuk- sessa tuloksellisuutta, tehokkuutta ja tyytyväisyyttä. Näitä tavoitteita on tärkeätä pyrkiä mittaamaan. Lisäksi on olemassa monia muita merkittäviä käyttäjäkeskeisen

laadun mitattavissa olevia attribuutteja, kuten esimerkiksi, opittavuus, muistetta- vuus, virheettömyys, saavutettavuus, käyttäjäkokemus sekä järjestelmän käytöstä käyttäjälle mahdollisesti aiheutuva haitta. (Nielsen 1993, ISO 9241-11:2018)

Päivi Sampola (2018) on väitöskirjaansa koonnut käytettävyyskirjallisuuden pohjalta listan yleisimmistä käytettävyyden arviointimenetelmistä, joita ovat heuristinen arvi- ointi, tarkistuslistat ja arviointiohjeet, moniarvoinen-/ryhmäläpikäynti, johdomukai- suuskatselmoinnit, standardointikatselmoinnit, kognitiivinen läpikäynti, ominaisuuk- sien katselmoinnit sekä käytettävyystestaus. (Sampola 2018, Nielsen 1994, Vreden- burg et al. 2002, Sinkkonen et al. 2004, Hartson et al. 2003, Hyysalo 2006) Edellä mai- nittujen arviointimenetelmien lisäksi käytettävyydestä voidaan kerätä tietoa esimer- kiksi erilaisten haastattelujen, kyselyjen ja havainnoinnin avulla. Erilaisia käytettä- vyystutkimuksen menetelmiä yhdistelemällä saavutetaan yleensä paras lopputulos.

Erilaisilla käytettävyyden arviointimenetelmillä on mahdollista tunnistaa käytettä- vyysongelmia sekä suoranaisia käyttövirheitä, jotka ilmenevät esimerkiksi:

 toimintana, joka estää tehtävän suorittamisen,

 käyttäjän turhautumisena,

 sellaisen asian huomiotta jättämisenä, mikä olisi pitänyt huomioida,

 harhakuvitelmana siitä, että tehtävä on suoritettu, vaikka näin ei ole,

 sisällön väärintulkintana ja/tai

 navigointiongelmina (Tullis & Albert 2013).

Selkeitä käytettävyysongelmia ja käyttövirheitä ovat ne, joihin suurin osa käyttäjistä järjestelmän käytön aikana törmää. Käytettävyysongelmat ja käyttövirheet eivät vält- tämättä ole helposti havaittavissa, ja toisinaan käyttäjät eivät itsekään niitä tunnista.

Kaikkia käytettävyysongelmia ja käyttövirheitä ei todennäköisesti saada poistettua, mutta käytettävyyttä selvästi alentavat epäkohdat tulisi kyetä löytämään ja eliminoi- maan. (Tullis & Alber 2013)

Tässä diplomityössä on käytettävyyden arviointimenetelminä käytetty heuristista ar- viointia sekä käytettävyystestausta. Lisäksi tietoja on kerätty puolistrukturoiduilla esi- haastatteluilla, havainnoinnilla sekä System Usability Scale (SUS) -mittarilla. Näitä ar- viointi- ja tiedonkeräysmenetelmiä kuvataan tämän diplomityön luvuissa2.4.1.1 Käy- tettävyystutkimuksen suunnittelu, 2.4.1.2 Heuristinen arviointi,2.4.1.3 Käytettävyys- testaus sekä2.4.1.4 Käyttäjäkokemuksen arviointi.

2.4.1.1 Käytettävyystutkimuksen suunnittelu

Käytettävyystutkimusta suunniteltaessa on otettava huomioon tavoitellun käytettä- vyyden tason ja käyttäjäkeskeisen laadun lisäksi myös muun muassa tutkimukseen varatut resurssit sekä valittujen menetelmien kustannustehokkuus, luotettavuus ja kattavuus. Taulukossa 1 on esitetty Jakob Nielsenin (1993) esittämä käytettävyyden suunnittelun elinkaarimalli ja esimerkkejä mallin eri vaiheissa tehtävistä toimenpi- teistä.

Taulukko 1. Käytettävyyden suunnittelun elinkaarimallin vaiheet ja esimerkkejä eri vaiheissa tehtävistä toimenpiteistä. (Nielsen 1993)

Kaikkien taulukossa 1 esitettyjen käytettävyyden suunnittelun vaiheiden hyödyntä- minen ei ole välttämätön edellytys järjestelmän menestykselle, mutta erilaisista vai- heista voidaan koostaa jokaiseen suunnittelu- ja kehitysprosessiin tehokkain mahdol- linen, koko järjestelmän elinkaaren kattava käytettävyyden ja käyttäjäkeskeisen laa- dun arviointityökalu.

Taulukon 1 mukaiset käytettävyyden suunnittelun elinkaarimallin vaiheet ovat suu- relta osin yhteneväiset ISO 9241-210:2019standardissa esitetyn käyttäjäkeskeisen suunnitteluprosessin kanssa (kts.2.3 Käyttäjäkeskeinen suunnittelu, kuva 5). Forest- BioFacts-oppimisympäristön suunnittelussa sovellettuja käytettävyyden suunnittelu- prosessin vaiheita ja vaiheiden käytännön toteutusta avataan tarkemmin luvussa 3 Käytettävyystutkimuksen toteutus.

2.4.1.2 Heuristinen arviointi

Heuristisen arvioinnin avulla pyritään selvittämään, mitkä ovat järjestelmän hyvät ja huonot puolet. Heuristisessa arvioinnissa keskitytään erityisesti niihin tekijöihin, jotka heikentävät käytettävyyttä. Heuristinen arviointi perustuu nimensä mukaisesti heuristiikkoihin, eli erilaisiin yleisesti hyväksyttyihin järjestelmän suunnitteluratkai- suja ohjaaviin käytettävyyden sääntöihin ja periaatteisiin (Nielsen 1994, Lewis & Rie- man 1994) Heuristista arviointia käytetään usein käytettävyystestauksen rinnalla jär- jestelmän käytettävyyden ja käyttäjäkeskeisen laadun arviointiin.

Molich & Nielsenin vuonna 1990 julkaisema ja Nielsenin (1994) päivittämä käyttöliit- tymän suunnitteluohjeita sisältävä kokoelma on edelleen yksi heuristisessa arvioin- nissa eniten hyödynnetty työkalu, joka pitää sisällään seuraavat kymmenen heuris- tiikkaa:

1. Tee järjestelmän tila näkyväksi, jotta käyttäjä tietää koko ajan mistä hän tuli, missä hän on ja minne hän on menossa. Tarjoa mahdollisimman nopeaa pa- lautetta järjestelmän tilasta ja siitä, mitä on tapahtumassa.

2. Varmista, että järjestelmä vastaa todellista maailmaa. Puhu käyttäjän kieltä ja pyri käyttämään helposti tunnistettavia sanoja, käsitteitä ja ikoneja. Esitä informaatio mahdollisimman luonnollisessa ja loogisessa järjestyksessä.

3. Mahdollista käyttäjän kontrolli ja luo vapauden tunnetta. Osoita virhetilan- teista poistumiseen helppo ja nopea ”hätäuloskäynti”.

4. Pyri johdonmukaisuuteen ja noudata vakiintuneita käytäntöjä. Varmista, että termit, tilanteet ja tapahtumat ovat johdonmukaisia kautta järjestelmän. Pa- ranna opittavuutta vahvistamalla sekä ulkoista että sisäistä johdonmukai- suutta.

5. Estä virheet vähentämällä käyttäjän muistikuormaa, mahdollistamalla ”ku- moa”-toiminto sekä varoittamalla käyttäjiä mahdollisista virheistä. Pyri estä- mään virheet ennen niiden syntymistä.

6. Minimoi käyttäjän muistikuorma. Käyttäjän tulee havaita tarvitsemansa tieto järjestelmästä sen muistamisen sijaan. Käyttöohjeiden tulee olla helposti ja nopeasti löydettävissä.

7. Varmista joustavuus ja käytön tehokkuus. Tarjoa oikopolkuja sekä perso- nointi- ja kustomointimahdollisuuksia käyttäjille.

8. Pyri suunnittelussa esteettisyyteen ja minimalistisuuteen. Varmista, että visu- aaliset elementit tukevat käyttäjän tavoitteita. Esitä vain tarpeellinen tieto selkeällä tavalla.

9. Auta käyttäjää havaitsemaan ja selvittämään virheitä sekä toipumaan niistä.

Käytä selkeitä, helposti havaittavia virheviestejä, osoita ongelma ja tarjoa rat- kaisua.

10.Tarjoa apua ja opastusta, joka on helposti löydettävissä ja keskittyy käyttäjän toimintaan. Tee konkreettisia listoja. (Molich & Nielsen 1990, Nielsen 1994, Nielsen 2020)

Edellä mainittujen kymmenen perinteisen suunnitteluohjeen lisäksi erityisesti digi- taalisten oppimisympäristöjen käytettävyyteen keskittyvät heuristiikat kehottavat

kiinnittämään huomiota esimerkiksi navigointiin ja rakenteen selkeyteen, interaktii- visuuden toteutumiseen, selkeisiin osaamistavoitteisiin sekä oppimista edistävien li- sämateriaalien saatavuuteen ja laatuun. (Reeves et al. 2002) Se, mitä heuristiikkoja arviointiin valitaan, riippuu arvioitavasta järjestelmästä sekä arvioinnin tavoitteista.

Heuristisen arvioinnin toteuttavat käytettävyysasiantuntijat tai järjestelmän suunnit- teluun ja kehittämiseen läheisesti osallistuneet henkilöt, jotka käyvät ensin itsenäi- sesti heurististen muistilistojen avulla läpi järjestelmää, sen vahvuuksia ja heikkouk- sia. Arvioijilla tulee olla käytettävyysosaamisen lisäksi myös ymmärrys siitä, kenelle järjestelmä on suunniteltu, missä käyttökontekstissa sitä käytetään ja missä vai- heessa järjestelmän kehittäminen on. Yksilöllisissä arvioinneissa tehdyt havainnot kootaan yhteen, ja näiden havaintojen pohjalta määritetään ne toimenpiteet, joilla voidaan poistaa käytettävyysongelmia ja parantaa järjestelmää. (Nielsen 1994, Ree- ves et al. 2002) Heuristista arviointia voidaan hyödyntää myös käytettävyystestauk- sen suunnittelun välineenä, kuten on tehty ForestBioFacts-oppimisympäristön suun- nitteluprosessissa (kts. luku3 Käytettävyystutkimuksen toteutus)

Nielsenin (1993) mukaan kaksi asiantuntijaa löytää heuristisen arvioinnin avulla noin 50 % ja viisi asiantuntijaa noin 75 % järjestelmän käytettävyysongelmista. Suorittaes- saan heuristista arviointia, asiantuntijat luokittelevat löytämänsä käytettävyysongel- mat seuraavasti:

 kosmeettinen ongelma,

 vähäinen käytettävyysongelma,

 merkittävä käytettävyysongelma,

 käytettävyyskatastrofi (Reeves et al. 2002).

Lisäksi käytettävyysongelmien luokitteluun ja muutospäätösten tekemiseen vaikut- taa se, miten usein ongelma esiintyy, mitä seurauksia ongelmasta syntyy ja miten py- syvä ongelma on. Kun muutospäätös ongelman korjaamiseksi on tehty, tulee korjaus- vaihtoehtoja mietittäessä ottaa huomioon myös muutoksen vaikuttavuus; korjaus voi

poistaa ongelman, pitää sen muuttumattomana, hankaloittaa ongelmaa tai luoda ko- konaan uusia ongelmia. (Sampola 2018, John & Marks 1997)

2.4.1.3 Käytettävyystestaus

Käytettävyystestaus on kaikkein perustavanlaatuisin käytettävyyden tutkimusmene- telmä, jolla voidaan kerätä suoraa tietoa siitä, miten käyttäjä järjestelmää käyttää ja mitkä ovat käyttäjän käyttötilanteessa kokemat todelliset ongelmat. (Nielsen 1993) Käytettävyystestauksella pyritään yleisesti ottaen varmistamaan se, että järjestelmä saavuttaa sille ennalta asetetun käytettävyyden tason, keräämään palautetta siitä, miten järjestelmälle asetetut tavoitteet toteutuvat sekä määrittämään järjestelmän mahdollisia käytettävyysongelmia ja -virheitä. (Riihiaho 2015) Käytettävyystestauk- sessa voidaan erottaa toisistaan kolme päätoimintoa 1) testauksen suunnittelu ja val- mistelu, 2) varsinainen testaustilanne ja 3) tulosten analysointi ja raportointi (Sam- pola 2008, Riihiaho 2015).

Käytettävyystestauksen suunnittelu ja valmistelu

Nielsenin (1993) mukaan käytettävyystestausta suunniteltaessa tulee ensimmäisenä määrittää, arvioidaanko käytettävyyttä formatiivisesti vai summatiivisesti. Formatii- visessa arvioinnissa pyritään määrittämään järjestelmän vahvuudet, heikkoudet ja se, miten järjestelmää ja suunnittelua voidaan kehittää. Formatiivinen arviointi tapahtuu suunnitteluprosessin aikana, on iteratiivista, ja siinä painotetaan esimerkiksi ääneen ajattelua ja tehtyjen valintojen perustelua. Summatiivinen arviointi puolestaan kes- kittyy suunnitteluprosessin loppuvaiheeseen tai valmiin järjestelmän päivitykseen, ja sen avulla arvioidaan sitä täyttääkö järjestelmä sille asetetut käytettävyystavoitteet, tai miten järjestelmää voidaan kehittää esimerkiksi suhteessa kilpailijoihin. Summa- tiivisen arvioinnin tulokset esitetään usein kvalitatiivisessa muodossa. (Nielsen 1993).

Testaussuunnitelmassa tulee määrittää yksityiskohtaisesti esimerkiksi testauksen ta- voitteet, testauksen menetelmät ja testijärjestelyt, testihenkilöt, testitehtävät, tes- taustilanteen ohjeet ja moderointi sekä testauksen yhteydessä kerättävät tiedot, nii- den analysointi ja hyödyntäminen. (Nielsen 1993)

Testihenkilöiksi valitaan mahdollisimman hyvin järjestelmän käyttäjäryhmää edusta- via henkilöitä. Nielsenin (2000a) mukaan viiden testihenkilön avulla voidaan löytää jopa 85 % järjestelmän käytettävyysongelmista (kuva 8). Tätä näkemystä on myös kri- tisoitu käytettävyystutkimuskirjallisuudessa ja esitetty, että tarvitaan vähintään yh- deksän tai jopa useampia testihenkilöitä löytämään 80 % käytettävyysongelmista (esimerkiksi Hwang & Salvendy 2010), tai että löydettyjen käytettävyysongelmien ja testihenkilöiden lukumäärän välillä ei ole korrelaatiota lainkaan (Molich et al. 2004).

Kuva 8. Löydettyjen käytettävyysongelmien suhde testihenkilöiden lukumäärään (Niel- sen 2000a).

Nielsen (2000a) on perustellut näkemystään viiden testaajan riittävyydestä sillä, että vaikka kuvan 8 mukaisesti vaaditaan 15 testihenkilöä löytämään kaikki käytettävyys- ongelmat, on järjestelmää kuitenkin tarkoituksenmukaisempaa kehittää pala palalta iteratiivisesti. Testihenkilöiden rekrytointi voi olla hyvinkin haasteellista, joten on

kannattavampaa tehdä useita peräkkäisiä testauksia pienemmällä testihenkilömää- rällä (enintään viisi), jotta päästään kerta kerralta syvemmälle käytettävyyden yti- meen. Myös tehdyt muutokset tulee aina testata oikeilla käyttäjillä, jotta muutosten vaikuttavuus voidaan luotettavasti todentaa.

Testaussuunnitelmaa tehtäessä tulee määrittää myös se, millaisessa käyttöympäris- tössä ja käyttökontekstissa testausta tehdään. Yleisesti ottaen käytettävyystestaus tapahtuu aina jollakin tapaa kontrolloidussa ympäristössä tai kontrolloidusti, sillä tes- tauksessa on usein mukana tilannetta tarkkaileva moderaattori tai testaukseen on selkeä ennalta annettu ohjeistus. Käyttäjien luonnollisessa käyttöympäristössä teh- dyssä testissä saavutetaan usein rento ilmapiiri, mutta toisaalta myös häiriötekijöitä saattaa esiintyä enemmän. Laboratorio-olosuhteissa taas useat häiriötekijät voidaan poissulkea, mutta keinotekoinen ympäristö voi aiheuttaa käyttäjissä jännitystä, joka näkyy tulosten epärealistisuutena. (ISO 9241-11:2018) Käyttökontekstin osalta käy- tettävyystestauksessa tulee huomioida tarkasti ainakin merkittävimmät järjestelmän käyttöön liittyvät reunaehdot, joiden perusteella käyttäjän järjestelmälle asettamat vaatimukset ja tarpeet ovat voimassa.

Testitehtävien osalta on ensiarvoisen tärkeää, että ne vastaavat niitä tehtäviä, joita järjestelmän oikeat käyttäjät järjestelmässä yleisesti ottaen tekevät. Tehtävien tulee olla riittävän lyhyitä, jotta ne voi suorittaa käytettävyystestin aikarajoissa, mutta toi- saalta tehtävien tulee silti olla myös riittävän haasteellisia, jotta mahdolliset käytet- tävyysongelmat nousevat selvästi esiin. (Nielsen 1993) Testitehtävät perustuvat en- nalta määriteltyihin järjestelmän tärkeimpiin käyttötavoitteisiin. Testitehtävät muo- dostava niin sanottuja skenaarioita, joihin sisältyy tehtävän ympärille rakennettu ta- rina.

Tehtävien ja skenaarioiden tulee olla realistisia ja selkeästi ilmaistuja, jotta testihen- kilöt voivat samaistua niihin ja kokea omistajuutta tehtävien suhteen. Testitehtävien tulee myös olla toimintaa sisältäviä. On hyödyllisempää pyytää testihenkilöä konk- reettisesti tekemään tehtävää eikä ainoastaan kuvailemaan, miten hän tehtävän te-

noudattaa käyttäjän yleisesti ymmärtämää kieltä. Hyvin laadittu tehtävä/skenaario rohkaisee käyttäjää vuorovaikutukseen järjestelmän kanssa. (McCloskey 2014) Käytettävyystestaustilanne

Nielsenin (1993) mukaan käytettävyystestauksessa on tyypillisesti neljä vaihetta:

1. Valmisteluvaihe 2. Johdantovaihe 3. Testausvaihe 4. Loppukeskustelu

Valmisteluvaiheessa varmistetaan testi- ja tallennuslaitteiden toiminta sekä se, että kaikki tarvittavat materiaalit, ohjeet, lomakkeet ja kyselyt ovat saatavilla. Johdanto- vaiheessa testihenkilö otetaan vastaan, toivotetaan tervetulleeksi ja hänelle pidetään lyhyt esittely tutkimuksen taustasta ja käytettävistä tutkimusmenetelmistä. Testihen- kilölle tuodaan tietoon myös tutkimuksen eettiset toimintatavat sekä se, mihin testi- tuloksia käytetään ja miten henkilötietoja käsitellään. Testiin osallistuminen on va- paaehtoista ja testaamisen voi lopettaa missä tahansa tutkimuksen vaiheessa. Testi- henkilölle tulee tehdä myös selväksi, että testissä testataan nimenomaan järjestel- mää, eikä testihenkilön osaamista tai suoriutumista. Testihenkilöä pyydetään ajatte- lemaan ääneen käytettävyystestauksen aikana moderaattorin seuratessa testiä lä- hietäisyydeltä. Moderaattori saa puuttua testaustilanteeseen ainoastaan siinä ta- pauksessa, että testihenkilö ei itse kykene jatkamaan tehtävää ja on selvästi turhau- tunut tilanteesta. (Nielsen 1993)

Varsinaisen käytettävyystestauksen jälkeen testihenkilöä pyydetään täyttämään esi- merkiksi System Usability Scale (SUS) -kysely (kts.2.4.1.4 Käyttäjäkokemuksen arvi- ointi), jolla voidaan mitata käytettävyyden lisäksi myös käyttäjäkokemusta. Lisäksi testihenkilön kanssa on hyvä käydä läpi hänen tuntemuksiaan testaustilanteesta ja järjestelmästä esimerkiksi lyhyen haastattelun avulla. Testihenkilöiltä voidaan myös pyytää kommentteja siitä, miten he parantaisivat järjestelmää ja sen käytettävyyttä.

Usein nämä kehittämisehdotukset eivät johda varsinaisiin toimenpiteisiin, mutta nii- den kautta voidaan saada ideoita ja uusia näkemyksiä seuraavaa iteraatiota varten.

(Nielsen 1993)

Tulosten analysointi ja raportointi

Käytettävyystestauksesta kerättyä informaatiota analysoimalla pyritään tekemään tulkintoja testaustilanteesta sekä siitä, missä onnistuttiin ja mikä puolestaan aiheutti ongelmia. Käytettävyys itsessään on abstrakti käsite, joten testituloksia on järkevää pilkkoa pienempiin, käytettävyysattribuuttien mukaisiin palikoihin, joita ovat esimer- kiksi tuloksellisuus, tehokkuus ja tyytyväisyys (kts.2.4.1 Käytettävyyden suunnittelu ja arviointi). Esimerkiksi käytön tehokkuutta voidaan määrittää tehtävien suorittami- seen käytetyn ajan perusteella, tuloksellisuutta onnistuneiden tehtävien lukumäärän perusteella ja tyytyväisyyttä System Usability Scale (SUS) -mittarilla.

Nielsenin (1993) listaamia tyypillisiä käytettävyyttä mitattavia suureita voivat olla esi- merkiksi:

 tehtävän tekemiseen kulunut aika,

 määrätyssä ajassa onnistuneesti suoritettujen tehtävien lukumäärä,

 onnistuneiden ja epäonnistuneiden tehtävien välinen suhdeluku,

 tehtyjen virheiden määrä,

 käyttäjän muistamien järjestelmän toiminnallisuuksien määrä testauksen jäl- keen,

 käyttäjän osoittaman turhautumisen tai ilon ilmausten määrä,

 se aika, kun käyttäjä ei ole vuorovaikutuksessa järjestelmän kanssa (ns. kuol- lut aika)

o käyttäjä odottaa järjestelmää o järjestelmä odottaa käyttäjää

 kesken tehtävän ”sivuraiteille” hairahtamisen kerrat. (Nielsen 1993).

Käytettävyysmetriikoiden laaja hyödyntäminen ainoastaan kvantitatiivisten tulosten saamiseksi tutkimukseen, saattaa osoittautua jopa haitalliseksi, etenkin jos koehen- kilöiden määrä on alhainen eikä riittävää luottamusväliä mitatuille suureille saada las- ketuksi. (Nielsen 1993). Näissä tapauksissa on järkevää keskittyä enemmän käytettä- vyyden laadulliseen arviointiin esimerkiksi ääneen ajattelua hyödyntäen. Verbalisoi- malla tekemiään toimenpiteitä ja valintoja käytettävyystestausta suorittava käyttäjä samalla sanoittaa tulkintojaan järjestelmästä ja sen toiminnasta. Verbalisointia voi- daan tehdä joko samanaikaisesti tehtävän tekemisen kanssa tai muistinvaraisesti teh- tävän tekemisen jälkeen. (Sampola 2008) Toisinaan ääneen ajattelu saattaa hidastaa tehtävien tekemistä, joten käytettävyystestauksen tuloksia analysoitaessa on otet- tava huomioon se, vaikuttiko ääneen ajattelu mahdollisesti esimerkiksi tehtävästä suoriutumisen kestoon.

2.4.1.4 Käyttäjäkokemuksen arviointi

Yksi eniten käytetyistä käyttäjäkokemuksen arvioinnin työkaluista on System Usabi- lity Scale (SUS) -kysely, joka koostuu viidestä positiivisesta ja viidestä negatiivisesta väittämästä, joita arvioidaan viisiportaisella Likert-asteikolla. SUS-kyselyä voi käyttää ainoastaan silloin, kun kyseessä on uusi käyttäjä, joka käyttää tutkittavaa järjestelmää ensimmäisen kerran. SUS-kysely tulee täyttää välittömästi käytettävyystestauksen päätyttyä, ennen varsinaista loppukeskustelua. (Brooke 1986) SUS-kyselyssä käytetyt kysymykset ovat:

1. Luulen, että käyttäisin tätä järjestelmää mielelläni usein.

2. Mielestäni järjestelmä oli turhan monimutkainen.

3. Pidin järjestelmän käyttämistä helppona.

4. Luulen, että tarvitsen teknisen henkilön tukea, jotta osaisin käyttää tätä jär- jestelmää.

5. Mielestäni järjestelmän eri osat toimivat hyvin yhteen.

6. Mielestäni järjestelmässä oli liikaa eri tavalla toimivia asioita.

7. Luulen, että useimmat oppivat järjestelmän käytön erittäin nopeasti.

9. Tunsin itseni hyvin varmaksi, kun käytin järjestelmää.

10. Minun piti opetella paljon asioita ennen kuin järjestelmän käyttö alkoi sujua.

(Brooke 1986, suom. Jokela 2018)

Likert-asteikolla vastausten arvo on yhdestä viiteen siten, että arvoa yksi vastaa ”täy- sin eri mieltä” ja arvoa 5 puolestaan ”täysin samaa mieltä”. Positiivisten kysymysten (1,3,5,7 ja 9) kohdalla käyttäjän antamasta arvosta vähennetään 1 ja negatiivisten kysymysten kohdalla (2,4,6,8 ja 10) taas käyttäjän antama arvo vähennetään luvusta 5. Jokainen kysymys saa siis tuloksista laskettuna pistearvon välillä 04. Varsinaisen SUS-arvon laskeminen tapahtuu siten, että eri kysymysten saamat pistearvot laske- taan yhteen ja kerrotaan luvulla 2,5. Lopputulos on lukuarvo välillä 0100.

(Brooke 1986) SUS-arvon avulla on mahdollista verrata eri järjestelmiä toisiinsa. Mitä korkeampi SUS-arvo on, sitä parempi on järjestelmän käytettävyys (kuva 9).

Kuva 9. System Usabilitys Scale (SUS) -arvon arviointiasteikko (Bangor et al. 2008).

Pitkäaikaisten vertailujen perustella on havaittu, että SUS-arvo 70 indikoi keskita- soista käytettävyyttä. Kuvan 9 mukaisesti hyväksyttävän käytettävyyden raja on 52, hyvän käytettävyyden raja 73 ja erinomaisen käytettävyyden raja 85. (Bangor et al.

2008)