Käytettävyystestauksessa tutkimusdataa kerättiin seitsemän varsinaisen tehtävän avulla (liite V), System Usability Scale (SUS) -kyselyllä (liite VI) ja loppuky-selyllä (liite VII). Tässä kappaleessa esitellään tulokset, etenkin esiin nousseet
merkit-Käytettävyystestauksen tehtävä Testattava asia
1. Lähde liikkeelle ForestBioFacts-oppimisympäristön ”Natural Fibre Product” -teeman etusivulta katsomalla esittelyvideo tai lukemalla etusivun tekstikappale.
Valinta videon ja tekstin välillä
2. Selvitä, mitä sinun odotetaan tietävän luettuasi aaltokartonkiin (Corrugated board) liittyvä kokonaisuus.
Osaamistavoitteiden löytäminen 3. Tutustu taivekartongin (Folding boxboard)
tuoteominaisuuksiin ja tee aiheeseen liittyvä Test your knowledge -tehtävä.
Navigointi
Sivurakennevalikon löytäminen Hakuominaisuuden käyttö Tehtävän löytäminen ja tekeminen 4. Selvitä, mitä tarkoitetaan käsitteellä ”fourdrinier”. Hakuominaisuuden käyttö
Valikkojen löytäminen Sanaston löytäminen
Sanaselitys-ominaisuuden löytäminen 5. Selvitä sanastosta, mitä tarkoitetaan käsitteellä ”headbox”. Sanaston löytäminen
6. Etsi taivekartongin (Folding boxboard) ”Processing”-sivulta video “Metsä Board: Making safe fresh fibre cartonboard”.
Aloita videon katselu kohdasta “Wet end wire section” ja jatka katselua tehtävään asti. Tee tehtävä.
Navigointi 7. Selvitä, mistä johtuu kemialliselle massalle (pulp) tyypillinen
tumma väri.
Hakuominaisuus Navigointi
Rakenteen oivaltaminen Tekstin selkeys
tävimmät käytettävyysongelmat, ensin tehtäväkohtaisesti. SUS-kyselyn tulokset esi-tetään kappaleessa4.5 System Usability Scale (SUS) -kyselyn tulokset ja loppukyselyn keskeiset havainnot kappaleessa4.6 Käytettävyystestauksen loppukyselyn tulokset.
Tehtäväkohtaisissa tuloksissa painottuvat nimenomaan käytettävyyslaboratoriossa tehtyjen testausten tulokset, koska käytettävyyslaboratoriossa tehdyistä testauksista tallennettiin sekä ruutunäkymä että ääneen ajattelu. Luentotilanteessa tehdyistä tauksista ei tallennettu ruutunäkymää eikä ääntä, joten luennolla tapahtuneesta tes-tauksesta voitiin tehtäväkohtaisesi arvioida vain sitä, kokivatko testihenkilöt saa-neensa tehtävät tehdyksi sekä analysoida loppukyselystä saatuja palautteita.
ForestBioFacts-oppimisympäristön käytettävyystutkimuksessa tuloksia on analysoitu lähinnä kvalitatiivisesti, koska testihenkilöiden määrä oli suhteellisen pieni. Tuloksista on kuitenkin ilmoitettu onnistuneiden tehtävien määrä (todellinen tai testihenkilöi-den kokema), tehtävien suorittamiseen käytetty aika ja käyttäjien kokema tyytyväi-syys. Viimeksi mainittua on arvioitu käyttäjien suullisen tai kirjallisen palautteen ja-System Usability Scale (SUS) -kyselyn perusteella.
Tehtävistä suoriutuminen ja tehtäviin käytetty aika
Käytön tehokkuutta on mahdollista määrittää tehtävien suorittamiseen käytetyn ajan perusteella, ja tuloksellisuutta onnistuneiden tehtävien lukumäärän perusteella (kts.
luku2.4.1.3 Käytettävyystestaus). Taulukossa 17 on esitetty käytettävyyslaboratori-ossa tehtyjen tehtävien opiskelijakohtainen tehtävistä suoriutuminen ja tehtäviin käytetty aika. Taulukossa 18 puolestaan on esitetty tehtävistä suoriutuminen luento-testauksen yhteydessä. Käytettävyyslaboratoriossa ja luennolla tehtyjen tehtävien tulokset eivät ole suoraan vertailukelpoisia, koska taulukon 17 tulokset perustuvat opiskelijoiden todelliseen suoriutumiseen ja taulukon 18 tulokset puolestaan opiske-lijoiden omakohtaiseen tehtävistä suoriutumisen tuntemukseen.
Taulukko 17. ForestBioFacts-oppimisympäristön ensimmäisen käytettävyystestauksen tehtävistä suoriutuminen ja tehtäviin käytetty aika (käytettävyyslaboratorio).
Taulukko 18. ForestBioFacts-oppimisympäristön ensimmäisen käytettävyystestauksen tehtävistä suoriutumisen kokemus (luentotestaus).
Taulukossa 17 esitetyistä käytettävyyslaboratoriossa määritetyistä tuloksista voidaan havaita, että käytettävyystestauksen tehtävistä suoriuduttiin keskimäärin hyvin. Ai-noastaan tehtävä 2 osoittautui haastavaksi, sillä vain kaksi kuudesta testihenkilöstä suoriutui tehtävästä. Ajallisesti haasteellisimmaksi muodostui tehtävä 3. Tehtäväkoh-taisia tuloksia esitellään myöhemmin tässä kappaleessa. Tehtäviin kuluneen ajan ja suoritettujen tehtävien lukumäärän perusteella voidaan todeta, että testihenkilöt ky-kenivät käyttämään ensimmäisessä käytettävyystestauksessa ForestBioFacts-oppi-misympäristön pilottiversiota melko tuloksellisesi ja tehokkaasti.
Suoritus
Yhteensä 5/7 14:39 6/7 10:34 7/7 15:28 5/7 16:55 6/7 15:15 6/7 14:38 Opiskelija 2 Opiskelija 3 Opiskelija 4 Opiskelija 5 Opiskelija 6 Opiskelija 7
Opiskelija
Luentotestauksen tuloksissa (taulukko 18) korostui se, että lähes kaikki testihenkilöt kokivat saaneensa kaikki tehtävät tehdyksi, eli testihenkilöiden omakohtainen koke-mus tehtävistä suoriutumisesta oli erittäin positiivinen. Käytettävyyslaboratoriotes-tauksesta saatujen tulosten perusteella on kuitenkin todennäköistä, että suurimmalla osalla testihenkilöistä 12 tehtävää epäonnistui.
Ensimmäisen käytettävyystestauksen tehtävillä pyrittiin määrittämään nimenomaan ForestBioFacts-oppimisympäristön pilottiversion eri toiminnallisuuksien käytettä-vyyttä, ei niinkään kykyä ymmärtää sen sisältöä. Eroja yliopisto-opiskelijoiden (taulu-kossa 17 keltaisella värillä) ja lukiolaisten (taulu(taulu-kossa 17 sinisellä värillä) välillä ei käy-tettävyystestauksessa havaittu, vaikka lukiolaisilla ei aiempaa sisällöllistä tietoa oppi-misympäristön aiheista vielä ollut. Yliopisto-opiskelijoiden ja lukiolaisten samankal-taisten tulosten perusteella voidaan päätellä käytettävyystestauksen tehtävänannon onnistuneen toiminnallisuuksien testaamisen tavoitteessa hyvin.
Tehtävä 1
Ensimmäisessä tehtävässä (kts. liite V) testihenkilöitä pyydettiin tutustumaan Natural Fibre Products -teeman sisältöön joko katsomalla teeman etusivun esittelyvideo tai lukemalla videon alla oleva esittelyteksti (kuva 17). Tehtävässä lähdettiin liikkeelle teeman etusivulta, eli samalta sivulta, missä video ja teksti sijaitsivat.
Kuva 17. ForestBioFacts-oppimisympäristön käytettävyystestauksen tehtävä 1; etusi-vun video ja esittelyteksti.
Kolme testihenkilöä valitsi esittelyvideon ja yksi luki tekstimuotoisen esittelyn. Kaksi testihenkilöistä katsoi sekä videon että luki tekstikappaleen. Videon katsoneet testi-henkilöt pitivät sitä pääosin informatiivisena ja selkeänä. Tekstikappaleen kohdalla testihenkilöt arvioivat saaneensa hyvän kuvan käsiteltävänä olevasta teemasta. Teks-tin yhteyteen toivottiin kuitenkin myös havainnollisia kuvia, jotka toisivat esiin tee-man keskeisiä sisältöjä. Kaikki testihenkilöt mainitsivat käytettävyystestauksen yhtey-dessä, että mahdollisimman monipuolinen ja visuaalinen sisältö auttaa hahmotta-maan käsiteltävänä olevaa asiaa. Usein kuitenkin pitkät videot jätetään ajan säästä-miseksi katsomatta tai ne katsotaan nopeutettuna.
Kaikki testihenkilöt suorittivat ensimmäisen tehtävän. Kolme testihenkilöä esitti ky-symyksen siitä, ovatko etusivun video ja teksti samansisältöisiä. Videoiden yhtey-dessä tulisi testihenkilöiden mukaan olla tekstimuotoinen kuvaus siitä, mitä video pi-tää sisällään tai mikä videossa on keskeistä. Erityisesti toivottiin sitä, että videoissa olisi äänen lisäksi myös tekstitys. Tekstityksen kanssa videon olemus muuttuu testi-henkilöiden näkemyksen mukaan mainosvideosta opetusvideoksi. Tekstitys on tär-keä myös siksi, että aina esimerkiksi luennolla ei ole mahdollista katsella videota
ää-nien kanssa, etenkin jos kuulokkeita ei ole mukana. Yhden testihenkilön kohdalla tie-tokoneen äänet eivät olleet automaattisesti päällä, joten testihenkilö joutui keskeyt-tämään videon saadakseen äänet ensin kuuluviin. Tässä yhteydessä testihenkilö huo-mautti siitä, että esittelyvideota ei pystynyt keskeyttämään klikkaamalla keskeltä vi-deoruutua, eli videosta puuttui play/pause-painike.
Tehtävä 2
Toisen tehtävän tarkoituksena oli löytää osaamistavoitteet artikkelista Corrugated board (kuva 18). Tehtävän tekeminen aloitettiin Natural Fibre Products -teeman etu-sivulta. Tehtävän optimaalinen suoritus vaati oikean artikkelin löytämistä sisällysluet-telosta (kuva 18, punainen ympyrä 1) tai hakuominaisuutta käyttäen, ja sen jälkeen osaamistavoiteikonin (kuva 18, punainen ympyrä 2) havaitsemista ja painamista.
Kuva 18. ForestBioFacts-oppimisympäristön käytettävyystestauksen tehtävä 2; osaa-mistavoitteet
Toisen tehtävän suurimmaksi kompastuskiveksi muodostui se, että testihenkilöt eivät tunnistaneet osaamistavoiteikonia. Ainoastaan kaksi testihenkilöä löysi osaamista-voitteet ja sai tehtävän tehdyksi. Molemmat näistä testihenkilöistä ilmaisivat
osaa-kuitenkin saaneensa tehtävän valmiiksi luettuaan artikkelin ja sen perusteella päätel-tyään, mikä artikkelissa on keskeistä. Huomionarvoista toisen tehtävän kohdalla oli se, että neljä kuudesta testihenkilöstä etsi oikean artikkelin hakuominaisuuden kautta ja kaksi puolestaan sivuvalikon sisällysluettelosta.
Tehtävä 3
Käytettävyystestauksen kolmannessa tehtävässä piti ensin löytää oikea artikkeli, lu-kea siitä oilu-kea kohta ja sen jälkeen tehdä artikkelin lopussa olevat Test your know-ledge -testi (kuva 19).
Kuva 19. ForestBioFacts-oppimisympäristön käytettävyystestauksen tehtävä 3; artik-kelin löytäminen ja testitehtävän tekeminen.
Kolmannen tehtävän kohdalla testihenkilöillä oli selvästi hankaluuksia hahmottaa sitä mistä lähteä liikkeelle. Testihenkilöt kokeilivat sattumanvaraisesti erilaisia valikoita ja painikkeita. Oikea artikkeli löytyi lähes poikkeuksetta yrityksen ja erehdyksen kautta.
Tehtävä kolme osoittautui ajankäytöllisesti haastavimmaksi tehtäväksi ja siihen käy-tettiin muita tehtäviä selvästi enemmän aikaa. Lähes kaikki testihenkilöt löysivät lo-pulta oikean artikkelin ja saivat siellä olleen testin tehdyksi. Ainoastaan yksi
testihen-kilö jätti tehtävän lopulta kesken, kun oikea artikkeli ei löytynyt. Moderaattori ha-vaitsi, että tämäkin testihenkilö kävi kyllä oikeassa artikkelissa, mutta ei vierittänyt sivua riittävän alas, jolloin Test your knowledge -testi jäi huomaamatta.
Selkeäksi käytettävyysongelmaksi kolmannen tehtävän perusteella nousi se, että tes-tihenkilöiden oli vaikea hahmottaa ForestBioFacts-oppimisympäristön eri toiminnal-lisuuksia ja valikoita. Test your knowledge -testin tekeminen itsessään oli helppoa ja vaivatonta, mutta oikean artikkelin löytäminen haastavaa. Jokaisen testihenkilön kohdalla oli havaittavissa jonkinasteista turhautumista siihen, että tehtävän tekemi-nen polki paikallaan. Tehtävän aikana testihenkilöt löysivät sattumalta erilaisia toi-minnallisuuksia, joista oli selkeää hyötyä käytettävyystestauksen myöhemmissä teh-tävissä.
Tehtävä 4
Tehtävässä neljä testihenkilöitä pyydettiin selvittämään, mitä tarkoitetaan termillä
”fourdrinier”. Tässä tehtävässä pyrittiin kartoittamaan sekä hakuominaisuuden toi-mintaa (kuva 20, punainen ympyrä 1 ja 2) että sanaselityksen löytämistä (kuva 20, punainen ympyrä 3). Neljä testihenkilöä selvitti tehtävän ripeästi. Yksi testihenkilö jätti tehtävän kesken, koska ei löytänyt vastausta riittävän nopeasti.
Kuva 20. ForestBioFacts-oppimisympäristön käytettävyystestauksen tehtävä 4; ha-kuominaisuus ja sanaselitykset.
Kuten edellisen tehtävän tulosten esittämisen yhteydessä todettiin, testihenkilöt löy-sivät sattumalta useita ForestBioFacts-oppimisympäristön toiminnallisuuksia, jotka auttoivat heitä lopuissa käytettävyystestauksen tehtävissä. Kolme testihenkilöä käytti hakuominaisuutta neljännen tehtävän tekemisessä ja kaksi testaajaa siirtyi ylä-palkin hampurilaisvalikon kautta sanastoon, josta oikea termi löytyi. Nämä viisi tes-taajaa havaitsivat helposti artikkelin tekstissä lihavoidun ja alleviivatun termin (kuva 20, punainen ympyrä 3) ja tunnistivat sen sanaselityslaatikon avaavaksi linkiksi. Yksi testihenkilö lähti ensin etsimään termiä sisällysluettelosta ja siirtyi tämän jälkeen käyttämään hakuominaisuutta. Haun eri tuloslinkkejä turhaan availtuaan ja artikke-leita luettuaan testihenkilö koki, että ei löydä tehtävään vastausta ja jätti tehtävän kesken.
Neljännen tehtävän kohdalla alkoi hahmottua hyvin toimivan hakuominaisuuden tär-keys. Vaikka testihenkilöt löysivät hakuominaisuuden avulla haluamansa, oli hakutu-losten esittämisessä ja tärkeysjärjestyksessä vielä parantamisen varaa. Heuristisen arvioinnin yhteydessä nousi esiin huoli siitä, hahmottaisivatko testihenkilöt liha-voidut sanaselitykset linkeiksi, mutta tämä ei käytettävyystestauksessa lopulta
nous-Tehtävä 5
Käytettävyystestauksen tehtävä viisi käsitteli sanaston (Glossary) käyttöä. Sanastoon pääsi ainoastaan yläpalkin hampurilaisvalikon kautta (kuva 21, punainen ympyrä 1 ja 2). Oikea termi oli mahdollista löytää sanaston vasemman laidan sanalistauksesta (kuva 21, punainen ympyrä 3).
Kuva 21. ForestBioFacts-oppimisympäristön käytettävyystestauksen tehtävä 5; termin löytäminen sanastosta.
Viisi testihenkilöä suoriutui viidennestä tehtävästä nopeasti ja tehokkaasti. Yksi testi-henkilö löysi yläpalkin hampurilaislogon kautta teemavalikon, mutta etsi sieltä sanas-toa termillä ”Dictionary” eikä huomannut termiä ”Glossary”. Tämän jälkeen testihen-kilö siirtyi käyttämään hakuominaisuutta ja löysi hakutulosten perusteella artikkelin, jossa tehtävänannossa mainittu termi ”headbox” esiintyi. Testihenkilö avasi artikke-lin, luki sen ja koki saaneensa sen perusteella tehtävän suoritetuksi, vaikka sanasto jäikin löytymättä.
Viidennessä tehtävässä havaittiin, että vaikka ForestBioFacts-oppimisympäristö
vai-oli sen opittavuus kuitenkin melko hyvä. Testihenkilöiden ääneen ajattelussa toistui-vat viidennen tehtävän aikana lauseet ”mä muistan nähneeni tämän aiemmin” ja ”tie-dän jo, että tämä ominaisuus löytyy täältä”.
Käytettävyysongelmaksi voidaan nostaa se, että yläpalkin hampurilaisvalikkoa oli vai-kea löytää ja se löytyi suurelta osin sattumalta käytettävyystestauksen edetessä. Mi-käli tehtävä viisi olisi ollut käytettävyystestauksen alussa olisi todennäköistä, että hy-vin harva testihenkilö olisi sen löytänyt. Lisäksi sanasto johti umpikujaan, eli kun tes-tihenkilöt yrittivät palata takaisin Natural Fibre Products -teeman etusivulle oppimis-ympäristön logosta, ei logo toiminut, eikä sisällysluetteloa ollut sanastossa saatavilla.
Viisi sanaston löytänyttä ja tehtävän suorittanutta testihenkilöä käytti sanastosta poistumiseen ja oppimisympäristön etusivulle palaamiseen selaimen yläreunan Ta-kaisin-nuolta.
Tehtävä 6
Tehtävä kuusi oli suunniteltu aiempia monimutkaisemmaksi, mutta toisaalta tehtä-vänanto tarjosi myös aiempaa enemmän vinkkejä. Tehtävässä tuli etsiä tietystä artik-kelista (kuva 22, punainen ympyrä 1 ja 2) video ja tehdä videoon upotettu Test your knowledge -testi. Testin löytämisen helpottamiseksi videoon oli lisätty kirjanmerk-kejä (kuva 22, punainen ympyrä 3), joista tehtävän kannalta keskeisin oli mainittu tehtävänannossa.
Kuva 22. ForestBioFacts-oppimisympäristön käytettävyystestauksen tehtävä 6; video, videon kirjanmerkit ja testitehtävä.
Kaikki käytettävyyslaboratoriossa ensimmäisen käytettävyystestauksen tehneet tes-tihenkilöt saivat tehtävän suoritettua kohtuullisessa ajassa. Eniten vaikeuksia tuotti oikean artikkelin löytäminen, vaikka tehtävänannossa oli mainittu selkeä etenemis-polku. Kolme testihenkilöä mainitsi tehtävää tehdessään, että ”olisi pitänyt lukea teh-tävänanto paremmin”. Kolme testihenkilöä löysi oikean artikkelin sisällysluettelon kautta, yksi prosessijanalta ja kaksi testihenkilöä hakuominaisuutta käyttämällä. Ha-kuominaisuuden kohdalla havaittiin, että video oli vaikea löytää, ellei kirjoittanut vi-deon nimeä kokonaisuudessaan täysin oikein.
Neljä testihenkilöä valitsi suoraan kirjanmerkeistä tehtävänannossa mainitun koh-dan. Yksi testihenkilö löysi kirjanmerkit, mutta katsoi videon silti alusta alkaen tehtä-vään saakka. Yksi testihenkilö puolestaan ei huomannut kirjanmerkkejä lainkaan vaan etsi tehtävän videon aikajanalta. Kaikki testihenkilöt löysivät Test your knowledge -testin ja tekivät sen vaivatta.
Kuudennen tehtävän kohdalla merkittävimmäksi käytettävyysongelmaksi osoittautui jälleen hakuominaisuuden rajallisuus. Myös eri valikoiden kautta navigointi vaikutti
tuottavan edelleen päänvaivaa. Oppimista testaava interaktiivisuus videossa koettiin osaamista edistäväksi tekijäksi, samoin videon kirjanmerkkiominaisuus.
Tehtävä 7
Käytettävyystestauksen tehtäviä suunniteltaessa pyrittiin siihen, että tehtävät vai-keutuvat testauksen edetessä. Tehtävässä seitsemän testattiin sitä, miten opiskelijat löytävät tekstin joukosta vastauksen sille, mistä johtuu kemialliselle massalle tyypilli-nen tumma väri. Tehtävänannossa mainittiin vihjeenä sana ”pulp”, sillä testihenkilöi-den ei oletettu tuntevan puunjalostusalan termistöä. Tehtävän suorittamiselle mää-ritettiin kaksi mahdollista reittiä, joista hakuominaisuuteen perustuva on esitetty ku-vassa 23 (punaiset ympyrät 1, 2 ja 3). Toinen mahdollinen reitti oli navigoida oikeaan artikkeliin sisällysluettelon perusteella.
Kuva 23. ForestBioFacts-oppimisympäristön käytettävyystestauksen tehtävä 7; ha-kuominaisuus ja tiedon löytäminen tekstistä.
Kaksi testihenkilöä suoritti käytettävyystutkimuksen seitsemännen tehtävän alle mi-nuutissa ja loput neljä 23 mimi-nuutissa, mikä oli testikysymysten laatijoille suorastaan yllätys. Alun perin oletettiin, että osa testihenkilöistä ei välttämättä edes saa tehtävää
suoritetuksi. Kolme testihenkilöä käytti tehtävän tekemiseen suoraan hakuominai-suutta, kun taas kaksi testihenkilöä silmäili ensin sivurakennetta ja siirtyi sen jälkeen hakuun. Yksi testihenkilö puolestaan ilmoitti nähneensä aiemmin sivurakenteessa tekstin ”Chemical pulp” ja etsi sivurakenteesta muistinvaraisesti oikean sivun. Kaikki testihenkilöt löysivät tekstin joukosta oikean vastauksen suhteellisen lyhyen lukemi-sen perusteella. Kolme vastaajaa mainitsi, että vastausten löytäminen olisi helpottu-nut entisestään, mikäli hakusanat olisi korostettu tekstissä automaattisesti. Näin ei kuitenkaan käynyt, joten testihenkilöt joutuivat käyttämään CTRL+F-toimintoa löy-tääkseen hakemansa sanat tekstistä vaivattomasti.
Viimeisen tehtävän yhteydessä vaikutti siltä, että testihenkilöt alkoivat saada var-muutta ForestBioFacts-oppimisympäristön käyttöön. Hakuominaisuuden ja navigaa-tion hallintaan liittyi vielä epävarmuuden ilmaisuja, mutta vuorovaikutus järjestel-män kanssa vaikutti kohtuullisen sujuvalta eikä uusia käytettävyysongelmia havaittu.