Käytettävyystestaus

Käytettävyystestaus on kaikkein perustavanlaatuisin käytettävyyden tutkimusmene-telmä, jolla voidaan kerätä suoraa tietoa siitä, miten käyttäjä järjestelmää käyttää ja mitkä ovat käyttäjän käyttötilanteessa kokemat todelliset ongelmat. (Nielsen 1993) Käytettävyystestauksella pyritään yleisesti ottaen varmistamaan se, että järjestelmä saavuttaa sille ennalta asetetun käytettävyyden tason, keräämään palautetta siitä, miten järjestelmälle asetetut tavoitteet toteutuvat sekä määrittämään järjestelmän mahdollisia käytettävyysongelmia ja -virheitä. (Riihiaho 2015) Käytettävyystestauk-sessa voidaan erottaa toisistaan kolme päätoimintoa 1) testauksen suunnittelu ja val-mistelu, 2) varsinainen testaustilanne ja 3) tulosten analysointi ja raportointi (Sam-pola 2008, Riihiaho 2015).

Käytettävyystestauksen suunnittelu ja valmistelu

Nielsenin (1993) mukaan käytettävyystestausta suunniteltaessa tulee ensimmäisenä määrittää, arvioidaanko käytettävyyttä formatiivisesti vai summatiivisesti. Formatii-visessa arvioinnissa pyritään määrittämään järjestelmän vahvuudet, heikkoudet ja se, miten järjestelmää ja suunnittelua voidaan kehittää. Formatiivinen arviointi tapahtuu suunnitteluprosessin aikana, on iteratiivista, ja siinä painotetaan esimerkiksi ääneen ajattelua ja tehtyjen valintojen perustelua. Summatiivinen arviointi puolestaan kes-kittyy suunnitteluprosessin loppuvaiheeseen tai valmiin järjestelmän päivitykseen, ja sen avulla arvioidaan sitä täyttääkö järjestelmä sille asetetut käytettävyystavoitteet, tai miten järjestelmää voidaan kehittää esimerkiksi suhteessa kilpailijoihin. Summa-tiivisen arvioinnin tulokset esitetään usein kvalitatiivisessa muodossa. (Nielsen 1993).

Testaussuunnitelmassa tulee määrittää yksityiskohtaisesti esimerkiksi testauksen ta-voitteet, testauksen menetelmät ja testijärjestelyt, testihenkilöt, testitehtävät, tes-taustilanteen ohjeet ja moderointi sekä testauksen yhteydessä kerättävät tiedot, nii-den analysointi ja hyödyntäminen. (Nielsen 1993)

Testihenkilöiksi valitaan mahdollisimman hyvin järjestelmän käyttäjäryhmää edusta-via henkilöitä. Nielsenin (2000a) mukaan viiden testihenkilön avulla voidaan löytää jopa 85 % järjestelmän käytettävyysongelmista (kuva 8). Tätä näkemystä on myös kri-tisoitu käytettävyystutkimuskirjallisuudessa ja esitetty, että tarvitaan vähintään yh-deksän tai jopa useampia testihenkilöitä löytämään 80 % käytettävyysongelmista (esimerkiksi Hwang & Salvendy 2010), tai että löydettyjen käytettävyysongelmien ja testihenkilöiden lukumäärän välillä ei ole korrelaatiota lainkaan (Molich et al. 2004).

Kuva 8. Löydettyjen käytettävyysongelmien suhde testihenkilöiden lukumäärään (Niel-sen 2000a).

Nielsen (2000a) on perustellut näkemystään viiden testaajan riittävyydestä sillä, että vaikka kuvan 8 mukaisesti vaaditaan 15 testihenkilöä löytämään kaikki käytettävyys-ongelmat, on järjestelmää kuitenkin tarkoituksenmukaisempaa kehittää pala palalta iteratiivisesti. Testihenkilöiden rekrytointi voi olla hyvinkin haasteellista, joten on

kannattavampaa tehdä useita peräkkäisiä testauksia pienemmällä testihenkilömää-rällä (enintään viisi), jotta päästään kerta kerralta syvemmälle käytettävyyden yti-meen. Myös tehdyt muutokset tulee aina testata oikeilla käyttäjillä, jotta muutosten vaikuttavuus voidaan luotettavasti todentaa.

Testaussuunnitelmaa tehtäessä tulee määrittää myös se, millaisessa käyttöympäris-tössä ja käyttökontekstissa testausta tehdään. Yleisesti ottaen käytettävyystestaus tapahtuu aina jollakin tapaa kontrolloidussa ympäristössä tai kontrolloidusti, sillä tes-tauksessa on usein mukana tilannetta tarkkaileva moderaattori tai testaukseen on selkeä ennalta annettu ohjeistus. Käyttäjien luonnollisessa käyttöympäristössä teh-dyssä testissä saavutetaan usein rento ilmapiiri, mutta toisaalta myös häiriötekijöitä saattaa esiintyä enemmän. Laboratorio-olosuhteissa taas useat häiriötekijät voidaan poissulkea, mutta keinotekoinen ympäristö voi aiheuttaa käyttäjissä jännitystä, joka näkyy tulosten epärealistisuutena. (ISO 9241-11:2018) Käyttökontekstin osalta käy-tettävyystestauksessa tulee huomioida tarkasti ainakin merkittävimmät järjestelmän käyttöön liittyvät reunaehdot, joiden perusteella käyttäjän järjestelmälle asettamat vaatimukset ja tarpeet ovat voimassa.

Testitehtävien osalta on ensiarvoisen tärkeää, että ne vastaavat niitä tehtäviä, joita järjestelmän oikeat käyttäjät järjestelmässä yleisesti ottaen tekevät. Tehtävien tulee olla riittävän lyhyitä, jotta ne voi suorittaa käytettävyystestin aikarajoissa, mutta toi-saalta tehtävien tulee silti olla myös riittävän haasteellisia, jotta mahdolliset käytet-tävyysongelmat nousevat selvästi esiin. (Nielsen 1993) Testitehtävät perustuvat en-nalta määriteltyihin järjestelmän tärkeimpiin käyttötavoitteisiin. Testitehtävät muo-dostava niin sanottuja skenaarioita, joihin sisältyy tehtävän ympärille rakennettu ta-rina.

Tehtävien ja skenaarioiden tulee olla realistisia ja selkeästi ilmaistuja, jotta testihen-kilöt voivat samaistua niihin ja kokea omistajuutta tehtävien suhteen. Testitehtävien tulee myös olla toimintaa sisältäviä. On hyödyllisempää pyytää testihenkilöä konk-reettisesti tekemään tehtävää eikä ainoastaan kuvailemaan, miten hän tehtävän

te-noudattaa käyttäjän yleisesti ymmärtämää kieltä. Hyvin laadittu tehtävä/skenaario rohkaisee käyttäjää vuorovaikutukseen järjestelmän kanssa. (McCloskey 2014) Käytettävyystestaustilanne

Nielsenin (1993) mukaan käytettävyystestauksessa on tyypillisesti neljä vaihetta:

1. Valmisteluvaihe 2. Johdantovaihe 3. Testausvaihe 4. Loppukeskustelu

Valmisteluvaiheessa varmistetaan testi- ja tallennuslaitteiden toiminta sekä se, että kaikki tarvittavat materiaalit, ohjeet, lomakkeet ja kyselyt ovat saatavilla. Johdanto-vaiheessa testihenkilö otetaan vastaan, toivotetaan tervetulleeksi ja hänelle pidetään lyhyt esittely tutkimuksen taustasta ja käytettävistä tutkimusmenetelmistä. Testihen-kilölle tuodaan tietoon myös tutkimuksen eettiset toimintatavat sekä se, mihin testi-tuloksia käytetään ja miten henkilötietoja käsitellään. Testiin osallistuminen on va-paaehtoista ja testaamisen voi lopettaa missä tahansa tutkimuksen vaiheessa. Testi-henkilölle tulee tehdä myös selväksi, että testissä testataan nimenomaan järjestel-mää, eikä testihenkilön osaamista tai suoriutumista. Testihenkilöä pyydetään ajatte-lemaan ääneen käytettävyystestauksen aikana moderaattorin seuratessa testiä lä-hietäisyydeltä. Moderaattori saa puuttua testaustilanteeseen ainoastaan siinä ta-pauksessa, että testihenkilö ei itse kykene jatkamaan tehtävää ja on selvästi turhau-tunut tilanteesta. (Nielsen 1993)

Varsinaisen käytettävyystestauksen jälkeen testihenkilöä pyydetään täyttämään esi-merkiksi System Usability Scale (SUS) -kysely (kts.2.4.1.4 Käyttäjäkokemuksen arvi-ointi), jolla voidaan mitata käytettävyyden lisäksi myös käyttäjäkokemusta. Lisäksi testihenkilön kanssa on hyvä käydä läpi hänen tuntemuksiaan testaustilanteesta ja järjestelmästä esimerkiksi lyhyen haastattelun avulla. Testihenkilöiltä voidaan myös pyytää kommentteja siitä, miten he parantaisivat järjestelmää ja sen käytettävyyttä.

Usein nämä kehittämisehdotukset eivät johda varsinaisiin toimenpiteisiin, mutta nii-den kautta voidaan saada ideoita ja uusia näkemyksiä seuraavaa iteraatiota varten.

(Nielsen 1993)

Tulosten analysointi ja raportointi

Käytettävyystestauksesta kerättyä informaatiota analysoimalla pyritään tekemään tulkintoja testaustilanteesta sekä siitä, missä onnistuttiin ja mikä puolestaan aiheutti ongelmia. Käytettävyys itsessään on abstrakti käsite, joten testituloksia on järkevää pilkkoa pienempiin, käytettävyysattribuuttien mukaisiin palikoihin, joita ovat esimer-kiksi tuloksellisuus, tehokkuus ja tyytyväisyys (kts.2.4.1 Käytettävyyden suunnittelu ja arviointi). Esimerkiksi käytön tehokkuutta voidaan määrittää tehtävien suorittami-seen käytetyn ajan perusteella, tuloksellisuutta onnistuneiden tehtävien lukumäärän perusteella ja tyytyväisyyttä System Usability Scale (SUS) -mittarilla.

Nielsenin (1993) listaamia tyypillisiä käytettävyyttä mitattavia suureita voivat olla esi-merkiksi:

 tehtävän tekemiseen kulunut aika,

 määrätyssä ajassa onnistuneesti suoritettujen tehtävien lukumäärä,

 onnistuneiden ja epäonnistuneiden tehtävien välinen suhdeluku,

 tehtyjen virheiden määrä,

 käyttäjän muistamien järjestelmän toiminnallisuuksien määrä testauksen jäl-keen,

 käyttäjän osoittaman turhautumisen tai ilon ilmausten määrä,

 se aika, kun käyttäjä ei ole vuorovaikutuksessa järjestelmän kanssa (ns. kuol-lut aika)

o käyttäjä odottaa järjestelmää o järjestelmä odottaa käyttäjää

 kesken tehtävän ”sivuraiteille” hairahtamisen kerrat. (Nielsen 1993).

Käytettävyysmetriikoiden laaja hyödyntäminen ainoastaan kvantitatiivisten tulosten saamiseksi tutkimukseen, saattaa osoittautua jopa haitalliseksi, etenkin jos koehen-kilöiden määrä on alhainen eikä riittävää luottamusväliä mitatuille suureille saada las-ketuksi. (Nielsen 1993). Näissä tapauksissa on järkevää keskittyä enemmän käytettä-vyyden laadulliseen arviointiin esimerkiksi ääneen ajattelua hyödyntäen. Verbalisoi-malla tekemiään toimenpiteitä ja valintoja käytettävyystestausta suorittava käyttäjä samalla sanoittaa tulkintojaan järjestelmästä ja sen toiminnasta. Verbalisointia voi-daan tehdä joko samanaikaisesti tehtävän tekemisen kanssa tai muistinvaraisesti teh-tävän tekemisen jälkeen. (Sampola 2008) Toisinaan ääneen ajattelu saattaa hidastaa tehtävien tekemistä, joten käytettävyystestauksen tuloksia analysoitaessa on otet-tava huomioon se, vaikuttiko ääneen ajattelu mahdollisesti esimerkiksi tehtävästä suoriutumisen kestoon.