Asiantuntija-arvioinnit

Asiantuntija-arvioinneissa (engl. expert evaluation) käytettävyysasiantuntija tai jouk­

ko asiantuntijoita arvioi järjestelmän käytettävyyttä ilman sen varsinaisia käyttäjiä.

Arviointi voidaan suorittaa käyttöliittymäsuunnittelun kaikissa vaiheissa; luonnos- teluvaiheessa olevat käyttöliittymät voidaan arvioida piirrosten ja kuvausten perus­

teella, kun taas valmiit, kenties jo käytössä olevat käyttöliittymät arvioidaan suoraan toimivasta versiosta. (Nielsen, 1993)

Asiantuntija-arvioinnit täydentävät käytettävyystestausta ja sopivat erityisen hyvin pahimpien virheiden etsimiseen ennen testausvaihetta (Fichter, 2004; Korvenran­

ta, 2005). Toisaalta, jos projektin aikataulu tai resurssit eivät mahdollista testausta oikeiden käyttäjien kanssa, voidaan asiantuntija-arvioinneilla korvata testaus, vaik­

keivät tulokset olekaan näin yhtä luotettavia (Riihiaho, 1995). Muita syitä pelkän asiantuntija-arvioinnin valitsemiselle voivat olla prototyypin alkeellinen vaihe tai tuotekehityksen salaisuus, jolloin ulkopuolisia käyttäjiä ei voida osallistaa prosessiin (Korvenranta, 2005).

Tässä työssä käsitellään kahta asiantuntija-arvioinnin menetelmää, jotka ovat kogni­

tiivinen läpikäynti ja heuristinen arviointi. Molemmat menetelmät ovat varsin tun­

nettuja ja paljon käytettyjä. Lisäksi ne ovat nopeita oppia (Fichter, 2004), vaik­

ka parhaat tulokset saadaankin käyttämällä kokeneita käytettävyysasiantuntijoita (Nielsen, 1993).

5.6.1 Kognitiivinen läpikäynti

Kognitiivinen läpikäynti (engl. cognitive walkthrough) keskittyy selvittämään, kuin­

ka helppoa uuden käyttäjän on oppia järjestelmän käyttö puhtaasti kokeilemalla. Se perustuu olettamukseen, että käyttäjät mieluummin opettelevat järjestelmän omi­

naisuuksia käytön yhteydessä kuin etukäteen esimerkiksi ohjeita lukemalla. (Whar­

ton et ah, 1994)

Menetelmä ohjaa arvioijaa tarkastelemaan käyttäjän ajatusprosesseja sen sijaan, et­

tä keskityttäisiin tarkastelemaan järjestelmän toimintoja (Riihiaho, 2000). Onnis­

tunut läpikäynti edellyttää, että ennen arviointia päätetään, mitä tehtäviä järjes­

telmällä halutaan arviointitilanteesa suorittaa ja pilkotaan nämä tehtävät pieniin, erikseen arvioitaviin osasuorituksiin. Lisäksi määritellään, millainen käyttäjä järjes­

telmää käyttää; millaiset taustatiedot ja kokemukset käyttäjällä on, kun hän alkaa tutustua järjestelmään? (Wharton et ah, 1994) Kun nämä perusasiat ovat kunnos­

sa, voi arvioitava käyttöliittymä olla vielä hyvin varhainen luonnos (Riihiaho, 2000).

Varsinaisessa arviointivaiheessa arvioija kertoo tarinaa, jossa kuviteltu käyttäjä suo­

rittaa ennalta määrättyjä tehtäviä. Samalla arvioidaan, onko tarina uskottava ja voisiko käyttäjä tehdä sen mukaisia päätelmiä ja päätöksiä, sekä kirjataan havaitut epäloogisuudet ylös. (Wharton et ah, 1994)

Kuten edellä mainittiin, kognitiivisessa läpikäynnissä kokonaistehtävä, kuten tieto­

koneen kuvan esittäminen projektorilla, pilkotaan pieniin osatehtäviin. Näitä voi­

sivat olla esimerkissä järjestelmän käynnistäminen kosketuspaneelin käynnistysnäp- päimestä, käyttöliittymän tietokonesivulle siirtyminen ja tietokoneliitäntää merkit­

sevän painikkeen valitseminen käyttöliittymästä. Arvioinnin aikana suoritus käydään läpi osatehtävä kerrallaan ja samalla arvioidaan jokaista osatehtävää alla esitettyjen neljän kysymyksen pohjalta:

1. Onko käyttäjällä järjestelmän kannalta oikea tavoite? Ymmärtääkö hän, että kyseinen vaihe on osa kokonaisuutta?

2. Löytääkö käyttäjä järjestelmästä oikean toiminnon? Onko toiminto ylipäätään löydettävissä?

3. Yhdistääkö käyttäjä kyseisen toiminnon tavoitteeseensa?

4. Mikäli oikea toiminto on suoritettu, saako käyttäjä riittävästi selkeää palau­

tetta tehtävän etenemisestä?

(Wharton et ah, 1994)

Arvioinnin aikana esille nousseet käytettävyysongelmat kirjataan ylös, mutta osa­

tehtävästä toiseen siirryttäessä oletetaan käyttäjän tehneen edellisissä tehtävissä oi­

keat valinnat. Toisin sanoen järjestelmä on aina oikeassa tilassa kunkin osatehtävän alussa, eivätkä käyttäjän aiemmat epäonnistumiset vaikuta seuraaviin suorituksiin.

(Wharton et ah, 1994; Riihiaho, 2000)

Kognitiivisen läpikäynnin voi tehdä yksin tai ryhmässä, mutta on suotavaa, että vä­

hintään yksi arvioijista tuntee kognitiivisen psykologian perusteita (Riihiaho, 2000).

Richter (2004) suosittaa arvioinnin suorittamista ryhmässä, jolloin ideoita syntyy enemmän ja jokainen ryhmän jäsen voi oppia toistensa ehdotuksista. Toisaalta tii­

missä keskustellen tehtävä läpikäynti saattaa johdattaa tiimin loputtomiin keskuste­

luihin ongelmien korjaamisesta, jolloin menetelmästä tulee hidas ja työläs (Richter, 2004). Jos arviointi tehdään ryhmässä, suosittaa Wharton et ai. (1994) tilaisuu­

den videoimista, jotta arviontitilanteessa käytyyn keskusteluun voidaan tarvittaessa palata myöhemmin.

5.6.2 Heuristinen arviointi

Heuristisessa arvioinnissa (engl. heuristic evaluation) asiantuntija käy koko käyttö­

liittymän järjestelmällisesti läpi ja tutkii, noudattavatko tehdyt ratkaisut valittua heuristiikka- eli ohjelistaa (Nielsen, 1993). Yleisimmin käytetään Nielsenin lansee­

raamaa kymmenen heuristiikan listaa:

1. Käytä yksinkertaista ja luonnollista dialogia.

2. Käytä käyttäjien omaa kieltä.

3. Minimoi käyttäjän muistikuorma.

4. Tee käyttöliittymästä kauttaaltaan yhdenmukainen.

5. Anna käyttäjälle palautetta toiminnoista.

6. Anna selkeä poistumistapa eri tiloista ja toiminnoista.

7. Anna käyttäjälle mahdollisuus käyttää oikopolkuja.

8. Anna virhetilanteista selkeät virheilmoitukset.

9. Vältä virhetilanteita.

10. Anna riittävä ja selkeä apu ja dokumentaatio.

(Nielsen, 1993)

Tavallisesti arviointi kestää tunnista kahteen ja sen kuluessa käyttöliittymä käydään läpi kahdesti. Ensimmäisellä kierroksella arvioija tutustuu järjestelmään ja vasta sen jälkeen suorittaa yksityiskohtien arvioinnin toisella kierroksella. (Nielsen, 1993)

Heuristisessa arvioinnissa arvioidaan vain suunnitteluperiaatteiden noudattamista, eikä siinä varsinaisesti käytetä käyttöliittymää tai puututa sen toimintatapoihin (Rii­

hiaho, 1995). Löydetyt heuristiikkarikkomukset kirjataan muistiin ja arvotetaan nii­

den vakavuuden mukaan. Vakavuuteen vaikuttavat muun muassa rikkomuksen esiin- tymismäärä, sen vaikutukset järjestelmän käytettävyydelle ja käyttäjän mahdolli­

suudet kiertää tai korjata kyseistä ongelmaa. Lopputuloksena arvioinnista muodos­

tuu vakavuuden mukaan järjestetty ongelmalista, joka voi olla turhauttavan pitkä ja

>-:ro

O ... ■ ■ ■ — T--- i 1

O 5 10 15

arvioijien määrä

Kuva 5: Arvioijien määrän vaikutus löydettyjen käytettävyysongelmien määrään (Nielsen, 1993).

negatiivinen. Tavallisesti suuri osa ongelmista on kuitenkin vakavuudeltaan vähäisiä ja helposti korjattavissa. Osa ongelmista voi jopa olla siinä mielessä turhia löydöksiä, ettei käyttäjä kokisi niitä ongelmallisina alkuunkaan. (Fichter, 2004) Korvenranta (2005) suosittaa, että listaan lisätään ratkaisuehdotukset havaituille ogelmille, vaik­

keivät ne varsinaisesti kuulu heuristisen arvioinnin suorittamiseen. Samoin hän suo­

sittaa listaamaan myös käyttöliittymän parhaat osat, joita ei tulisi muuttaa. Näin menetelmä ei keskity pelkästään käyttöliittymän negatiivisiin puoliin. (Korvenranta, 2005)

Kuten kognitiivinen läpikäynti, myös heuristinen arviointi voidaan suorittaa joko yksin tai ryhmässä. Erona ensin mainittuun suositellaan myös ryhmässä toteutet­

tava heuristinen arviointi tehtävän aina ensin yksilöarviointina, jonka jälkeen eri arvioijien tulokset yhdistetään (Nielsen, 1993). Nielsen (1993) on tutkinut arvioijien määrän vaikutusta löydettyjen ongelmien määrään ja todennut, että paras hyöty­

suhde saadaan valitsemalla kolmesta viiteen arvioijaa. Arvioijien määrän vaikutusta löydettyjen ongelmien määrään havainnollistetaan kuvassa 5. Jos arvioijat ovat sekä käytettävyyden että tutkittavan sovelluksen asiantuntijoita, voi pienempikin määrä arvioijia riittää. (Nielsen, 1993)

In document The effect of control system choices on classroom usability (sivua 26-30)