Käytettävyystestit

Ohjelmiston testauksen rinnalla suoritettiin ja tämän työn valmistuessa suoritetaan yhä käytettä­

vyyden testausta. Näihin testeihin kuuluu mm. laitteen mekaniikan kokeileminen rakennustyö- maaoloissa ja käsikappaleen muotoilun ja ominaisuuksien toimivuuden kokeileminen paineil- maverkon kosteutta mitattaessa.

Seuraavissa kappaleissa esitetään testijärjestely, jolla kosteusmittarin käyttöliittymän toiminta sekä muu käytettävyys voidaan testata. Tätä selvitystä voidaan hyödyntää suoraan testaussuun­

nitelmana tai mikäli testin suunnittelu halutaan tehdä asiantuntijayrityksessä, tämä selvitys ku­

vaa tarvittavan testin rakenteen toimeksiantoa varten.

Testi voidaan suorittaa parhaiten asianmukaisessa käytettävyystestaustilassa, jossa on tarvittavat taltiointi- ja tarkkailuvälineet.

7.1.1 Testin tavoite ja kohde

Testin tarkoituksena on selvittää, osaavatko kannettavan kosteusmittarin käyttäjät käyttää lait­

teen perustoimintoja. Testissä rajoitutaan kosteuden reaaliaikaiseen mittaamiseen ja mittausda­

tan keruu -toimintoihin. Tutkittavat operaatiot koskevat laitteen toimintakuntoon saattamista ja mittauslukemien lukemista sekä mittausdatan keräämistä ja yksinkertaista analysointia.

7.1.2 Kontaktit

Koska testaajan tulee hallita käytettävyystestin toteuttaminen hyvin, on todennäköistä, että luo­

tettavan tuloksen saavuttamiseksi ei testissä voida käyttää projektiryhmään kuuluvaa henkilöä testin toteuttajana.

Testin suorittamiseksi ulkopuolisen testauslaitoksen testin järjestäjä tarvitsee perustiedot laitteen toiminnasta.

Taulukko 7.1 Testin toteuttajan tarvitsemat resurssit (arvio).

Kontaktin

Kertoo mittalaitteeseen liittyvät tekniset haasteet, taustatiedot ja suunnittelun ongelmakohdat. Useimmiten saadussa materi­

aalissa on paljon sellaisia käytettävyyshuolia, joita ei ilmene- kään muiden kontaktien kautta.

Tuotepäällikkö 3-6 tuntia

Asiakas­

kontakti

Asiakasesimerkki. Henkilön tulee olla maltillinen ja edesauttaa paremman tuotteen kehittämisessä heidänkin käyttöönsä. Tätä kontaktia käytetään koetehtävien viimeiste­

lyyn ja todenmukaisuuden arviointiin.

4 tuntia

Organisaa-tiokontakti

Henkilö, jolle testaaja raportoi edistymisensä ja jolta hän saa tarvittavat organisaatiolliset tiedot.

Projektipäällikkö 2 tuntia

Koehenkilöt Toimivat laitteen käyttäjinä käytettävyystestissä. Ks. käyttäjäprofiilit 3 tuntia

7.1.3 Kohdeongelmat

Seuraavassa esitetyt kysymykset kuvaavat ne ongelmat, jotka käytettävyystestissä halutaan saa­

da selville. Kaikkia käytettävyyskriteereiksi asetettuja asioita ei ehditä tällä testillä testaamaan.

— Pystyykö käyttäjä kokoamaan laitteen myyntipakkauksesta ja suorittamaan sillä yksikertai­

sen mittauksen? (kriteerit 3 ja 6)

— Osaako käyttäjä ilman käyttöohjeita mitata muita laitteen suureita kuin oletusarvoisia?

(kriteerit 2, 3 ja 6)

— Hallitseeko käyttäjä laitteella mittaustulosten keräämisen ja kerätyn datan esittämisen?

(kriteeri 7)

7.1.4 Testiajankohta

Testiajankohta määritellään, kun on varmistuttu siitä, että mittalaitteesta on saatavilla testaus- käyttöön käyttöliittymältään (sekä loogisesti että fyysisesti) ja tarvittavilta toiminnoilta lopul­

lista laitetta vastaava prototyyppi. Testiin varataan päivä kutakin kolmea koehenkilöä kohden.

7.1.5 Menetelmät ja henkilöt

Tutkimuksen päämenetelmä on käytettävyystesti. Käytettävyystesti on paras tapa kerätä hyvä kokoelma kvantitatiivista informaatiota laitteen käyttötehokkuudesta ja kvalitatiivista tietoa käyttömukavuudesta. Käytettävyystesti vaatii muutaman henkilön suorittamaan neljää tärkeää tehtävää. Nämä tehtävät ovat:

Koehenkilö

Koehenkilön tehtävänä on yrittää onnistuneesti suorittaa tehtävämäärittelyssä määritellyt tehtä­

vät. Hänen pitää ajatella ääneen, tehdä kysymyksiä ja antaa palautetta laitteesta ja sen käytön helppoudesta.

Koehenkilöt valitaan laitteen tulevasta asiakaskunnasta (ks. 5.2). Mahdollisuuksien mukaan heidän tulee toteuttaa seuraavat jakaumat:

Taulukko 7.2 Koehenkilöiden tavoitejakauma laitteen tulevan käyttäjäkunnan arvion pe­

rusteella.

Ominaisuus Alue Jakauma

Ikä 20 — 65 vuotta 20 - 30 vuotta = 30 %

31-50 vuotta = 55 % 51-65 vuotta = 15 % Kannettavan kosteusmittarin käyttö­

tarve viikossa

0-20 tuntia alle 5 tuntia = 55 %

6-20 tuntia = 45 %

Sukupuoli Mies-Nainen Nainen = 10 %

Mies = 90 %

Koulutustaso Peruskoulu, ammattikoulu, aka­

teeminen tutkinto

Peruskoulu (tai vast.) = 25 % Ammattikoulu = 50 % Akateeminen tutkinto = 25 %

Testin ohjaaja

Ohjaaja ohjaa käytettävyystestitapahtumaa. Hänen vastuullaan on:

— varmistaa, että käyttäjä tuntee olonsa mukavaksi,

— skenaarion ja tehtävän lukeminen ääneen,

— tehtävän aloitusluvan ja lopetuskäskyn antaminen käyttäjälle,

— selventävien kysymysten kysyminen käyttäjältä tehtävän jälkeen,

— käyttäjän haastatteleminen,

— jälkikysymysten tekeminen ja

— koehenkilön kiittäminen ja kulutetun ajan korvaaminen.

Valvoja

Valvoja taltioi koetilanteeseen liittyvät mittaustulokset. Käytettävyystestin mittareita ovat:

— tehtävän suorituksen onnistuminen tai epäonnistuminen,

— suoritusaikaja

— ohjaajan puuttuminen tehtävän suoritukseen.

Lisäksi valvoja informoi ohjaajaa tehtävän maksimiajan täyttymisestä.

Havainnoija

Havainnoijat ovat tuotekehitysryhmän jäseniä, jotka ovat paikalla oppimassa asioita ja testin aikana ilmeneviä laitteen piirteitä. Heidän tulee olla hiljaa, tehdä muistiinpanoja ja luoda kysy­

myksiä j älkihaastatteluti lannetta varten.

7.1.6 Testin kulku

Testiin osallistuvat koehenkilöt suorittavat kukin testin erikseen. Kunakin päivänä suoritetaan testi kolmen koehenkilön kanssa. Yksi testi kestää noin tunnin, ja koostuu seuraavista viidestä vaiheesta:

Tervehtiminen ja taustakysely

Testin ohjaaja toivottaa koehenkilön tervetulleeksi ja tekee hänen olonsa mukavaksi. Tämän jälkeen hän antaa koehenkilölle taustakysymyslomakkeen, jossa kysytään hänen mittaustekni­

nen ja ammatillinen tausta.

Perehdytys

Testin ohjaaja lukee koehenkilölle ääneen lyhyen alustuksen (Liite F.4) ja perehdyttää testiti­

lanteeseen. Perehdytyksessä koehenkilölle selvitetään seuraavat asiat:

— Testin tarkoitus.

— Se, että käyttäjää ja hänen toimintaansa tullaan valvomaan ja nauhoittamaan.

— Syntyvien kuvanauhoitteiden käyttötarkoitus ja -rajoitukset.

— Se, että käyttäjä voi keskeyttää testin missä tahansa vaiheessa ilman seuraamuksia.

— Käyttäjää muistutetaan siitä, että kokeessa testataan mittalaitetta, ei käyttäjää, ja että hänen pitäisi toimia niin luonnollisesti kuin mahdollista.

Suorituskyvyn testaaminen

Perehdytyksen jälkeen osallistujalle annetaan testattavan mittarin prototyyppi. Ohjaaja esittelee suoritettavat tehtävät.

Koehenkilöä rohkaistaan toimimaan ilman ohjaajan apua. Lisäksi muistutetaan siitä, että he ajattelisivat tehtäviä suorittaessaan ääneen ja pyydetään ilmoittamaan ohjaajalle, kun luulevat suorittaneensa tehtävän.

Jälkikysely tehtävän jälkeen

Jokaisen tehtävän jälkeen käyttäjä vastaa lyhyeen kyselyyn. Kyselyyn vastataan riippumatta siitä, suoritettiinko tehtävä onnistuneesti vai ei.

Testin jälkeinen haastattelu

Kaikkien tehtävien suorittamisen jälkeen (tai maksimiajan täyttyessä), ohjaaja haastattelee koe­

henkilöä. Ohjaaja yrittää saada selville lisätietoja osallistujasta ja tarkistaa aikaisempien kom­

menttien yksityiskohtia.

Haastattelutilanne nauhoitetaan ja siinä käsitellään seuraavat asiat:

- Osallistuja täyttää lyhyen käyttäjätyytyväisyyskyselyn.

- Ohjaaja haastattelee käyttäjää erityisesti testin aikana ilmenneiden ongelmien ja käyttäjän tekemien kysymysten osalta.

Kannettavan kosteusmittalaitteen käytettävyystestissä käytettävät lomakkeet ja toimintaohjeet on kuvattu liitteessä (Liite F).

7.1.7 Suorituskyvyn mittarit

Testin suoritusta mitataan objektiivisilla mittareilla. Näitä käytettävyystutkimuksessa käytettyjä, ja kosteusmittalaitetta testattaessakin käyttökelpoisia mittareita ovat:

Tehtävän onnistuminen

Tehtävä kirjataan onnistuneesti suoritetuksi, jos tehtävän määrittelyssä kerrottu onnistuneen suorituksen määritelmä (SCO) toteutuu. Vaatimuksen pitää täyttyä samassa taulukossa kerrotun maksimiajan kuluessa.

Tehtävän suoritusaika

Tehtävän suoritusaika määritellään sinä kokonaisaikana, jonka koehenkilö tehtävän parissa viettää. Aika alkaa, kun käyttäjä lopettaa tehtävänannon lukemisen ääneen ja on saanut halua­

mansa lisätiedot ohjaajalta. Aika päättyy, kun käyttäjä suorittaa tehtävän oikein (ohjaajan tar­

kistettava) ja on ilmoittanut ohjaajalle valmistumisestaan.

Tarvittujen auttamisten määrä

Yksi auttamistapaus lasketaan kutakin sellaista tilannetta kohden, jossa ohjaajan on pitänyt aut­

taa käyttäjää tehtävän suorittamisen jatkamiseksi. Ohjaaja puuttuu tehtävän suoritukseen seu- raavissa tapauksissa:

— Käyttäjä ylittää tehtävälle määritetyn maksimiajan.

— Käyttäjä on selkeästi tuskaantunut ja ohjaaja olettaa tämän vaikuttavan negatiivisesti seu- raavien tehtävien suorittamiseen.

Tyytyväisyyden mittarit

Käyttäjiä pyydetään täyttämään tyytyväisyyskysely kunkin tehtävän suorittamisen jälkeen. Nä­

mä kyselyt laaditaan niittämään käyttäjän tyytyväisyys seuraavilla osa-alueilla:

— Toimintojen ja toimintatapojen löytämisen helppous.

— Oppimisen helppous.

— Käytön helppous.

— Mahdollisuus olla tuloksellinen laitteen kanssa.

7.1.8 Tehtävät

Liitteessä F.l olevassa taulukossa on kuvattu kolme tehtävää. Kukin koehenkilö suorittaa ajan riittäessä kaikki tehtävät. Taulukossa on määritelty seuraavat asiat:

Kohdeongelma

Taulukon ensimmäinen sarake määrittelee tehtävään liittyvän kohdeongelman.

Tehtävännumero

Tehtävän numero määrittelee sen järjestyksen, jossa osallistuja suorittaa tehtävät.

Tehtävän määritelmä

Tässä sarakkeessa kerrotaan kolme tärkeää asiaa. “Vaatimukset” viittaavat niihin tarvikkeisiin, ympäristöön ja olosuhteisiin, jotka koetilanteen alussa käyttäjällä pitää olla. Esimerkki vaati­

muksesta on: “Kannettavan mittalaiteen tulee olla koottuja paristot asennettu.”

Onnistuneen suorituksen määritelmä (SCO) ilmoittaa ne asiat, joiden toteutuminen määrittelee tehtävän oikein ja onnistuneesti suoritetuksi pisteytystä varten. Tämä on tärkeä asia määritellä etukäteen, sillä muuten asiasta nousee keskustelua testien jälkeen. Tämän vuoksi määritelmät on pyritty tekemään jo tässä suunnitteluvaiheessa.

“Maksimiaika” viittaa siihen aikaan, jonka käyttäjän annetaan yrittää tehtävän suorittamista il­

man puuttumista eli avun tarjoamista.

Skenaario

Tämä sarake kuvaa sen tilanteen johon testiin osallistuva sijoitetaan. Tämä annetaan koehenki­

lölle kirjallisena tehtäväpaketissa.

Mittausmenetelmät

Sarake määrittelee ne suorituskyvyn ja käyttötyytyväisyyden mittarit, joiden perusteella tehtä­

vän vaativuus määritellään.

Minimi, tavoite ja paras tulos

Sarakkeessa on kullekin mittarille määritellään pienin mahdollinen hyväksyttävä käytettävyys­

testin kokonaistulos (minimi), tavoitearvoja paras mahdollinen tulos. Koska laitteelle ei ole tehty aikaisempia varsinaisia käytettävyystestejä, on taulukkoon sijoitettu käyttäjäesimerkkien perusteella laaditut arviot.

7.1.9 Tulokset

Todennäköisesti käyttäjillä tulee olemaan vaikeuksia kaikissa tehtävissä, erityisesti tehtävissä 2 ja 3. Tulosraportissa luetellaan ne kohdat, joiden löytäminen, ymmärtäminen tai käyttäminen on

ollut vaikeinta tehtäviä suoritettaessa. Tulosraporttiin kirjataan:

— Suorituskyky- ja tyytyväisyystiedot.

— Käyttäjien kommentit ja ohjaajan havainnot.

— Suositukset.

Suorituskykyä ja käyttäjän tyytyväisyyttä kuvataan taulukoilla ja kaavioilla. Kokonaistyytyväi- syyskyselyn tuotetyytyväisyyskohdan vastaukset esitetään diagrammilla. Käytettävien tauluk­

kojen ja kaavioiden muoto on kuvattu liitteessä F.2.

Testitilanteen aikana tulevat käyttäjän kommentit taltioidaan. Tämä taltiointi raportoidaan tau­

lukossa ongelman arvioidun syyn kanssa.

Käytettävyystestin tuloksista tehdään yhteenveto, joka sisältää suosituksia käyttöliittymän ja laitteen muun toiminnan parantamiseksi. Kunkin raportoitavan epäkohdan vakavuusaste arvioi­

daan asteikolla 1 - 5 (Taulukko 7.3). Testin yhteenvedossa käytetään liitteessä F.2 kuvattua taulukkomuotoa.

Taulukko 7.3 Tulosraportissa käytetään vakavuusasteikkoa 1-5.

Vakavuusaste Kuvaus 5 Katastrofaalinen

4 Vakava

3 Vähäinen

Vakavuusaste Kuvaus

2 Kosmeettinen

1 Ei ongelma

7.2 Käytettävyys kriteerien valvonta

Käyttöliittymän yhtenä arviointikriteerinä voidaan käyttää suunnittelun alussa esitettyjen käy- tettävyyskriteerien toteutumista. Tarkistamalla kriteerien toteutuminen käyttöliittymän testaus- vaiheessa voidaan varmistua siitä, että laite on pysynyt tavoitteissaan, eikä sitä ole lähdetty ke­

hittämään yksipuolisesti yhteen suuntaan.

Seuraavassa taulukossa (Taulukko 7.4) on esitetty käytettävyyskriteerien (s. 31 ) toteutuminen.

Taulukko 7.4 Käytettävyyskriteerien toteutumistaso. 10 11

Käytettävyyskriteeri r.

10 Toteutunut To­

teutui

11 Huomautus

1. Käyttö käsineillä и Laitteen käyttöliittymää pystyy käsittelemään käsineet kädessä - näppäimet erottuvat toi­

sistaan helposti niiden erilaisen käytön vuoksi (nuolet, valintanäppäimet).

kyllä Mekaaninen osuus ei kuulu tähän arvi­

oon.

2. Käyttöliittymän kieli

и Laitteeseen on toteutettu käyttöliittymän kie­

len valinta.

kyllä ♦

3. Yksinkertaisuus и Perusnäytön asettelu selventää näytön sisäl­

töä. Valikkoon joutuminen vahingossa on estetty näppäinyhdistelmällä. Valikon koko on minimoitu.

kyllä

4. Kriittiset toi­

minnot varmis­

tettava

и Mittausympäristön olosuhteiden arvot pyy­

detään tarkistamaan virrankytkennän jälkeen (jos käytössä olevat suureet vaativat kompen­

sointia). Itseviritystoiminnot ovat oletusarvoi­

sesti automaattisia, jos niitä tarvitaan.

kyllä ♦

5. Lukeman ta­

saantuminen näytettävä

R Lukeman tasaantuminen havaitaan sekun­

neittain päivittyvästä numeronäytöstä tai his- toriakuvaajasta.

kyllä

6. Mittauslukeman lukeminen help­

poa

R Laite näyttää valittujen suureiden arvot vasta sen jälkeen, kun käyttäjä on kuitannut varoi­

tuksen mittausympäristön asetuksista (jos asetuksia on).

L Tallennustoiminnot löytyvät helposti ole­

tusarvoisen pikanäppäimen takaa. Käynnistys voidaan tehdä suoraan ilman mitään asetuk­

sia.

kyllä ♦

10 Kriteerin tyyppi: U = laitteen yleinen käyttö, R = numeronäytön käyttö, L = mittaustulosten tallennustoimintojen käyttö.

11 ♦ = kehitysprosessin aikana harkittiin kriteeristä luopumista.

In document The user interface of a portable humidity indicator (sivua 76-84)