Tämä kohta perustuu suunnittelututkimuksen evaluointiprosessiin (Hevner et al.
2004; Järvinen 2007). Arvioin tutkimuksen tuloksia eli miten hyvin HA-käytettävyyskysely tuo esiin käyttäjien kokemia ongelmia ja vastaako verkko-opetusympäristö sille asetettuja vaatimuksia tulosten perusteella.
Muodostamani käytettävyyskyselyt sisältävät Nielsenin heuristisen arvioinnin kym-menen ohjetta, joista käytän nimitystä arviointikriteerit. Käytettävyyskyselyllä verk-ko-opetusympäristöä voivat arvioida sekä käyttäjät että asiantuntijat, joten käyttäjien saaminen mukaan arviointiin laajentaa arvioijaskaalaa. Asiantuntijoiden suorittamas-sa heuristisessuorittamas-sa arvioinnissuorittamas-sa löydettiin suorittamas-samanlaisia käytettävyysongelmia verkko-opetusympäristöistä kuin käytettävyystestauksella. Käytettävyystestaus on huomatta-vasti työläämpi ja kuluttaa enemmän resursseja (Doubleday et al. 1997). Käytettä-vyystestauksella löydetään erityisesti käyttäjää häiritsevät käytettävyysongelmat käyttöliittymän käytössä.
Taulukossa 17 on esitetty ongelmat, jotka vähintään yksi arvioija arvioi käytettä-vyyskyselyssä vakaviksi käytettävyysongelmiksi. WebCT:ssä löytyi yhteensä 16 ja Moodlessa 12 vakavaa käytettävyysongelmaa. Moodlesta ja WebCT:stä löytyi yh-teensä viisi samaa käytettävyysongelmaa. Ne kohdistuivat taulukossa 17 tummennet-tuina esitettyihin arviointikriteereihin käyttäjän hallinta ja vapaus ja virhetilanteiden käsittely sekä opastus ja ohjeistus. Tästä taulukosta nähdään, että molemmista verk-ko-opetusympäristöistä löytyi uusien käytettävyysongelmien lisäksi myös samankal-taisia käytettävyysongelmia käyttämällä uutta HA-käytettävyyskyselyä.
Taulukko 17. HA-käytettävyyskyselyssä vakaviksi arvioidut käytettävyysongel-mat vuosina 2004 ja 2005.
KÄYTETTÄVYYSONGELMA (WEBCT) ARVIOINTIKRITEERI
Oppimisympäristön käsitteitä ei käytetä kuten tosielämässä. palvelun tilan näkeminen Navigoinnissa täytyy käyttää ns. turhia hyppyjä. käyttäjän hallinta ja vapaus Turhia hyppyjä ei voi estää oppimisympäristön asetuksilla. käyttäjän hallinta ja vapaus Virheellistä syötettä ei pysty muuttamaan
lähettämisen jälkeen. käyttäjän hallinta ja vapaus
Nimiä, värejä ja muita tunnisteita ei ole käytetty yhtenäisesti. yhteneväisyys ja standardit Oppimisympäristö ei tarkista virheellistä syötettä. virheiden estäminen
Käyttäjä ei saa ohjausta ongelmallisista syötteistä selkeästi ja nopeasti.virheiden estäminen Syöte- ja toimintotilanteissa ei ole saatavana opastusta. virheiden estäminen Tärkeimmät toiminnot eivät ole näkyvissä aina.
tunnistaminen mieluummin kuin muistaminen
Käyttäjän täytyy muistaa aikaisemmalla sivulla näkemäänsä tietoa.
tunnistaminen mieluummin kuin muistaminen
Käyttäjä ei voi muokata omaa käyttöliittymänäkymäänsä
yksinkertaisemmaksi tai omien toiveiden mukaiseksi. käytön joustavuus ja tehokkuus Huomio ei kiinnity tärkeimpiin elementteihin ensin.
esteettinen ja minimalistinen suunnittelu
Virheilmoitukset eivät ole ymmärrettäviä. virhetilanteiden käsittely Virheilmoituksesta ei selviä mitä ja miksi tapahtui
ja miten virhetilanne korjataan ja vältetään. virhetilanteiden käsittely Korjaavat toimintaohjeet eivät ole selkeät. virhetilanteiden käsittely Ohjeistusta ei anneta automaattisesti opastus ja ohjeistus
KÄYTETTÄVYYSONGELMA (MOODLE) RIKKOO HEURISTIIKKAA
Käyttäjä ei näe, onko syöte mennyt järjestelmään. palvelun tilan näkeminen Käyttäjä ei näe, mitä voi tehdä seuraavaksi. palvelun tilan näkeminen Navigoinnissa täytyy käyttää ns. turhia hyppyjä. käyttäjän hallinta ja vapaus Turhia hyppyjä ei voi estää oppimisympäristön asetuksilla. käyttäjän hallinta ja vapaus Tärkeimmille sivuille ei pääse nopeasti ja helposti käyttäjän hallinta ja vapaus Virheellistä syötettä ei pysty muuttamaan lähettämisen jälkeen. käyttäjän hallinta ja vapaus Yleisimmät toiminnot eivät ole aina käytettävissä. käytön joustavuus ja tehokkuus Palvelu ei näy selkeästi käyttäjälle. käytön joustavuus ja tehokkuus Dynaamisesti tuotettuja sivuja ei saada helposti ladattua uudestaan. käytön joustavuus ja tehokkuus Yksi elementti hallitsee koko käyttöliittymää ja sen navigointia.
esteettinen ja minimalistinen suunnittelu
Virheilmoituksesta ei selviä mitä ja miksi tapahtui ja miten virhetilanne korjataan ja vältetään.
virhetilanteiden tunnistaminen, ilmoittaminen ja korjaaminen Ohjeistusta ei anneta automaattisesti opastus ja ohjeistus
Taulukossa 18 esitän eri menetelmillä löydettyjä käytettävyysongelmia. Käytettä-vyystestin arvioinneista on tähän taulukkoon otettu merkittäviksi arvioidut käytettä-vyysongelmat (M), koska vakaviksi arvioituja käytettävyysongelmia (V) ei löytynyt.
Opettajien suorittamassa käytettävyysarvioinnissa löytyi kaksi vakavaa käytettä-vyysongelmaa, mutta vertailuaineiston kasvattamiseksi otin taulukkoon mukaan myös opettajien löytämät merkittäviksi arvioidut käytettävyysongelmat.
Taulukko 18. Eri menetelmillä löydetyt samanlaiset käytettävyysongelmat.
Käyttäjä ei näe mitä voi tehdä seuraavaksi. M V
Käyttäjä ei näe, onko syöte mennyt
järjestelmään. V
Oppimisympäristön sanasto ja lauserakenne eivät
ole selkeitä. M M
Oppimisympäristön lausejärjestys ei ole selkeä. M M
Oppimisympäristön käsitteitä
ei käytetä kuten tosielämässä. M V M
Turhia hyppyjä ei voi estää oppimisympäristön
asetuksilla. M V V V
Navigoinnissa täytyy käyttää ns. turhia hyppyjä. V V
Tärkeimmille sivuille ei pääse nopeasti ja
helposti. V M
Virheellistä syötettä ei pysty muuttamaan
lähettämisen jälkeen. V V
Navigointipalkit ja painikkeet eivät ole tutuissa
paikoissa. M V
Käyttäjä ei saa ohjausta ongelmallisista syötteistä
riittävän selkeästi ja nopeasti. V M
Käyttäjän täytyy muistaa
aikaisemmalla sivulla näkemäänsä tietoa. M V M
Tärkeimmät/yleisimmät toiminnot eivät ole
näkyvissä aina. M V V
Käyttäjä ei voi muokata omaa
käyttöliittymänäkymäänsä yksinkertaisemmaksi
tai omien toiveiden mukaiseksi. V M
Yksi elementti hallitsee koko käyttöliittymää ja
sen navigointia. V M
Virheilmoituksesta ei selviä mitä ja miksi
tapahtui. V V
Ohjeistusta ei anneta automaattisesti. M V V M
Ohjeet eivät ole helposti
ymmärrettävissä ja toteutettavissa. M M
WebCT:stä ja Moodlesta käytettävyyskyselyllä löydetyistä käytettävyysongelmista on mukana ainoastaan vakaviksi arvioidut käytettävyysongelmat. Eniten vakaviksi arvioituja käytettävyysongelmia löydettiin uudella HA-käytettävyyskyselyllä. Taulu-kosta 18 voidaan todeta, että vakavimmat käytettävyysongelmat liittyivät verkko-opetusympäristöstä riippumatta navigointiin, virheellisen syötteen perumismahdolli-suuteen, tärkeimpiin verkko-opetusympäristön toimintoihin, virheilmoituksiin ja oh-jeistukseen. Myös heuristisella arvioinnilla löydetyt käytettävyysongelmat kohdistui-vat navigointiin, virheilmoituksiin, virheiden välttämiseen ja ohjeistukseen. Mene-telmästä riippumatta löydettiin samanlaisiakin käytettävyysongelmia. Sattumanvarai-suutta ei ole havaittavissa merkittävästi. Käytettävyystestillä löydettiin vähiten vaka-viksi arvioituja käytettävyysongelmia. Myös heuristisella asiantuntija-arvioinnilla löydettiin suhteellisen vähän vakavia käytettävyysongelmia.
6 TOIMINNAN TARKISTUSLISTAN
SOVELTAMINEN KÄYTETTÄVYYDEN ARVIOINTIIN
Tässä luvussa kuvaan toiminnan teoriaan pohjautuvan HA&TT-käytettävyyskyselyn käyttäjä- ja kontekstipainotteisen arviointikriteeristön toteutusta ja tuloksia. Kohdassa 4.2. kuvasin tämän käytettävyyskyselyn suunnittelua. Kohdassa 6.1. käsittelen käytet-tävyyskyselyn toteutusta ja kohdassa 6.2. käytetkäytet-tävyyskyselyn tuloksia. Toteutus perustuu toiminnan tarkistuslistan eri osa-alueisiin, joita vertasin ja yhdistelin heuris-tisen arvioinnin muistilistan arviointikriteereihin. Kohdassa 4.2. esitin arviointikritee-rien väitteiden rakentamisen askeleineen.