Sitnet-projekti saatiin päätökseen lokakuussa 2014. Tällöin Exam-sovelluksesta oli käytössä ensimmäinen versio, joka sisälsi tärkeimmät yleisen tentin proses-siin tarvittavat toiminnot prosessin läpiviemiseksi. Järjestelmä ei kuitenkaan sisältänyt vielä kaikkia tarvittavia rajapintoja käyttäjähallinnan ja suoritusten siirron osalta. Lisäksi järjestelmästä puuttui joitakin käytön kannalta oleellisia toimintoja ja yksityiskohtia oli tarpeen hioa. Järjestelmä vaati siten jatkokehitys-tä, ennen kuin se voidaan ottaa käyttöön Jyväskylän yliopistossa.
5.2.1 Asiantuntija-arviointi
Kun Sitnet-projekti saadaan päätökseen, tulee kehitetylle Exam-järjestelmälle tehdä uudestaan asiantuntija-arviointi. Asiantuntija-arviointi kannattaa tehdä WeSQu-työkalua ja samaa kysymyspatteristoa käyttäen kuin ensimmäiselläkin kerralla, jotta tuloksia voi verrata aikaisempiin tuloksiin. Asiantuntijoiden, jotka arvioinnin suorittaa, kannattaa myös olla samat kuin ensimmäisellä arviointi kerralla.
5.2.2 Käytettävyystestaus
Exam-järjestelmälle tulee tehdä myös uusi käytettävyystestauskierros. Testauk-sessa selvitetään Sitnet-projektissa tuotetun sovelluksen käytettävyyttä. Tavoit-teena on selvittää kuinka sujuvasti testihenkilöt käyttävät sovellusta sekä sisäl-tääkö sovellus joitakin ominaisuuksia, jotka vaikeuttavat tai estävät sovelluksen sujuvan sekä tehokkaan käytön. Lisäksi koehenkilöille tehtävän haastattelun perusteella arvioidaan mitä tärkeitä toimintoja sovelluksesta vielä puuttuu. Tes-tauksen tuloksia hyödynnetään sovelluksen jatkokehityksessä. Toisen käytettä-vyystestauskierroksen koehenkilöinä voi käyttää osin samoja koehenkilöitä, joita oli mukana ensimmäisissä käytettävyystesteissä. Näin saadaan näkyviin sitä miten käyttö on muuttunut. Toisaalta mukaan tulee ottaa myös joitakin uu-sia koehenkilöitä, jotta saadaan tulokuu-sia siitä millaista käyttö on ilman aikai-sempaa käyttökokemusta.
Testitehtävät voivat olla osittain samoja kuin ensimmäisellä testauskier-roksella. Järjestelmässä on kuitenkin joitakin uusia toimintoja, joita kannattaa ottaa testaukseen mukaan ja siten tiputtaa joitakin vanhoja testitehtäviä pois.
Toisessa vaiheessa käytettävyystestausta tulee tehdä myös opiskelijoille.
5.2.3 Tiedotus käyttäjille
Syksyn 2014 aikana tulee tiedottaa järjestelmän käyttöönotosta. Käyttöönoton on tarkoitus tapahtua maaliskuussa 2015. Toimiva ratkaisu tiedottamiseen, uu-tiskirjeiden mukana lähetettävien tiedotteiden lisäksi voisi olla blogi, jossa olisi
ajantasaisempaa tietoa projektin etenemisestä. Blogi vaatii jonkun verran re-sursseja, jotta sinne saadaan tuotettua järkevää sisältöä riittävän usein. Aihe on kuitenkin kiinnostava ja blogille varmasti löytyisi lukijoita. Blogin kommentoin-timahdollisuus kannattaa ottaa käyttöön, jolloin blogin kautta voi esittää kysy-myksiä lukijoille ja näin hyödyntää sosiaalisen median työkaluja viestinnässä.
5.2.4 Käyttäjäryhmän kasaaminen
Koska käyttäjät olivat Sitnet-projektissa mukana vain vähän, olisi järkevää kor-jata tilanne syksyn aikana ja kasata Jyväskylän yliopistossa käyttäjäryhmä, jon-ka jon-kanssa jatkokehitystä voitaisiin tehdä. Käyttäjäryhmään olisi hyvä kuulua sekä tentaattoreita että opiskelijoita. Mukana voisi olla myös yksi nykyisen jär-jestelmän kurssiadmin-roolissa toimiva eli henkilö, joka koordinoi kyseisen lai-toksen tai tiedekunnan eTenttimistä kokonaisuutena, auttaa tentaattoreita tar-vittaessa tenttien kanssa jne.
Käyttäjäryhmälle kannattaa järjestää työpajoja esimerkiksi kuukauden vä-lein. Työpajan aikana käydään läpi missä vaiheessa järjestelmän kehitys kysei-sellä hetkellä menee ja mitä tullaan tekemään seuraavaksi. Käyttäjät voivat kommentoida mikäli järjestys ei heidän mielestään ole järkevä. Käyttäjät voivat kommentoida myös jo kehitettyjä ominaisuuksia. Tarvittaessa myös tulevia ke-hitystarpeita voidaan priorisoida yhdessä käyttäjien kanssa. Työpajoissa voi-daan tehdä myös kevyttä käytettävyystestausta pelkän demon esittelyn sijaan.
Työpajoissa voitaisiin myös pohtia yhdessä käyttäjien kanssa siten, miten siir-tyminen vanhasta järjestelmästä uuteen sujuisi kaikista helpoiten.
6 TULOKSET
Tässä luvussa kuvataan projektin tulokset. Ensin kuvataan Sitnet-projektin osal-ta mitä opittiin, sitten kuvaosal-taan IT-palveluille kehitetty esimerkkiprosessi käyt-täjäkeskeiseen suunnitteluun.
6.1 Sitnet-projekti
Tässä kappaleessa kerrotaan vaiheittain Sitnet-projektin aikana tehdyn tutki-muksen tulokset sekä mitä projektista opittiin ja mitä olisi kannattanut tehdä toisin käyttäjäkeskeisen suunnittelun näkökulmasta.
6.1.1 Käyttäjien tunteminen
Käyttäjiltä kerättiin tietoa projektin alussa ja tietoa oli kerätty ja kertynyt jo ennen projektin alkua. Tietoa ei kuitenkaan ollut kirjattu järjestelmällisesti ja helposti hyödynnettävässä muodossa ylös, joten tiedon hyödyntäminen tapah-tui lähinnä muistikuvien avulla. Vanhan järjestelmän käyttäjille tehtyyn kyse-lyyn saatiin 36 vastausta. Koska vastauspyyntö lähetettiin noin 280 henkilölle, jäi vastausprosentti alle 15 prosentin. Kyselyn vastauksista ei tehty erillistä koontia, mutta vastauksia käytettiin hyväksi myöhemmin projektin aikana ominaisuuksia määriteltäessä ja priorisoitaessa.
Kerätyn käyttäjätiedon dokumentointiin ja ylös kirjaamiseen kannattaakin jatkossa panostaa enemmän. Esimerkiksi kyselyn tulokset kannattaa kirjata kootusti ylös ja yhdistää mahdolliseen aikaisempaan käyttäjätietoon. Tulisi myös pohtia tarkemmin minkälaista käyttäjätietoa tarvitaan ja miten muuttu-vaa tämä tieto on: onko esimerkiksi tarpeen tietää käyttäjien ikähaarukkaa tai tietotekniikan käyttötaitojen tasoa.
Jokaisesta projektissa mukana olleesta korkeakoulusta oli projektiryhmäs-sä mukana yksi edustaja, joka jossain määrin tunsi oman korkeakoulunsa käyt-täjät. Missään vaiheessa ei kuitenkaan vertailtu sitä miten eri korkeakoulujen
käyttäjät eroavat toisistaan ja miltä osin toisaalta yhtenevät. Yhteen kasattu käyttäjätieto tyypillisen käyttäjän kuvauksineen olisi ollut syytä käydä läpi ke-hittäjien kanssa.
6.1.2 Vaatimusten määrittely
Vaatimusten määrittelyä oli Jyväskylän yliopistossa tehty uutta sähköisen tent-timisen järjestelmää silmällä pitäen jo ennen projektin alkua. Sitnet-projektissa vaatimusten määrittely tapahtui kuitenkin kaikkien osallistujien yh-teistyönä, joten vaatimusten määrittelytyössä jouduttiin tekemään kompromis-seja, samoin vaatimusten priorisoinnissa. Käyttäjät eivät juuri olleet vaatimus-ten määrittelytyössä mukana, vaikka toki heiltä kerättyä tietoa käytettiin työn pohjana.
Käyttäjät olisi kannattanut pitää tiiviimmin mukana vaatimusten määritte-lyn aikana. Vaatimuksia tarkennettiin kehitystyön edetessä ja tässä tarkennus-vaiheessa loppukäyttäjistä olisi voinut olla paljon apua. Päätökset tuli kuitenkin tehdä nopeasti ja koska käyttäjien mukaan ottamista ei ollut suunniteltu etukä-teen, jäi se lopulta pois. Jatkossa kannattaakin miettiä tarkkaan ketä mukana olevat loppukäyttäjät ovat ja tavat joilla he ovat mukana.
Sitnet-projektin vaatimusten määrittelyssä olisi voinut esimerkiksi käydä prosesseja läpi loppukäyttäjien kanssa, esimerkkinä tentin tarkastaminen. Käyt-täjän tai käyttäjäryhmän kanssa olisi voinut pohtia mitä osia tarkastamiseen liittyy, missä järjestyksessä ne halutaan suorittaa ja mitä toimintoja ja tietoja niihin liittyy.
6.1.3 Suunnittelu- ja toteutusvaiheet
Varsinaisen suunnittelun tekivät Sitnet-projektin osalta Arcusys Oy:n kehittäjät ja käyttöliittymäsuunnittelija, joten Jyväskylän yliopiston loppukäyttäjät eivät olleet siinä mukana. Käyttäjien kanssa olisi voinut käydä aikaan saatuja asioita läpi toteutuksen aikanakin. Käyttäjäryhmän tapaamisissa olisi voitu katsoa mitä on tehty ja mitä tullaan tekemään seuraavaksi. Myös kevyttä käytettävyystesta-usta olisi voinut tehdä useaan kertaan toteutuksen aikana. Testakäytettävyystesta-usta olisi kan-nattanut tehdä jo suunnitteluvaiheessa paperiprototyyppien avulla. Käytännös-sä tämä ei olisi onnistunut, koska käyttöliittymäluonnoksia ei saatu nähtäville kuin vasta projektin loppuvaiheessa ja myös demopalvelin pystytettiin, kun projektia oli kulunut jo useampi kuukausi, jolloin paljon oli jo tehty. Täten pro-jektiryhmän jäsenilläkään ei ollut paljon mahdollisuuksia vaikuttaa alkuvai-heen ratkaisuihin.
6.1.4 Suunnitteluratkaisujen arviointi
Suunnitteluratkaisujen arviointi tapahtui asiantuntijaläpikäynnin ja käytettä-vyystestausten avulla. Arvioinnit tehtiin järjestelmän toimivalle demoversiolle.
Asiantuntija-arviointi tehtiin WeSQu-työkalua käyttäen kahden asiantun-tijan toimesta. Näiden kahden arvioinnin tulokset käytiin yhdessä läpi ja tulok-sena koottiin listaus tärkeimmistä huomioista. Listaus sisälsi 22 tärkeintä arvi-oinnin tuloksena tullutta huomioita. Listaus toimitettiin järjestelmän toteuttajal-le, projektipäällikölle ja asiakkaan edustajalle. Lisäksi heillä oli halutessaan pää-sy WeSQu-järjestelmään tarkastelemaan arvioinnin tarkempia tuloksia.
Arvioinnin tuloksena saatu listaus sisälsi sekä tekniseen toteutukseen, vi-suaaliseen suunnitteluun, navigoinnin tukemiseen että saavutettavuuteen liit-tyviä huomioita. Teknisiä huomioita olivat esimerkiksi se, että HTML-merkkaus ei ollut validia ja se, että css-tiedostojen koko oli suuri ja ne tulee pa-kata tuotantokäyttöä varten. Samaan kategoriaan menee myös virheiden vir-heiden estämiseen ja virheistä toipumiseen liittyvät huomiot, kuten virheilmoi-tusten huono näkyvyys sekä virheilmoivirheilmoi-tusten tekstien puutteellisuus. Informaa-tioalueiden ryhmittelyyn ja tekstin erottumiseen taustasta liittyvät huomiot ovat esimerkkejä visuaaliseen suunnitteluun liittyvistä tuloksista. Navigointiin kohdistuvat huomiot liittyivät esimerkiksi paluu- ja peruuta -toimintojen puut-tumiseen sekä navigointitoimintojen yhteneväisyyteen eri sivuilla. Saavutetta-vuuteen liittyviä huomioita olivat esimerkiksi se, että sovelluksen käyttö ei on-nistu pelkän näppäimistön avulla sekä ruudunlukijaa varten sivujen alkuun tarvittavien siirtymälinkkien puuttuminen.
Arvioinnista olisi saatu paremmat tulokset mikäli WeSQu-työkalu olisi ol-lut arvioijille tutumpi ennestään. Kysymyspatteristo oli todella laaja, vaikka siitä olikin karsittu kysymyksiä pois. Jatkossa Jyväskylän yliopistossa kannat-taakin projektikohtaisesti pohtia onko WeSQu-työkalusta hyötyä vai olisiko resurssitehokkaampaa käyttää esimerkiksi Nielsenin heuristiikkoja. Tärkeää on, että asiantuntija-arvioinnin tekee henkilö, joka ymmärtää käytettävyyden pe-rusteet sekä sen, mikä on arvioitavan järjestelmän tai toiminnon käyttötarkoitus.
Käytettävyystestausta tehtiin Sitnet-projektissa keväällä 2014 yhteensä yhdeksälle koehenkilölle. Testeistä neljä tehtiin Jyväskylän yliopistossa ja viisi Oulun yliopistossa. Koska testausta tehtiin kahdessa eri korkeakoulussa ja eri henkilöiden toimesta, tuli testausta varten tehdä kattava testaussuunnitelma.
Projektin laajuudesta johtuen myös testausraportin tuli olla yksityiskohtainen.
Jyväskylän yliopiston sisäisissä kehitysprojekteissa käytettävyystestaus voi olla kevyempää. Jotta koehenkilöitä ja testituloksia olisi saatu enemmän eri korkea-kouluista, olisi käytettävyystestausta voitu tehdä myös esimerkiksi Jyväskylästä käsin etänä jonkun toisen korkeakoulun tentaattoreille.
Jyväskylän yliopiston käytettävyystestauksissa löytyi runsaasti prosessin läpivientiin liittyviä käytettävyysongelmia. Esimerkiksi kysymysten lisäämis-kohta oli hukassa usealla koehenkilöllä ja tentin perustietojen syöttämispaikkaa ei meinattu löytää. Lisäksi koehenkilöt kiinnittivät huomiota järjestelmän teks-teihin, joihin liittyen tuli useita korjausehdotuksia. Testeissä löytyi myös joita-kin selkeitä bugeja.
Jyväskylän yliopiston käytettävyystestausten tulosten perusteella rapor-toitiin kehittäjille kolmisenkymmentä korjaustehtävää ja lisäksi kirjattiin ylös useita kehitysehdotuksia. Testauksen tulokset kasattiin
käytettävyystestausra-porttiin, joka laitettiin projektin wikiin kaikkien projektissa mukana olleiden nähtäville. Lisäksi korjaustehtävät kirjattiin projektin Jira-ympäristöön, jossa muutkin kehitykseen liittyvät tehtävät olivat kirjattuina.
Asiantuntija-arvioinnissa ja käytettävyystestauksessa tuli vain muutamia samoja huomioita. Nämä liittyivät virheilmoituksiin ja informaatioalueiden ryhmittelyyn. Tästä voikin päätellä, että pelkkä asiantuntija-arviointi ei riitä korvaamaan käytettävyystestausta. Toisaalta tulokset näyttävät myös sen, että molempia tarvitaan, koska asiantuntija-arvioinnissa tuli useita huomioita, joita ei tullut ilmi käytettävyystestauksessa.