Verkkosivuston opittavuutta voidaan tukea sivujen yhdenmukaisuudella. Yhdenmukai-suus on yksi käytettävyyden tärkeimmistä periaatteista. Lisäksi sivuston tulisi noudattaa verkkosivujen suunnittelun yleisiä periaatteita ja toimia samalla logiikalla koko sivus-tolla. Verkkosivujen yhdenmukaisuus auttaa myös vähentämään käyttäjän muistikuor-maa. (Nielsen 1993, 27; Kuutti 2003, 41.) Opittavuutta mittasivat kyselyn kysymykset 3, 4, 11, 12 ja 13.
"Sivut vaativat käyttäjälähtöistä kehittämistyötä, jotta niistä saadaan nykyistä help-pokäyttöisemmät. Oikeaan reunaan enemmän linkkejä muille sivuille kuten asumi-nen, vapaa-aika jne. eli yhdeltä sivulta helposti kaikille oleellisille sivuille. Kuvia myös lisää.
Sisällön kehittämisen lisäksi on tärkeää huolehtia käyttäjäopastuksesta - hyvätkään sivut eivät auta, jos niitä ei osaa käyttää."
"Suurennus toimii, kunhan löytää tekstin suurennusnappulan"
1 1,5 2 2,5 3 3,5 4 4,5 5
Opittavuus Tehokkuus Muistettavuus Virheettömyys Tyytyväisyys
" Tärkeät asiat jne. vasemman puolen palkisto voisi olla aakkosjärjestyksessä kuten muillakin sivuilla (ainakin useammissa)"
Oikopolkuja ja tehokasta työskentelyä tulisi tukea. Verkkosivun tulisi olla aloittelijalle helppo käyttää ja samalla kokeneemman käyttäjän pystyä käyttämään samaa liittymää mahdollisimman nopeasti ja tehokkaasti. Usein käytettyihin toimintoihin käytetään yleensä oikopolkuja. Tavallisimpia oikopolkuja ovat ikonit ja erilaiset linkit. Sivujen painikkeet ja linkit olivat vastaajien mielestä melko selkeät. Verkkosivuilla liikkumisen pitäisi myös olla selkeää ja tehokasta. (Nielsen 1993, 30; Kuutti 2003, 60.) Tehokkuutta mittasivat kyselyn kysymykset 8, 9, 10 ja 12 sekä hakutehtävä. Sivuilla liikkuminen oli helppoa suurimmanosan mielestä. Kuitenkaan kaikki eivät olleet tyytyväisiä ja puutteita tuli esille.
" Terveyspalveluissa voisi olla linkki ikäihmistensivuille."
" Cooperin kulma - täytyy tietää polku myllytie.. ruokalista voisi olla etusivun alla olevassa palkissa"
" Neuvonta palvelut voisivat olla isona palkkina ja sen alla palveluohjaajien puhe-linnumerot."
"Terveyspalvelut sivuilta ei pääse takaisin ikäihmisten sivuille muuten kuin etusivun kautta. "
Käyttöliittymässä tulee olla kunnolliset opasteet ja dokumentaatio muistikuormituksen vähentämiseksi. Hyviä verkkosivuja käyttäjä pystyy käyttämään ilman erillisiä ohjeita.
Opasteiden tulee olla käytettävissä ja selkeästi esillä. (Nielsen 1993, 30-32.) Kyselyyn vastanneiden mielestä verkkosivuilla oli mahdollista saada opastusta ja ohjeita melko helposti. Verkkosivujen muistettavuutta mittasivat kyselyn kysymykset 3 ja 4.
Virhetilanteet ovat tärkeitä käytettävyydelle, koska virhetilanteessa käyttäjä on häm-mentyy eikä pääse tavoitteeseensa. Huolellisella käyttöliittymän suunnittelulla ja hyväl-lä logiikalla pystytään useimmat virhetilanteet välttämään. (Nielsen 1993, 32; Kuutti 2003, 56-58.) Kaupungin verkkosivujen virheettömyyttä mittasivat kyselyn kysymykset 11 ja 12.
" Palvelutarpeenarviointi kohdasta joutuu neuvontapalvelut sivulle."
" Kotiasumisen sivut ovat tyhjät, vain palkit sivulla. Tulee tunne, että on eksynyt vää-rälle sivulle..."
Kaupungin verkkosivujen käytön tyytyväisyyttä mittasivat kyselyn kysymykset 1, 2, 5, 6, 7 ja 13. Dialogin käyttäjän kanssa tulee olla yksinkertaista ja luonnollista, jotta vuo-rovaikutus käyttäjän kanssa olisi luonnollista, sivuilla pitäisi käyttää ihmisten arkielä-mästä tuttuja aineksia. Verkkosivu pitäisi pitää hyvin yksinkertaisena ja näyttää käyttä-jälle vain tärkeä ja oleellinen tieto. (Nielsen 1993, 115; Kuutti 2003, 50;.) Kyselyyn vastanneista enemmistön mielestä sivujen otsikointi vastasi hyvin sivujen sisältöä. Suu-rimman osan mielestä tärkeät asiat olivat esillä melko hyvin ja tietoa oli melko sopivasti esillä. Tiedon laadussa oli havaittu puutteita, virheitä ja päällekkäisyyttä. Tiedon esille laitosta ja puutteista olikin runsaasti kommentteja ja kehitysehdotuksia:
" Samaa tietoa useassa eri kohdassa."
"Kotihoito sis. mm. turvapalvelu, ateria- ja siivouspalvelu. Harhaanjohtava, kotihoi-to ei siivoa. Toisella sivulla asia selitetään kotihoi-toisin."
" Turvapuhelimien hintaa ei löydy."
" Kotiasumisen siivouspalvelut osassa kerrotaan alv:ttomasta siivouspalvelusta. Mi-ten sen saa, kenelle se kuuluu???"
"Palvelusetelituottajissa voisi olla myös tietoa yksityisistä palvelutuottajista ja yh-teystiedot."
"Sivuston informaatio on suunnattu suurelta osin ikääntyneille ikäihmisille. Tarjonta 65-75 -vuotiaille niukkaa."
" Vapaa-aika ja harrastus -osion tulisi sisältää koostetta SIVA -palveluista tai linkki, tapahtumista jne. eli kaikki yhdellä sivulla , nykyinen informaatio aivan liian yksi-puolista ja niukkaa."
Sivujen pitäisi myös olla värimaailmaltaan harmoninen ja ulkoasultaan miellyttävä (Nielsen 1993, 119). Suurin osa kyselyyn vastanneista piti sivujen yleisilmettä melko miellyttävänä. Verkkosivujen värimaailma ei yhdenkään vastaajan mielestä ollut erin-omainen, suurimman osan mielestä värimaailma oli kuitenkin hyvä. Kuitenkin kaikkia sivujen ilme ei miellyttänyt.
" Etusivun kuva jo aikansa elänyt, voisi olla useammin vaihtuva,positiivista virettä luova, ajankohtainen..."
" Etusivulla tulee tunne, että sivut on tarkoitettu vain huonokuntoisille. Enemmän asiaa hyväkuntoisille, positiivisia asioita."
"Ääniselostus on hyvä lisä"
Vuorovaikutuksessa tulee käyttää käyttäjän omaa kieltä eli kielen ja käytettyjen termien pitäisi olla käyttäjälle luonnollisia ja tuttuja. Kyselyyn vastanneista suurin osa piti si-vuilla käytettyä kielitä melko selkeänä. Puutteita oli kuitenkin havaittu:
" Lyhenteitä ei ole avattu (Rava, SAS...)."
Kyselyn mukaan kaupungin sivujen opittavuus toteutui heikointen, tyytyväisyys oli kuitenkin korkein. Vaikka kyselyn käytettävyyden arviointiosion mukaan verkkosivujen käytettävyys on arvioitu hyväksi kommenteista ilmenee runsaasti käytettävyyden puut-teita.
7 POHDINTA
7.1 Tutkimuksen luotettavuus ja eettisyys
Kaikkien tutkimusten luotettavuutta ja oikeellisuutta tulee arvioida, vaikka tutkimus pyritään tekemään niin että virheitä ei synny. Kuitenkin tulosten luotettavuus ja oikeel-lisuus voivat vaihdella. Laadullisen tutkimuksen luotettavuutta lisää tutkijan tarkka ja täsmällinen selostus tutkimuksen etenemisestä ja toteutuksesta. Tutkimuksen tekemi-seen kuuluu olennaisena osana tekemisen perustelu ja tutkimuksen sisäinen johdonmu-kaisuus, joka lisää tutkimuksen luotettavuutta. Tämä lisää myös tutkimuksen uskotta-vuutta ja toistettauskotta-vuutta. Tutkimuksen luotettauskotta-vuutta arvioidaan ja tarkastellaan reliabili-teetilla eli mittaustulosten toistettavuudella sekä validireliabili-teetilla eli mittarin tai tutkimus-menetelmän kyvyllä mitata tarkalleen sitä, mitä on tavoite mitata. Laadullista tutkimusta tulee arvioida ja tarkastella mieluummin kokonaisuutena. Tutkimuksen prosessin auki kirjoittamisen tulee olla niin selkeää ja totuudenmukaista, että toinen tutkija voi noudat-taa samankaltaista analyysia ja toimenpiteitä omassa tutkimuksessaan. (Hirsjärvi, Re-mes & Sajavaara 2009, 216-217; Tuomi ja Sarajärvi 2009, 69, 124, 133-139.) Tavoit-teena oli selkeä raportti, niin että lukijan olisi helppo seurata tutkimuksen etenemistä.
Hirsjärven ym. (2009, 259) mukaan asianmukaisen, tutkimusaiheeseen suoraan liittyvän kirjallisuuden, valitsemiseksi kirjallisuuskatsauksen laatijan on tunnettava alue hyvin, jotta hän voi analysoida riittävän yksityiskohtaisesti tutkimusongelman kannalta tärkei-tä, uudelle tutkimukselle taustaa luovia tutkimuksia. Tämän tutkimuksen tekijällä on runsaasti kokemusta omien ikääntyvien vanhempien ohjaamisesta ja opastamisesta in-ternetin käytössä, vaikka molemmat ovat työelämässä ollessaan käyttäneet tietotekniik-kaa. Tämä kokemus vaikutti kiinnostukseen ja aiheen valintaan. Hakuprosessissa käy-tettiin asiantuntija-apuna Itä-Suomen yliopiston informaatikkoa.
Aihevalinta osoittautui haastavaksi koska verkkosivujen ja -palvelujen käytettävyyttä ikääntyneiden näkökulmasta on tehty melko vähän. Mukaan hyväksytyt tutkimusartik-kelit (n=17) valittiin laajasta joukosta artikkeleita (N=719 artikkelista), jotka löytyivät kotimaisista ja kansainvälisistä tietokannoista. Mukaan otettujen artikkeleiden valinnat tehtiin kuvattujen hakulausekkeiden sekä sisällyttämis- ja poissulkukriteerien avulla.
Analyysin luotettavuutta lisää se, että aineiston sisällönanalyysin on tehty
mahdolli-simman tarkasti ja huolellisesti, syventyen tutkimuksiin ja tutkimustuloksiin. Keskei-simpien tulosten pohjalta on hahmotettu, löytyykö niistä Nielsenin käytettävyyden mää-ritelmän mukaisia käsitteitä. Tämän jälkeen on kokoottu löydetyt käsitteet taulukkoon tulosten selkeyttämiseksi.
Kyselytutkimukseen osallistumisen tulee olla vapaaehtoista ja perustua riittävään tie-toon. Kyselyyn osallistujille tulee kertoa tutkimuksen aihe, tutkimuksen konkreettinen toteutustapa ja arvioitu ajankulku, kerättävän aineiston käyttötarkoitus, säilytys ja jatko-käyttö. Tutkittaville tulee kertoa myös mahdollisuudesta saada lisätietoja tutkimuksesta ja antaa yhteyshenkilöiden tiedot. (Kankkunen & Vehviläinen-Julkunen 2013.) Tutkit-tavat olivat tämän tutkimuksen tekijälle anonyymejä eikä tutkimustuloksissa tullut yk-sittäisten vastaajien henkilöllisyys esille. Sähköisen kyselyn mukana menneessä saat-teessa tutkimukseen osallistujille kerrottiin tutkimuksen tarkoituksesta, ajankohdasta, mahdollisista jatkotoimista, tutkimusaineiston säilyttämisestä, tutkimukseen osallistu-misen vapaaehtoisuudesta sekä tarjottiin mahdollisuutta ottaa yhteys tutkijaan lisätieto-jen saamiseksi. Tietoisen suostumuksen periaatteet, riittävän ja oleellisen tiedon anta-minen, ymmärtäanta-minen, kelpoisuus osallistua tutkimukseen ja vapaaehtoisuus voidaan katsoa täyttyneen. Tutkittavien suostumusta ei erikseen pyydetty, sillä vastattuaan va-paaehtoisesti sähköiseen kyselyyn he ovat myös osittaneet antaneensa luvan käyttää vastauksiaan tässä tutkimuksessa. Kyselylomakkeen validiteetti eli kyky vastata tutki-muskysymyksiin oli hyvä; kyselyllä saatiin vastauksia tutkitutki-muskysymyksiin. Kyselyn pienen otoksen ( n=20 ) vuoksi tuloksia ei voida yleistää, tulokset ovat kuitenkin suun-taa antavia.
7.2 Tulosten tarkastelua
Aktiivinen verkon käyttö on yleistä myös ikääntyneillä, suurin osa ikääntyneistä käyttää Internetiä. Ikääntyneet käyttävät verkkoa pääasiassa sähköpostiin ja pankkiasioiden hoi-tamiseen, mutta myös terveyspalveluja sekä tavaroiden ja palveluiden ostamiseen. (Ti-lastokeskus 2017.) Ikääntyminen tuo mukanaan näön ja muistin heikkenemistä, myös motoriset ja kognitiiviset taidot heikkenevät. Lisäksi tämän hetken ikääntyneillä ei ole työelämän tuomaa kokemusta tietotekniikan ja verkon käytöstä. (Isomäki ym. 2003, 150). Panostamalla ikääntyneiden huomioimiseen verkkopalveluiden suunnittelussa
voidaan parantaa ikääntyneiden aktiivisuutta ja mukavuutta verkon käytössä. (Ikätekno-logiakeskus 2017). Useiden tutkimusten mukaan (esim. Blake & Ray 2016; Blažun 2013; Fuchsberger ym. 2012; Hernández-Encuentra ym. 2009; ) ikääntyneet haluavat käyttää verkkopalveluja ja tieto- ja viestintätekniikan on todettu parantavan ikääntynei-den elämänlaatua.
Ikääntyneet pitävät helposti opittavista verkkosivuista ja -sovelluksista, tähän vaikuttaa entuudestaan tutun tuntuinen logiikka ja symboliikka. (Blake & Ray 2016; Castilla ym.
2016; Chun &. Patterson 2012; Hankiewicz, Butlewski & Grzybowski 2014; Kort ym.
2014). Myös tämän tutkimuksen osana tehty kysely vahvisti kirjallisuuskatsauksen tu-loksia ja toi esiin sivujen tuttuuden tuntuuden merkityksen. Lisäksi kyselyn sekä kirjal-lisuuskatsauksen tulosten mukaan ikääntyneet arvostavat helppoa ja selkeää navigointi-logiikkaa. Verkkosivujen toimintalogiikalla ja navigoitavuudella on merkitystä opitta-vuuteen ikääntyneillä. (Castilla ym. 2016; Chun &. Patterson 2012; Hankiewicz, But-lewski & Grzybowski 2014; Kort ym. 2014.) Kyselyn ja kirjallisuuskatsauksen mukaan (Blake & Ray 2016; Bolle ym. 2016; Chun &. Patterson 2012; Fuchsberger ym. 2012;
Gotwald ym. 2016; Vaziri ym. 2016) verkkosivujen ja -sovellusten opittavuutta voidaan parantaa hyvällä perehdytyksellä. Nyman & Yardley (2009) tutkimus korostaa käyttäjä-lähtöisen suunnittelun merkitystä: verkkosivujen tulisi olla selkeitä, tutun tuntuisia ja tietomäärän sopivaa. Myös kyselyn kommenteissa toivottiin parempaa, käyttäjälähtöis-tä, verkkosivujen suunnittelua.
Katsauksen tulosten mukaan (Bolle ym. 2016; Castilla ym. 2016) huonosti suunnitellut, rakenteeltaan huonot sivut, ovat tehottomia käyttää. Myös kyselyn tulosten mukaan verkkosivuilla oli havaittu tämänkaltaisia ongelmia. Lisäksi kaupungin verkkosivuilla oli navigoitavuudessa puutteita. Sovellusten virhetilanteet hämmentävät ikääntyneitä ja näin laskevat käyttötehoa (Chun & Patterson, 2012).
Kyselyn ja kirjallisuuskatsauksen mukaan (Castilla ym. 2016; Zhou ym. 2017) verk-kosivujen ja -sovellusten tuttuuden tuntuisuus parantavat muistettavuutta. Kyselyn mu-kaan verkkosivujen ikonit ja linkit olivat melko selkeitä, kuitenkin puutteitakin tuli esil-le. Ikääntyneiden muistamista voidaan helpottaa toimintoja kuvaavilla ikoneilla (Zhou ym. 2017). Kyselyn tulosten mukaan sivujen käyttäjäopastuksessa oli puutteita,
tutki-musten mukaan (Fuchsberger ym. 2012; Vaziri ym. 2016) hyvällä perehdytyksellä voi-taisiin parantaa muistettavuutta.
Useiden tutkimusten mukaan (Bolle ym. 2016; de Lara ym. 2015; Castilla ym. 2016;
Fuchsberger ym. 2012; Gottwald ym. 2016; Bergstrom ym. 2013; Hankiewicz ym. 2014 ja Vaziri ym. 2016) verkkosivujen ja -sovellusten käytön tyytyväisyyttä voidaan lisätä lisäämällä niiden käytettävyyttä. Lisäksi hyvällä suunnittelulla on suuri merkitys ikään-tyneille suunnitelluissa verkkosivuissa ja -palveluissa (Castilla ym. 2013; Bergstrom ym. 2013; Chevalier ym. 2012; Fuchsberger ym. 2012; de Lara ym. 2015). Tämän tut-kimuksen osana toteutetussa kyselyssä kaupungin verkkosivuilla oli suunnittelun puut-teita, kuitenkin tulosten mukaan sivujen käytettävyys ja tyytyväisyys olivat hyviä. Kat-sauksen mukaan ikääntyneet arvostavat verkkosivujen hyvää luettavuutta (Bolle ym.
2016; Castilla ym. 2013; Chun & Patterson. 2012; Fuchsberger ym. 2016; Gottwald ym.
2016; Hankiewicz ym. 2014; Kort & Hoof. 2014; de Lara ym. 2015). Luettavilla sivulla on selkeät ikonit ja painikkeet, tekstin koko sopiva tai suurennettavissa sekä tekstin ja oleellisen tiedon sijoittelu ja määrä sopivat (Chun & Patterson, 2012). Kyselyn tulosten mukaan ikonit ja linkit olivat selkeitä ja teksti suurennettavissa, mutta tiedon määrä to-dettiin niukaksi. Katsauksen mukaan (Chun & Patterson 2012; Hankiewicz ym. 2014;
Nyman & Yadley 2009; Vaziri ym. 2016) ikääntyneet arvostavat esteettisiä ja yksinker-taisia verkkosivujen ulkoasua. Kyselyn tulosten mukaan verkkosivujen ulkoasu oli mel-ko miellyttävä, tosin uudistustakin toivottiin. Ikääntyneet arvostavat verkmel-kosivuilla ää-niselosteita, koska näistä ikääntyneiden on helpompi saada oleellinen tieto kuin tekstistä (Bolle ym. 2016; Fuchsberger ym. 2016; de Lara ym. 2015). Myös kyselyn tulokset tukivat kirjallisuuskatsauksen tuloksia tuomalla esiin ääniselostuksen arvostamisen.
Kyselyn kommenteista myös ilmeni sivujen käytön epävarmuutta ja virhetilanteissa itsensä syyttämistä. Katsauksen tutkimusten (Gottwald ym. 2016; Chun & Patterson 2012) mukaan ikääntyneet kokevat epävarmuutta verkon käytössä ja syyttävät itseään jos eivät pääse tavoitteeseensa verkossa.
7.3 Johtopäätökset ja jatkotutkimusaiheita
Opittavuudella on suuri merkitys ikääntyneillä verkon käyttöhalukkuuteen. Entuudes-taan tuttu toimintalogiikka ja symboliikka helpottavat käytön aloittamista. Ikääntyneet arvostavat helppoa ja selkeää navigointilogiikkaa. Myös sivuilla käytetyllä kielellä on
suuri merkitys opittavuuteen ikääntyneillä. Opittavuutta voidaan helpottaa hyvällä ja yksityiskohtaisella verkkosivujen- ja palveluiden perehdytyksellä, hyvät kokemukset myös kannustavat ikääntyneitä oppimaan lisää. Myös selkeät opasteet ja ohjeet paranta-vat opittavuutta. Käyttäjälähtöisellä suunnittelulla verkkosivuista ja -sovelluksista saa-daan ulkoasultaan selkeitä, tutun tuntuisia ja tietomäärältään sopivia.
Verkkosivujen ja -sovellusten monimutkaisuus ja huono käytettävyys heikentää käytön tehokkuutta. Ikääntyneillä huono navigoitavuus ja epäselkeä logiikka vaikeuttavat ta-voitteeseen pääsyä. Myös sivulla oleva suuri tekstimäärä laskee ikääntyneillä käytön tehokkuutta, koska ikääntyneet lukevat hitaammin kuin nuoremmat ja sivujen vierittä-miseen menee aikaa. Sivuilta puuttuvat ohjeet ja virhetilanteet hämmentävät käyttäjiä ja näin laskee käytön tehokkuutta.
Verkkosivujen- ja palveluiden monimutkaisuus heikentää ikääntyneillä käyttäjillä muistettavuutta. Muistettavuutta voidaan parantaa tuttuuden tuntuisuudella sekä hyvällä perehdytyksellä ja aputoiminnoilla.
Käyttäjän tekemät virheet johtuvat huonosta ohjeistuksesta ja suunnittelusta. Huonot ja epäselvät virheilmoitukset, tai niiden puute, aiheuttavat ikääntyneessä käyttäjässä häm-mennystä ja epävarmuutta. Myös sovelluksen odottamatonta toimintaa sekä pop -up ikkunoita ikääntyneet luulevat helposti virhetilanteiksi.
Ikääntyneet pitävät verkkosivujen hyödyllisyyttä tärkeämpänä kuin käytettävyyttä.
Verkkosivujen- ja palveluiden käytön tyytyväisyyttä voidaan lisätä käytettävyyttä pa-rantamalla. Suunnittelulla on suuri vaikutus ikääntyneiden kokemaan tyytyväisyyteen, huonolla suunnittelulla vähennetään ikääntyneiden verkon käyttöhalukkuutta. Sivujen monimutkaisuus, huono luettavuus, tiedon suuri määrä tai huono sijoittelu sekä huono toimintalogiikka vähentävät käytön tyytyväisyyttä.
Tässä tutkimuksessa keskityttiin ulkomaiseen tutkimukseen, koska kotimaista tutkimus-ta on tehty hyvin vähän. Myös Suomessa pitäisi tutkia verkkosivujen ja -palvelujen käy-tettävyyttä ikääntyneiden näkökulmasta. Ikääntyminen tuo omat haasteensa verkon käyttöön, mutta samankaltaisista käytettävyyden haasteista voivat kärsiä myös nuo-remmat.
Sähköisten terveyspalveluiden käytettävyyttä ikääntyneiden näkökulmasta ei ole Suo-messa tutkittu, ulkomaillakin niukasti. Uskon, että SuoSuo-messa on sähköisiä terveyspalve-luja tutkittu kuntien ja muiden palvelujen tuottajien toimesta pienempi muotoisesti. Oli-si tärkeää nyt sähköisten terveyspalveluiden lisääntyessä jakaa tietoa ja kokemukOli-sia tutkimusten muodossa kaikille.
LÄHTEET
Arief Muzawir, Nguyen Thi Thanh Hai & Saranto Kaija 2013, Barriers to and advan-tages of e‐health from the perspective of elderly people: A literature review. Finnish journal of eHealth and eWelfare 5(2-3), 50-56.
Arksey Hilary & O’Malley Lisa 2005. Scoping Studies: Towards a Methodological Framework. International Journal Social Research Methodology 8(1), 19–32.
Baltes P & Smith J. 2003. New frontiers in the future of aging: From successful aging of the young old to the dilemmas of the fourth age. Gerontology 49(2), 123–135.
Blake Jacqueline & Ray Pradeep 2016. Facilitating Digital Communication in Seniors.
IEEE International Symposium on Technology and Society (ISTAS), 20-25.
Bergstrom Jennifer, Olmsted -Hawala Erica & Jans Matt 2013. Age -Related Differ-ences in Eye Traking and Usability Performance: Website Usability for Older Adults.
International Journal of Human-Computer Interaction, 29(8), 541-548.
Blažun Helena 2013. Elderly People's Quality of Life with Information and Communi-cation Technology (ICT): Toward a Model of Adaptation to ICT in Old Age. Väitöskir-ja. Itä-Suomen yliopisto.
Bolle Sifra, Romijn Geke, Smets Ellen, Loos Eugene, Kunneman Marleen &
van Weert Julia 2016. Older Cancer Patients’User Experiences With Web-Based Health Information Tools:A Think-Aloud Study. Journal of Medical Internet Research 18 (7).
Castilla Diana, Garcia-Palacios Azucena, Breton-Lopez Juana, Miralles Ignacio, Baños Rosa Marıa, Etchemendy Ernestina, Farfallini Luis & Cristina Botella 2013. Process of design and usability evaluation of a telepsychologyweb and virtual reality system for the elderly:Butler. International Journal of Human-Computer Studies 71(2013),350–362.
Castilla Diana, Garcia-Palacios Azucena, Miralles Ignacio, Breton-Lopez Juana, Parra Elena, Rodriguez-Berges Sergio & Cristina Botella 2015. Effect of Web naviga-tion style in elderly users. Computers in Human Behavior 55 (2016), 909–920.
Centre for Reviews and Dissemination 2009. Systematic Reviews CRD’s guidance for undertaking reviews in health care.
(Luettu5.2.2018). Saatavissa:https://www.york.ac.uk/crd/guidance/,.
Chevalier Aline, Dommes Aurélie & Martins Daniel 2013. Ageing & Society 33, Cam-bridge University Press, 1009-1035.
Chun Young & Patterson Patrick 2012. A usability gap between older adults and younger adults on interface design of an Internet-based telemedicine system. Work 41.
IOS Press, 349-352.
Cooper Harris 1998. Synthesizing research:A Guide for literature review. Applied so-cial research methods series 2.3. edition. Sage Publications, California.
Ensio Anneli. 1999. Strateginen selvitys terveydenhuollon tietojärjestelmien standar-disoinnista ja ehdotus Suomen panostuksesta standardisointiin tulevaisuudessa. Stakes, Helsinki.
Evans David 2008. Overview of Methods. Teoksessa: Reviewing Research Evidence for Nursing Practice: Systematic Reviews. Toim. Christine Webb & Brenda
Ross. Blackwell Publishing, Oxford, 137–148.
Fuchsberger Verena, Sellner Wolfgang, Moser Christiane & Tscheligi Manfred 2012.
Benefits and Hurdles for Older Adults in Intergenerational Online Interactions.
Teoksessa: Miesenberger K. et al. (toim.) ICCHP 2012, Part I, LNCS 7382. Springer-Verlag, Berlin, 697–704.
Gottwald Sarah, Laatikainen Tiina & Kyttä Marketta 2016. Exploring the usability of PPGIS among older adults: challenges and opportunities. International Journal of Geographical Information Science, 30(12), 2321-2338.
Hankiewicz Krzysztof, Butlewski Marcin & Grzybowski Wiesław 2014. An Ergonomic Evaluation of the Adaptation of Polish Online Stores to the Needs of the Elderly. Teok-sessa: C. Stephanidis ja M. Antona (toim.) UAHCI/HCII 2014, Part IV, LNCS 8516.
Springer International Publishing, Switzerland, 26–36.
Hernández-Encuentra Eulàlia, Pousada Modesta & Gómez-Zúñiga Beni 2009. ICT and Older People: Beyond Usability. Educational Gerontology, 35(3), 226-245.
Hirsjärvi Sirkka, Remes Pirkko & Sajavaara Paula 2009. Tutki ja kirjoita. Tammi, Van-taa.
Hyppönen Hannele, Pentala-Nikulainen Oona & Aalto Anna-Mari 2017. Sosiaali- ja terveydenhuollon sähköinen asiointi 2017. Kansalaisten kokemukset ja tarpeet.
Terveyden ja hyvinvoinnin laitos (THL). Raportti 3/2018. Helsinki 2018.
(Luettu 8.9.2018)
Ikäteknologiakeskus 2017. Ikäihmiset ja sähköinen asiointi; Miten saadaan kaikki mu-kaan? Vanhus-ja lähimmäispalvelun liiton Ikäteknologiakeskus.
ISO 9241-11:1998 Ergonomic Requirements for Office Work with Visual Display Ter-minals (VDTs) - Part 11: Guidance on Usability. International Organization for Stand-ardization. .(Luettu 14.11.2012). Saatavissa:
http://www.it.uu.se/edu/course/homepage/acsd/vt09/ISO9241part11.pdf
Isomäki Hannakaisa, Päykkönen Kirsi & Sankari Anne 2003. Ikääntyneet ja tietoteknii-kan käytettävyys. Gerontologia 17(3), 149-154.
JHS 129 2012. Julkishallinnon verkkopalvelun suunnittelun ja toteuttamisen periaatteet.
(Luettu 22.10.2016). Saatavissa:
http://docs.jhs-suositukset.fi/jhs-suositukset/JHS129/JHS129.html#H5,
Kankkunen Päivi & Vehviläinen-Julkunen Katri 2013. Tutkimus hoitotieteessä. 3. pai-nos. Sanoma pro Oy, Helsinki.
Kort Helianthe & van Hoof Joost 2014. Design of a website for home modifications for older persons with dementia. Technology and Disability 26 (2014) . IOS Press.
Kuntaliitto 2010. Kuntien verkkoviestintäohje.
(Luettu 22.10.2016). Saatavissa:
http://www.kunnat.net/fi/asiantuntijapalvelut/viestinta/kuntien-viestinta/kuntaviestinnan-ohjeet/Documents/Verkkoviestintaopas.pdf.
Kuutti Wille 2003. Käytettävyys, suunnittelu ja arviointi. Talentum, Saarijärvi.
de Lara Silvana Maria Affonso, de Mattos Fortes Renata Pontin, Russo Cibele Maria &
Freire Andre Pimenta 2016. A study on the acceptance of website interaction aids by older adults. Univ Access Inf Soc, 15 (2016), Springer-Verlag Berlin, 445–460.
Mack Robert & Nielsen Jakob 1994. Executive Summary. Teoksessa Nielsen J. & Mack R.L. (toim.) Usability Inspection Methods. John Wiley & Sons Inc, New York, 1–23.
Metsämuuronen Jari 2005. Tutkimuksen tekemisen perusteet ihmistieteissä. Gummerus Kirjapaino Oy, Jyväskylä.
Nielsen Jakob 1993. Usability engineering. Academic Press, New York.
Norman Donald 2002. The design of everyday things. Basic books, New York.
Nyman Samuel & Yardley Lucy 2009. Usability and acceptability of a website that provides tailored advice on falls prevention activities for older people. Health Informat-ics Journal 15(1), 27-39.
Pak Richard, Price Margaux & Jason Thatcher 2009. Age-Sensitive Design of Online Health Information: Comparative Usability Study. Journal Of Medical Internet Re-search 11(4).
Riihiaho Sirpa 2000. Käytettävyystestauksen muunnelmia. Teoksessa Pantzar E.
(toim.) Informaatio, tieto ja tietoyhteiskunta. Suomen Akatemian Tiedon tutkimusohjelman raportteja, 4/2000. Tampere: Tampereen yliopisto, 223-230.
Russell Cynthia 2005. An overview of the integrative research review. Progress in transplantion, 15(1), 8-13. (Luettu 16.2.2018)
Saatavissa:https://www.researchgate.net/publication/7898657_An_overview_of_the_int egrative_research_review.
Saariluoma Pentti 2004. Käyttäjäpsykologia- Ihmisen ja koneen vuorovaikutuksen uusi ajattelutapa. WSOY, Helsinki.
Salminen Ari 2011. Mikä kirjallisuuskatsaus? Johdatus kirjallisuuskatsauksen tyyppei-hin ja hallintotieteellisiin sovelluksiin. Vaasan yliopiston julkaisuja. Opetusjulkaisuja 62. Julkisjohtaminen 4. Vaasan yliopisto, Vaasa. (Luettu: 13.2.2018). Saatavissa:
http://www.uva.fi/materiaali/pdf/isbn_978-952-476-349-3.pdf .
Saranto Kaija& Kuusisto-Niemi Sirpa 2012. Tiedonhallinnan koulutusohjelma arvioita-vana ‐kokemuksia kansainvälisestä akkreditoinnista. Artikkelissa: FinJeHeW 2012;4(2), 142. (Luettu 23.3.2014).
Saatavissa: http://ojs.tsv.fi/index.php/stty/article/view/6558/5375
Saatavissa: http://ojs.tsv.fi/index.php/stty/article/view/6558/5375