Kirjastopalveluiden vaikuttavuusarviointi – mihin tarvitaan sairaalan kirjastopalveluja?
Laura Kohta ja Mervi Ahola
Vaikuttavuusarviointi (outcomes assessment) on laadullisille menetelmille pohjautuva lähestymistapa palveluiden arviointiin. Kerromme tässä artikke- lissa, miten vaikuttavuusarviointia on sovellettu Tampereen yliopistollisen sai- raalan kirjastopalveluihin vuosina 2006-2007. Vaikka tutkimuksen lähestymista- voissa olikin matkan varrella ongelmia, tulokset olivat myös rohkaisevia. Noin puolet vastaajista koki, että sairaalakirjasto auttaa työskentelyä, nostaa työn laatua ja edistää tutkimustyötä.
V
aikuttavuusarvioinnin perusidea on, että kir- jastojen ei katsota tuottavan vain lukuja ja tilas- toja, kuten kävijä- ja lainausmääriä, käyttötun- teja ja -kertoja. Sen sijaan kirjastojen palvelui- den voidaan ajatella tuottavan käyttäjilleen tai käyttäjissään vaikutuksia, hyötyä, merkityksiä ja muutoksia.Määrällinen ja laadullinen tieto yhdessä muo- dostavat monipuolisen aineiston, jonka avulla voidaan nähdä ilmiöiden taakse. Esimerkiksi kä- vijälukemien keräämisen lisäksi voidaan lähteä etsimään syitä sille, miksi ihmiset käyvät tai ei- vät käy kirjastossa.
Esitutkimuksella kartoitus käyttäjien kokemuksista
Tampereen yliopistollisen sairaalan (jäljempä- nä TAYS) lääketieteellinen kirjasto halusi välit- tää sairaalan johdolle kuvan kirjastopalveluiden merkityksestä sairaalalle. Tavoitteena oli turva- ta kirjastopalveluiden rahoitus ja käyttäjäläh- töinen kehittäminen sairaalassa. Kokonaiskuvan kartoittamiseksi käynnistettiin tutkimusprojek- ti, jolla kartoitettiin käyttäjien kokemuksia kir- jastopalveluista.
Esitutkimus toteutettiin teemahaastatteluina,
joihin osallistui yhteensä 14 henkilöä. Haastatel- tavat olivat tutkijoita, lääkäreitä, hallinnon työn- tekijöitä, hoitajia ja opiskelijoita. Kaikki haasta- teltavat käyttivät kirjastopalveluja aktiivisesti ja he työskentelivät tai opiskelivat Tampereen yli- opistollisessa keskussairaalassa.
Haastattelujen tarkoituksena oli tuottaa tietoa, jonka pohjalta voitaisiin rakentaa kyselylomake kirjastopalveluiden säännölliseen arviointiin tu- levina vuosina.
Laadullisten ja määrällistä tietoa tuottavien menetelmien yhteiskäytöllä haluttiin saada kat- tavaa ja tehokkaasti tuotettua tietoa, joka mah- dollistaisi mielekkään raportoinnin ja jatkuvan arvioinnin.
Esitutkimuksen tulokset
Esitutkimusvaiheen haastatteluihin valikoitui omatoimisia kirjaston palveluita säännöllisesti käyttäviä henkilöitä, joiden työ oli kiireistä asian- tuntijatyötä. Haastateltavat käyttivät paljon kir- jaston sähköisiä palveluita sekä omasta työpistees- tään käsin että kirjastossa. Useimmat haastatellut olivat sopeutuneet kirjaston sähköisten palvelui- den käyttöön erittäin hyvin. Pohjavireenä haas- tateltujen kertomuksissa oli kuitenkin usein aja-
tus siitä, että varsinaisia kirjastopalveluita ovat fyysiset palvelut.
Haastattelukysymykset johdattelivat haastatel- tavat kuvailemaan kirjaston vaikuttavuutta konk- reettisten esimerkkien avulla. Kuvausten pohjal- ta lähdettiin muodostamaan kuvaa siitä, miten vaikuttavuudesta voi puhua asiakkaiden kans- sa ja millaisia vaikutuksia TAYS:n kirjastopalve- luilla on.
Ilmiöiden ryhmittelyssä käytettiin apuna kir- jastopalveluiden laadun mittaamiseen tarkoitet- tua LibQUAL+ -arviointityökalua, jonka ryhmit- tely on samankaltainen kuvauksista löydettyjen pääkohtien kanssa. Näin arviointityökalussa hyö- dynnettäviksi teemoiksi muodostuivat
– Itsenäinen käyttö (itsenäisen kirjaston käytön onnistuminen, helppokäyttöisyys, tekninen toimivuus)
– Elektroniset aineistot (käytettävyys, saatavuus) – Etäpalvelut (toimivuus, riittävyys, tarpeisiin
vastaavuus)
– Työtila (päätteet, viihtyisyys)
– Käytön miellyttävyys (tunteet, henkilökunta).
Seurantatutkimukseen vaikuttavuuskysymyk- set valittiin kartoittamaan samoja teemoja muil- ta osin, mutta etäpalveluiden toimivuutta ja työ- tilojen viihtyisyyttä ei arviointikysymyksissä otet- tu esille. Etäkäyttö tapahtuu sairaalan koneilla ja verkossa, eikä yliopiston kirjastolla ole mahdol- lisuutta vaikuttaa tekniikan toimivuuteen tai ko- neiden laatuun sairaalassa.
Organisaatiomuutos muutti kysymyksenasettelua
Vaikuttavuustutkimus aloitettiin vuoden 2006 alussa. Toukokuussa 2006 tuli tieto, että TAYS lakkauttaa oman lääketieteellisen kirjastonsa toi- minnan saman vuoden lopussa. Kirjastopalvelui- den turvaamiseksi käynnistettiin heti neuvotte- lut palveluiden ostamisesta Tampereen yliopistol- ta ja vuoden 2006 lopussa solmittiinkin sopimus.
Sen mukaan sairaala ostaa palvelut vuoden 2007 alusta alkaen Tampereen yliopiston kirjastolta ja lähipalvelut yliopiston kirjaston Terveystieteiden osastolta (Tertio). Organisaatiomuutos astui voi- maan esitutkimuksen valmistumisen jälkeen.
Organisaatiomuutoksen vuoksi muun muassa internet-käyttöliittymät muuttuivat. Asiakkaat kokivat tämän hämmentävänä. Yliopiston elekt- roniset kokoelmat ovat huomattavasti suurem- mat, mikä vaikeutti jonkin verran tuttujen omi- en alojen elektronisten lehtien löytymistä.
Kun organisaatiomuutoksesta oli kulunut noin vuosi, teki Tertio TAYS:n henkilökunnalle seu- rantakyselyn, jolla haluttiin kartoittaa, miten asi- akkaat olivat löytäneet ensimmäisenä vuonna yli- opiston kirjaston palvelut ja millaisina he koki- vat palveluiden käytön, saatavuuden, laadun ja vaikuttavuuden.
Kyselyssä sovellettiin edellä mainittua esitutki- musta, jossa oli käynyt ilmi, että sähköisiin pal- veluihin oli jo sairaalan kirjastossa sopeuduttu hyvin (Kohta, Laura 2007). Nyt haluttiin selvit- tää, oliko organisaatiomuutos vaikuttanut palve- luiden käyttöön.
Seurantakyselyn toteutus
Kysely toteutettiin verkkokyselynä, joka oli avoin- na 18.12.07 – 18.1.08. Lomakelinkki lähetettiin sähköpostitse koko TAYS:n henkilökunnalle ja se löytyi myös kirjaston verkkosivulta. Kysymykset olivat jaettavissa kolmeen ryhmään: kirjastoasi- ointi, palvelujen tärkeys ja onnistuminen niissä sekä vaikuttavuusarviointi. Lisäksi vastaajilla oli mahdollisuus antaa myös avointa palautetta kir- jastopalvelujen vaikutuksista.
Vaikuttavuuskysymykset ovat jaettavissa kark- easti kahteen pääryhmään: kysymyksiin, joissa pyydettiin arvioimaan kirjaston aineistojen vai- kuttavuutta työhön sekä kysymyksiin, joissa pyydettiin arvioimaan kirjaston tarjoamien ai- neistojen vaikuttavuutta kehittymiseen.
Taulukko 1: Vaikuttavuus työhön ja kehittymiseen.
Väittämät 1, 3, 4, 9 ja 10 mittasivat kirjastopal- veluiden vaikuttavuutta vastaajan omaan työhön, tutkimukseen tai työtapoihin. Väittämät olivat:
Helpottaneet tarvitsemieni aineistojen löytymistä, Helpottaneet oman alani seuraamista, Edistäneet tutkimustyötäni, Nopeuttaneet työskentelyäni ja Pa- rantaneet työskentelyni laatua.
Väittämät 2, 5, 6, 7 ja 8 mittasivat kirjastopalve- luiden vaikutusta vastaajan omaan kehittymiseen ja informaatiolukutaidon lisääntymiseen. Väittä- mät olivat: Lisänneet tarpeellisten tai kiinnostavien aineistojen tuntemusta, Antaneet valmiuksia oma- toimiseen tiedonhankintaan, Auttaneet arvioimaan omia tiedonhakutaitoja, Kehittäneet lähdekriittisyyt- tä ja Mahdollistaneet itseni kehittämisen.
Vaikuttavuus omaan työskentelyyn oli helppo arvioida
Kirjastopalveluiden vaikuttavuutta omaan työs- kentelyyn oli helpompi arvioida kuin vaikutta- vuutta omaan kehittymiseen ja informaatiolu- kutaidon lisääntymiseen. Omaan työhön liitty- viin kysymyksiin saattoi kuvitella konkreettisen mittarin kuten kirjallisuuden hakemiseen käyte- tyn ajan vähentyminen.
Vähiten vastauksia (151 kpl) saatiin väittä- mään Edistäneet tutkimustyötäni. Vähäiseen vas- tausmäärään vaikutti ehkä se, että kaikki vastaa- jat eivät ole kirjastopalveluiden käyttäjiä vaan te-
kevät käytännön hoito- tai tutkimustyötä labo- ratorioissa, ja yhteys kirjastopalveluihin on kau- kainen tai sitä ei ole ollenkaan. Sana tutkimus- työ olisi vaatinut kyselyssä täsmennystä, kos- ka sairaalassa tehdään muutakin tutkimustyötä kuin kirjallista.
Väittämän Helpottaneet tarvitsemieni aineis- tojen löytymistä vastausten jakauma erosi selväs- ti muista. Siihen 71,6 % vastasi melko paljon tai huomattavasti. Positiivisten vastausten suuri mää- rä oli yllättävä, kun peilaa sitä kritiikkiin, joka kohdistui nimenomaan e-aineistojen löytymisen ja käytettävyyden vaikeuteen.
Vaikuttavuus omaan kehittymiseen oli vaikea arvioida
Väittämissä, joissa pyydettiin arvioimaan vaikut- tavuutta omaan kehittymiseen tai informaatiolu- kutaidon lisääntymiseen, oli vähemmän huomat- tavasti-vastauksia kuin ensimmäisessä ryhmässä.
Ei lainkaan ja Hyvin vähän -vastauksia näyttäi- si tässä ryhmässä olevan enemmän, mitä selittä- nee lääkäreiden ja tutkijoiden ammatin vaatima korkea lähtötaso.
Väittämään Kehittäneet lähdekriittisyyttäni tuli toiseksi vähiten (155 kpl) vastauksia. Niistä 40,6
% vastasi jonkin verran ja 41,3 % ei lainkaan tai hyvin vähän. Siis vain 18,1 % vastasi melko paljon tai huomattavasti. Termi lähdekriittisyys ei ehkä
ole selvä tavalliselle kirjastokäyttäjälle ja olisi vaa- tinut täsmennystä. Toisaalta lääkäreiden ja tutki- joiden ammatti vaatii lähdekriittisyyttä jo oletus- arvoisesti, joten lähtötaso oli korkea. Valmiiksi hyvää on vaikeampi kehittää.
Vaikea arvioida vaikuttavuutta
Asiakkaat kokivat kirjastopalveluiden vaikutta- vuuden arvioimisen vapaiden kommenttien pe- rusteella selvästi vaikeaksi. Sairaalan kyselyissä on perinteisesti kysytty tyytyväisyyttä nyt ja ar- vioita tilanteen huononemisesta tai paranemises- ta. Lisäksi monia vastauksia varjosti tyytymättö- myys kirjaston sijaintiin ja siksi kritisoitiin kir- jaston onnistumista niilläkin alueilla, joihin si- jainti tai sairaalan oman kirjaston lakkauttami- nen eivät vaikuta.Kysely lähetettiin koko sairaalan henkilökun- nalle sähköpostilla. Koska kirjaston lakkauttami- nen oli ollut pitkin vuotta usein esillä henkilös- tölehdessä ja klinikkakokouksissa, herätti kysely mielenkiintoa, ja siihen vastattiinkin heti kyse- lyn lähettämisen jälkeen runsaasti. Jakelutavasta johtuen kyselyyn oli helppo vastata myös niiden, jotka eivät kirjastoa käytä lainkaan tai joiden työ on sen laatuista, että kirjastopalveluiden vaikutta- vuutta heidän työhönsä on vaikea arvioida.
Koska vaikuttavuusarviokysymyksissä ei ollut en ole käyttänyt palvelua -vaihtoehtoa, ohjautui- vat vastaukset vaihtoehtoon, että vaikutusta ei ole lainkaan. Tämä vääristi ehkä jonkin verran vasta- usten jakaumaa. Jos kysely olisi pystytty osoitta- maan ainoastaan kliinistä työtä tai tutkimustyötä tekeville sekä työnsä ohessa opiskeleville, olisivat vastaukset olleet varmasti toisenlaiset.
Koko henkilökunnalle osoitettu kysely tilan- teessa, jossa oli juuri jouduttu luopumaan omas- ta kirjastosta ja vallalla oli paljon tietämättömyyt- tä ja vääriä käsityksiä, se ei ehkä tuottanut luotet- tavaa tietoa kirjaston vaikuttavuudesta.
Mitä opimme?
Vaikuttavuusarviokyselyssä olisi tehtävä selkeäs- ti ero, halutaanko tietoa palvelua tuottavan or-
ganisaation vaikuttavuudesta toiseen organisaati- oon kokonaisuutena vai vaikuttavuudesta nimen- omaan palveluita käyttävien ja tarvitsevien työ- hön. Sairaala organisaationa on heterogeeninen ja vain osa henkilökunnasta käyttää kirjastopal- veluita. Olisi hyvä, jos vaikuttavuusarviokyselyn voisi kohdentaa vain palveluita käyttäville. Näin vaikuttavuutta voisi arvioida luotettavammin.
Jos kysely olisi saatavissa vain kirjaston www- sivuilla, eikä sitä lähetettäisi koko henkilökunnal- le, saisi luotettavamman tuloksen. Toisaalta pal- veluita käytetään myös suoraan kirjanmerkeistä, joten kaikki käyttäjät eivät koskaan käytä kirjas- ton palveluita kirjaston sivujen kautta. On vaikea keksiä tapa, jolla saavutettaisiin mahdollisimman suuri joukko käyttäjiä ja mahdollisimman pieni joukko ei-käyttäjiä.
Tässä kyselyssä kysyttiin kyllä aluksi, käyttää- kö kirjaston palveluita lainkaan tai käykö kirjas- tossa, mutta ristiintaulukointia vaikuttavuusky- symyksiin ei tehty. Ristiintaulukoinnilla ehkä oli- si voinut selvittää ei-käyttäjien vaikutus loppu- tulokseen. Tulevissa seurantakyselyissä vaikutta- vuuskysymyksiin on lisättävä vaihtoehto en käy- tä palvelua.
Sairaalakirjasto nopeuttaa työskentelyä, nostaa laatua ja edistää tutkimustyötä
Ottaen huomioon vastanneiden laajan kirjon, olivat kyselyn vaikuttavuusosion tulokset silti erittäin ilahduttavia. Lähes 72 % vastaajista ko- ki, että kirjasto on helpottanut tarvittujen aineis- tojen löytymistä. Lähes puolet vastaajista katsoi, että kirjastopalvelut ovat vaikuttaneet melko pal- jon tai huomattavasti työskentelyn nopeutumi- seen (46,8 %) ja työskentelyn laadun parantumi- seen uskoi myös lähes puolet vastaajista (43,7 %).
Yli puolet (54,4 %) vastanneista koki, että kirjas- topalvelut ovat edistäneet tutkimustyötä.
Luotettavan tuloksen saaminen kirjaston käy- töstä edellyttäisi, että vaikuttavuuskysely suun- nataan vain palveluiden käyttäjille eli kysely tar- jotaan esimerkiksi vain kirjaston sivuilla, jolloin
kaikki vastaajat ovat potentiaaleja käyttäjiä. Ky- selyn suuntaaminen koko organisaatiolle saattaa tuottaa tuloksiin kohinaa.
Kysely antoi samansuuntaisia tuloksia kuin vuonna 2006 tehty esitutkimus, joka oli koh- dennettu vain kirjaston käyttäjiin. Siinä haasta- tellut olivat hyvin tyytyväisiä kirjastosta saamaan- sa palveluun, pitivät henkilökuntaa palvelualttii- na ja palveluita laadukkaina. Molempien kyse- lyiden vastauksista voitiin todeta myös, että vas- taajien oli helpompi kuvailla ja mieltää kirjasto- palveluiden käyttöään ja sen vaikutuksia omaan työhönsä konkreettisella tasolla. Abstrakti kysy- mys ei tuottanut välttämättä abstraktia vastaus- ta, vaan vastaus kääntyi konkreettisiin yksittäis- esimerkkeihin.
Sairaalaorganisaatiossa kirjaston vaikuttavuutta pitäisi lähestyä etsimällä vaikutusketjuja ja koh- distaa huomio vastaajien omasta tiedonhankin- takäyttäytymisestä heidän työhönsä, esimerkiksi etsiä vastauksia kirjaston tarjoamien palveluiden käytön vaikutuksista potilaiden hoitoon.
Lisätietoa
Seurantakyselyn muiden osioiden tulokset ovat luettavissa Bulletiinin numerossa 1/2008 (Aho- la, Mervi ja Toivonen, Leena 2008).
Ahola, Mervi ja Toivonen, Leena: ”Kiitoksia hy- västä kokonaisuudesta” – asiakaskyselyn yhteen- veto. Bulletiini (2008) 1. Saatavilla: http://www.
uta.fi/laitokset/kirjasto/bulletiini/arkisto/2008/
artikkeli63.php
Kohta, Laura: Vaikuttavuusarviointi kirjaston käyttäjälähtöisen arvioinnin välineenä. Tapauk- sena Tampereen yliopistollisen sairaalan lääketie- teellinen kirjasto. Tampere: Tampereen yliopisto (2007). Saatavilla: http://tutkielmat.uta.fi/tut- kielma.phtml?id=16290]
Tietoa kirjoittajista:
Laura Kohta, Informaatikko Kauniaisten kaupunginkirjasto e-mail: laura.kohta@kauniainen.fi Mervi Ahola, Tietoasiantuntija Tampereen yliopistonkirjasto, Terveystieteiden osasto e-mail: mervi.ahola@uta.fi
&
