Miten korkeakoulujen johto lukee tilastoja?
Kuopion yliopiston rehtorin Matti Uusituvan aiheena oli Miten tieteellisen kirjaston vaikut- tavuutta voidaan mitata. Esityksessään hän pai- notti että, tieteelliset kirjastot ovat oleellinen osa kansallista tutkimus- ja innovaatiojärjestel- mää. Siten niiden arvioinnissa taustavaikutta- jan ovat valtiovallan tekemät linjaukset tietoyh- teiskunnasta, kansallisesta tutkimusjärjestelmäs- tä korkeakouluverkostoineen ja niissä tapahtu- vat muutokset.
Uusituvan mukaan kirjastojen vaikuttavuu- den arvioinnissa on huomioitava muutokset nii- den toimintaympäristössä ja toimenkuvassa. Kir- jastojen asiantuntija- ja koulutusroolit korostu- vat. Kirjastot ovat ja tulevat olemaan olennainen osa luovaa oppimisympäristöä – osa opettamis- ja oppimisinfrastruktuuria.
Miten sitten pitäisi mitata tieteellisten kirjasto- jen vaikuttavuutta? Parhaimmat vaikuttavuuden mittarit kuvaavat koko tutkimusjärjestelmän toi-
Suuntana oikeiden asioiden mittaaminen
Sinikka Luokkanen & Jarmo Saarti
Tämänvuotisen STKS:n laatuseminaarin aiheena oli tilastotietojen hyödyntämi- nen kirjastojen toiminnan arvioinnissa. Aamupäivän aikana keskityttiin johdon ajatusten, tuntojen ja tarpeiden analysointiin. Esillä oli sekä tiede- että ammat- tikorkeakoulun rehtorien, opetusministeriön ja tutkimuslaitoksen johdon edus- tajien näkemykset tieteellisten kirjastojen arvioinnista. Iltapäivällä keskityttiin kirjasto- ja tietopalveluiden omaan näkökulmaan – mitä tieteellisten kirjastojen yhteistilastoon jo nyt kerätään, mihin kysymyksiin niillä tiedoilla voidaan vasta ja miten hyödyntää toiminnan arvioinnissa.
mintaa ja vaikuttavuutta. Lisäksi Uusituvan mu- kaan tarvitaan kansallisia arviointeja tavoitteiden saavuttamisesta.
Kvantitatiivista dataa kirjastojen toiminnasta kerätään, mutta niitä ei osata käyttää toiminnan arviointiin. Uusitupa painotti, että kansalliset tie- teellisten kirjastojen avainmittarit tulisi kirjasto- jen kehittää yhdessä, koska vain kirjastoissa on siihen tarvittava asiantuntemus. Lisäksi hän piti tärkeänä tilastotietojen oikeellisuutta ja vertailta- vuutta, jotta johto pystyy tekemään aikasarja- ja vertaisarviointeja luotettavasti.
Kolmea tärkeintä arviointimittaria kysyttäes- sä Uusitupa nosti esille asiakastyytyväisyyden, tarkentamalla sen vielä ydinasiakaskuntaan sekä benchmarking –arvioinnit toiminnan laadusta.
Aineistot, tietopalvelut ja toiminta laadun tekijöinä
Etelä-Karjalan ammattikorkeakoulun rehtorin Anneli Pirttilän aiheena oli ammattikorkeakou- lun kirjasto- ja tietopalveluiden toiminnan ja tu-
loksellisuuden arviointi. Hän keskittyi johdon näkökulmaan ja tiedontarpeisiin.
Pirttilä jakoi kirjastojen arvioinnin kahteen osaa: toiminnan laadun arviointiin ja toimin- nan tehokkuuden ja tuloksellisuuden arvioin- tiin. Hän painotti sitä, että toiminnan ohjauk- sen kannalta luotettavien, graafisesti esitettyjen vertailujen saaminen kerran vuodessa on johdol- le välttämätöntä.
Kirjasto- ja tietopalveluiden toiminnan laatua on Pirttilän mukaan tarpeen arvioida kolmes- ta näkökulmasta: aineistojen laatu, tietopalve- luiden laatu ja asiakaskyselyillä selvitettävä asi- akkaiden kokema toiminnan laatu. Sekä painet- tujen että elektronisten aineistojen laatua Pirtti- lä kuvaa niiden relevanssilla, ajantasaisuudella, saatavuudella sekä hankintapaikalla. Tietopalve- lujen laatu on hänestä informaatikon toimenku- vaan liittyvä muutos tiedonhakijasta neuvojak- si ja opastajaksi.
Kirjasto- ja tietopalveluiden toiminnan tehok- kuutta ja tuloksellisuutta Pirttilä arvioi kvantita- tiivisten mittareiden vertailuilla samanlaisiin kor- keakouluihin. Vertailut hän jakoi neljään ryh- mään: panostus kirjasto- ja tietopalvelutoimin- taan, henkilöstömäärä ja henkilöstön käytön te- hokkuus, aineistohankintavertailut ja kirjaston käyttövertailut. Kaikissa näissä vertailuissa Pirt- tilä käytti tieteellisten kirjastojen yhteistilaston tietoja ja tunnuslukuja.
Pirttilän käyttämät kriteerit/mittarit selviävät ohessa eri toiminnoittain:
Panostus kirjasto- ja tietopalveluihin:
• kokonaispanostus kirjasto- ja tietopalvelutoi- mintaan: mittarina kirjaston kokonaiskulut / ammattikorkeakoulun kokonaiskulut %
• panostus käyttäjää kohden: mittarina kirjas- ton kokonaiskulut (euro) / ammattikorkea- koulun opiskelijat ja henkilöstö
• ulkopuolisen rahoituksen määrä kokonaisku- luista: mittarina suoran budjettirahoituksen osuus koko rahoituksesta %
• kokonaispanostus kirjastoaineistoon: mittari-
na kirjastoaineistokulut / ammattikorkeakou- lun kokonaiskulut %
• panostus sähköiseen aineistoon: mittarina elektronisen aineiston hankintakulut / kir- jastoaineiston hankintakulut %
• Henkilöstömääriä ja henkilöstön käytön te- hokkuutta Pirttilä arvioi seuraavien tunnus- lukujen perusteella:
• henkilötyövuosia / kirjaton toimipiste
• kirjastohenkilökunnan määrä / kirjaston toi- mipiste
• kirjastohenkilökunnan määrä / ammattikor- keakouluopiskelija
• ammattikorkeakouluopiskelijoita / kirjaston henkilötyövuosi
Aineistohankinnat:
• painetun aineiston uusiutuminen: mittarina painetun kokoelman kartunta / painetut ko- koelmat yhteensä %
• ostetut monografiat / ammattikorkeakoulun opiskelijat ja henkilöstö
• saapuvat kausijulkaisut / ammattikorkeakou- lun opiskelijat ja henkilöstö
• elektroniset kausijulkaisut / ammattikorkea- koulun opiskelijat ja henkilöstö
Kirjaston käyttöä:
• lainat / ammattikorkeakoulun opiskelijat ja henkilökunta
• saadut kaukolainat ja jäljenteet / annetut kau- kolainat ja jäljenteet
• lainat / painetut kokoelmat yhteensä
• ammattikorkeakoulun aktiiviset lainaajat / kaikki aktiiviset lainaajat %
• kirjastokäynnit / ammattikorkeakoulun opis- kelijat ja henkilöstö
• asiakkaiden määrä tilastoryhmittäin; tilasto- ryhmät valtakunnallisen jaottelut mukaisesti (ei sellaisenaan käytössä tieteellisten kirjasto- jen yhteistilastossa)
• lainat ja uusinnat tilastoryhmittäin; tilasto- ryhmät valtakunnallisen jaottelut mukaisesti (ei sellaisenaan käytössä tieteellisten kirjasto-
jen yhteistilastossa)
• oman organisaation aineistotietokantaan teh- tyjen Internet-hakujen määrä tiettynä ajanjak- sona
Kolmea tärkeintä arviointimittaria kysyttäessä Pirttilä nosti puolestaan esille panostuksen (valta- kunnalliset vertailu), henkilöstön käytön tehok- kuuden ja sähköisen aineiston osuuden.
Miten mitata tuloksellisuutta?
Ylijohtaja Jarmo Hyrkkö Tilastokeskuksesta esit- ti kirjaston tuloksellisuuden mittaamisesta esi- merkkitapauksena Tilastokirjasto. Yhtenä ensim- mäisistä asioista Hyrkkö toi esille yleisen ongel- man markkinahinnattomien hyödykkeiden mit- taamisen vaikeudet.
Tilastokirjaston tuloksellisuutta tulee katsoa kehysorganisaationsa kautta. Tilastokeskus on ni- mennyt menestystekijöikseen yhteiskunnallisen vaikuttavuuden, asiakasvaikuttavuuden, voima-
varat ja tehokkuuden, prosessit ja rakenteet sekä uudistumisen ja hyvinvoinnin. Tuloksellisuuske- hikossa menestystekijät ovat mukana sekä laadun että tuloksellisuuden puolella.
Tilastokirjaston tuottavuusmittarissa maksulli- sen toiminnan osuus on 14 % ja budjettirahoit- teisen toiminnan (tietokannat, julkaisujen kä- sikirjoitukset, kirjastopalvelut, muut palvelut) 86 %. Budjettirahoitteisen toiminnan neljää osa- aluetta kuvataan kaikkiaan 16 indikaattorilla.
Silti on aiheellista kysyä mitä mitataan ja kuin- ka uudet palvelut ja toimintatavat otetaan huo- mioon? Hyrkön mukaan mitattavat asiat on mahdollista tunnistaa prosessikuvausten kaut- ta. Muuttuvan organisaation tuotoksen mittaa- miseen paras kuitenkin olisi muuttuvapainoinen ketjuindeksi (ks. kuva 1).
Aamupäivän viimeisessä esityksessä opetusneu- vos Hannele Hermunen opetusministeriöstä kä- vi läpi valtionhallinnon ja tarkemmin opetusmi- nisteriön ohjausjärjestelmiä sekä niiden säädös-
KOKONAISLAATU
Laadun osatekijät
Panosten laatu Tuotannon laatu
Järjestelmän laatu Tuotoksen laatu
Tarpeisiin vastaaminen Tarpeet Tavoitteet
Tulos Outcome Tuotos
Output Tuotanto
Production Panokset
Input Tuotannon-
tekijät Kustan-
nukset Kapasiteetti Suoritteet Vaikutukset Hyödyt Vaikuttavuus Reaaliset Taloudellisuus
Tuottavuus
TULOKSELLISUUS
vaikuttavat
Kuva 1. Tuloksellisuuskehikko (Lähde:Tilastokeskus, Julkisen toiminnan tuottavuustilastoinnin ke- hittämisprojektin loppuraportti)
pohjaa. Kirjastotoiminnan tavoitteet ovat Koulu- tuksen ja tutkimuksen kehittämissuunnitelmas- sa (Kesu 2003-2008). Opetusministeriön osalta Korkeakoulujen arviointineuvosto on tärkeäs- sä roolissa.
Varastokirjasto on ainoa suorassa OPM:n tulos- ohjauksessa oleva kirjasto. Sen tulossopimuksessa 2004-2006 on 3 tulosaluetta, jotka ovat tilan va- pautuminen muissa kirjastoissa, aineistokäsittely ja säilyttäminen ja kaukopalvelu. Lisäksi hän otti esille kuvassa 2. esitellyn valtion tuloksellisuuden peruskriteeristön, nk. tulosprisman, jossa talou- dellisuus, tuloksellisuus ja vaikuttavuus pyritään yhdistämään resurssiohjaukseen.
Tehdäänkö asiat oikein ja oikeat asiat?
VTT:n tietopalvelupäällikkö Kirsi Tuomisen ai- heena oli Tietopalvelutoiminnan tuotos – entäs sitten? VTT:n rakenne on muuttunut 2006 vuo- den alusta. Sen seurauksena tietopalvelut ei ole enää oma tulosyksikkönsä. Rakennemuutoksen
yhteydessä tietopalvelut on korostanut sitä, että se ei ole tukiprosessi vaan oleellinen osa VTT:n innovaatiojärjestelmää.
Tuominen jaotteli tuloksellisuuden mittaami- sen sisäiseen ja ulkoiseen tuloksellisuuteen. Sisäi- nen tuloksellisuus on sitä, että tehdään asiat oi- kein ja ulkoinen, että tehdään oikeita asioita.
Taloudellinen tulos – kuinka vastaamme omis- tajien taloudellisiin odotuksiin, asiakkaat ja pal- velut – kuinka tyydytämme asiakkaiden tarpeet, toimitapa – missä prosesseissa meidän tulee olla erinomaisia sekä henkilöstö ja osaaminen – saa- vuttaaksemme visiomme, miten varmistamme kysyn uudistua ja kehittyä ovat Tuomisen listaa- mat neljä strategista visiomittaria. Samalla niihin implisiittisesti sisältyy jo toiminnan vaikuttavuu- den arviointia.
Vaikuttavuuden mittaaminen pohjautuu aina organisaation strategiaan. Niinpä kirjasto- ja tie- topalveluiden vaikuttavuusarviointi on osa koko kehysorganisaation vaikuttavuusarviointia. Kun tietotyön tuottavuuden on nyt arvioitu olevan
Kuva 2. Valtion tuloksellisuuden peruskriteeristö (tulosprisma)
samalla tasolla kuin teollisuustyön tuottavuus oli 1900-luvun alussa, niin tietotyön sekä tuottavuu- den että vaikuttavuuden mittaamisen ja arvioin- nin tarve kasvaa.
Syvempään käsitykseen vaikuttavuudesta
Oulun yliopiston ylikirjastonhoitaja Päivi Kytö- mäen aiheena oli Riittääkö yhteistilasto vaikutta- vuuden arviointiin? Kytömäen ensimmäinen ky- symys oli se, että mitataanko yliopiston (kehysor- ganisaation) vai kirjaston vaikuttavuutta.
Oulun yliopiston kirjaston samoin kuin mo- nen muunkin kirjaston ja tietopalvelun tehtävänä on edistää ja/tai tukea oman kehysorganisaation- sa perustehtävää. Kytömäen johtopäätökseen, et- tä palveluyksikön (organisaation osan) vaikutta- vuutta on aina tarkasteltava kehysorganisaation missiosta, visiosta ja tavoitteista käsin ja siten osa- na koko organisaation vaikuttavuutta, olivat jo ai- emmat alustajat päätyneet hiukan toisistaan poik- keavin lähtökohdin. Yliopiston kirjaston tehtävä
”tukea myös yliopiston ulkopuolisen tieteellisen toiminnan, opiskelun, elinkeinoelämän ja kult- tuurin tiedonsaantia” on myös osa koko yliopis- ton kolmatta, yhteiskunnallista tehtävää.
Tieteellisten kirjastojen yhteistilastoon kerä- tään esimerkiksi kokoelmien osalta määrällisiä, mutta ei laadullisia tietoja. Vaikuttavuutta ei voi- da kuitenkaan arvioida vain määrällisistä tiedoista – laadullinen arviointi on välttämätöntä.
Oulun yliopiston kirjastossa on yhteistyöhank- keena menossa vaikuttavuuden arviointihanke.
Se on jatkoa aiemmin toteutetulle palvelujen laatu -tutkimukselle (ks. tästä Signum 6/2003).
Sen perusteella OYK:n asiakkaiden viisi tärkein- tä laadun osa-aluetta ovat asiakkaille välttämät- tömän informaation saatavilla olo, palveluiden suorittaminen niin kuin on luvattu, että kirjas- to tekee parhaansa asiakkaan ongelmien ratkai- semiseksi, palveluhalukkuus sekä virkailijoiden asiantuntemus.
Kytömäki totesi, että yhteistilasto ei riitä vai- kuttavuuden arviointiin. Kirjastojen yleisemmäs- sä palvelukyvyn arvioinnissa yhteistilaston tun- nusluvut ja aikasarjat ovat paljon käyttökelpoi- sempia.
Päivän aikana kirjastojen toiminnan arvioinnin monenlaiset haasteet nousivat esiin. Hyvin pit- källe voidaan olla sitä mieltä, että tieteellisten kir- jastojen nykyinen yhteistilasto ei siltään ole käyt- tökelpoinen arvioinnin välinen muiden kuin kir- jasto- ja tietopalveluissa päivittäin työskentelevi- en ammattilaisten käyttöön.
Alan yhteinen tavoite tulee olla ”toimialan tu- loksellisuuskehikon mittarikori”, jossa laatu-, vai- kuttavuus-, taloudellisuus- ja tuottavuustekijät ovat tasapainossa keskenään. Selväksi tuli myös se, että määrällisillä mittareilla voidaan antaa vain osakuva toiminnasta. Täydentämällä määrällistä mittausta laadullisilla menetelmillä, päästään sy- vemmälle vaikuttavuuden arvioinnissa.&
Tietoa kirjoittajista:
Sinikka Luokkanen, tietopalvelupäällikkö, Hämeen ammattikorkeakoulun kirjasto, email. sinikka.luokkanen@hamk.fi
Jarmo Saarti, kirjaston johtaja, Kuopion yliopiston kirjasto, email. jarmo.saarti@uku.fi
