4
Tutkimuksen arviointi avaa kirjastoille uusia näköaloja
Maaria Harviainen & Maria Söderholm
Tutkimuksen arvioinnin merkitys yliopistojen yleisessä laadunarvioinnissa sekä kansainvälisen menestyksen ja yliopistojen rahanjaon kannalta on kasvanut.
Samalla kirjastoammattilaisille on auennut uusia mahdollisuuksia tuoda eri tie- teenalojen julkaisukulttuureihin ja bibliometriikkaan liittyvää tietotaitoa ja tar- jota muita palveluita tutkimuksen arvioinnin tueksi. Jatkamme osaltamme tut- kimuksen arviointiin liittyvää keskustelua Signumissa esittelemällä STKS:n tut- kijapalvelutyöryhmän järjestämän seminaarin sisältöä ja sen meissä herättä- miä ajatuksia.
Moniulotteinen laatukäsitys tutkimuksen arvioinnissa
STKS:n uusin työryhmä, tutkijapalveluiden työryhmä, järjesti ensimmäisenä toimintavuote- naan, syksyllä 2011, seminaarin Tutkijat, kirjas- tot ja tutkimuksen arviointi.
Seminaarin ensimmäisen kokonaisuuden ai- heena oli ”Tiedepolitiikka ja tutkimuksen arvi- ointi”. Tampereen yliopiston tieteen-, teknolo- gian- ja innovaatiotutkimuksen yksikön tutki- musjohtaja Erkki Kaukosen kriittinen ja monita- hoinen esitys tutkimuksen arvioinnista tarjosi se- minaaripäivään erinomaisen taustoituksen. Kau- konen kannusti tarkastelemaan tutkimusta sup- pean akateemisen laadun lisäksi laajan ja moni- ulotteisen laadun käsitteen avulla.
- Akateeminen laatu on mitattavissa bibliogra- fisin menetelmin, jotka mittaavat laatua välillises- ti, totesi Kaukonen. Laaja laatu on tutkimukselli- sesti haastavaa ja vaikeammin mitattavissa, mutta huomioi tutkimuksen monimuotoisuuden ja tie- teenalojen erilaisuuden, joita Kaukonen puheen- vuorossaan toi monipuolisesti esille.
Pelkkä panos-tuotos-mittaaminen tai bibliog- rafisten menetelmien käyttö ei ole riittävää. On pureuduttava tutkimusprosessiin ja tutkimuk- sen tekemisen olosuhteisiin, huomioitava tutki- muksen erilaiset yleisöt ja yhteistyömuodot, jul-
kaisukulttuurien erot, kansainvälisyyden merki- tys ja toimintamuodot sekä kansallisen ja paikal- lisen merkitys ja yhteiskunnallinen vaikuttavuus.
Kaukosen esityksestä voi tehdä sen johtopää- töksen, että tutkimuksen arvioinnissa tulisi pyr- kiä tarkastelemaan kokonaislaatua ja tehdä arvi- ointia suhteuttaen se resursseihin ja tavoitteisiin.
Bibliometristen indikaattorien kehittelystä ja nii- hin perustuvista järjestelmistä ei tule kuitenkaan taloudellisistakaan syistä luopua. Tutkimuksen arviointi ja laatu eivät tosiaan ole yksiviivaisesti ymmärrettävissä tai tutkittavissa.
OKM:n tutkimuksen arviointihankkeet
Suomessa on meneillään useita hankkeita, jotka suoraan tai välillisesti liittyvät tutkimuksen ar- viointiin. Hankkeet ovat pääasiassa Opetus- ja kulttuuriministeriön (OKM) rahoittamia ja nii- den tavoitteena on tuottaa tietoa yliopistojen tut- kimustoiminnan määrästä, laadusta ja rakentees- ta. Hankkeet vaikuttavat suomalaiseen tiedepo- litiikkaan ja siten niiden tuntemus ja keskuste- lu niiden merkityksestä on tärkeää kirjastojen ja tietopalvelujen kannalta, mutta myös laajemmin suomalaisessa yhteiskunnassa.
Opetusneuvos Olli Poropudas kertoi tutki- muksen arvioinnista OKM:n näkökulmasta.
5
OKM:ssä on muutaman viime vuoden ajan val- misteltu tutkimuksen arviointia ja tehty sen taus- tatyötä JURE-projektin alaisuudessa erilaisissa työryhmissä. OKM:n hankkeista mm. kotimais- ten tieteellisten artikkelien metatietovaraston ke- hittäminen herätti seminaarissamme keskustelua.
OKM:llä on myös ehdotus yliopistojen rahoi- tusmalliksi, jossa julkaiseminen ja erityisesti kan- sainväliset vertaisarvioidut artikkelit painottui- sivat huomattavasti aiempaa enemmän. Julkai- suista saatava rahoitus nousisi noin 2 prosentis- ta 13 prosenttiin.
JUFO tuo järjestelmän tutkimuksen arviointiin
OKM:n rahoitusmallissa esitetään Julkaisufoo- rumihankkeessa (JUFO) tuotetun luokituksen käyttöä välineenä julkaisuista saatavan rahoituk- sen jaossa. Koordinaattori Otto Auranen Tie- teellisten seurain valtuuskunnasta kertoi JUFO- hankkeen vaiheista ja nykytilanteesta. JUFO- hankkeen tavoitteena on luoda järjestelmä tie- teellisen tutkimuksen arviointiin.
Arvioidut julkaisukanavat olivat tieteellisiä leh- tiä, sarjoja ja kirjakustantajia. Julkaisukanavien arvioinnin toteuttivat 23 tieteenalakohtaista pa- neelia, joiden jäseninä oli edustajia kunkin pa- neelin tieteenaloilta. Tieteelliset lehdet ja sarjat on arvioitu kolmelle eri tasolle siten, että tasol- la 1 ovat keskeisimmät kotimaiset ja ulkomaiset julkaisut. Tasolla 2 ovat johtavat tieteelliset jul- kaisut eri tieteenaloilla.
Ohjeessa todetaan, että tasolle luokitellaan vain kansainvälisiä tieteellisiä julkaisukanavia, joiden toimitus-, kirjoittaja- ja lukijakunta edustaa eri kansallisuuksia. Tasolle 3 paneelit ovat voineet nostaa kaikkein korkeatasoisimpina pitämiään tieteellisiä lehtiä ja sarjoja. Yliopistojen ehdotuk- sessa rahoitusmallista käytetäisiin luokkia 2 ja 3.
Kirjakustantajat luokiteltiin tasoille 1 ja 2.
Sekä Aurasen että Poropudaksen puheenvuo- roista kävi ilmi, että niin JUFO kuin tutkimus- tiedon keruuseen liittyvät järjestelmät ovat kehi- tysvaiheessa. Auranen korosti JUFO:n osalta si-
tä, että nyt on käyty vasta ensimmäinen kierros ja tulevaisuus näyttää, miten JUFO kehittyy.
Kirjasto mukana Helsingin yliopiston arviointihankkeessa
Seminaarin toinen sessio käsitteli kokemuksia tutkimuksen arvioinnista. Tieteiden välisten ero- jen, arvioinnin menetelmien ja organisaatioiden arvioinnille asettamien tavoitteiden yhteenso- vittamisen haasteista ja ratkaisuista seminaarissa kertoivat Aalto-yliopiston ja Helsingin yliopis- ton edustajat.
Arviointiyksikön päällikön Seppo Saaren mu- kaan Helsingin yliopiston tavoitteena oli rakentaa mahdollisimman ammattimainen arviointipro- sessi. Hankkeessa kirjasto otettiin vahvasti mu- kaan miettimään arvioinnin työkaluja. Helsingin yliopiston arviointihankkeessa tutkijat määritte- livät itse arvioitavan tutkimusyhteisön.
Tutkimusyhteisöjen tuli myös pohtia miten yh- teisön tutkimus asettuu tieteen kentällä ja valita 5 tätä kuvaavasta luokasta yhteisölle sopiva. Luo- kat olivat: 1. tutkimus on kansainvälistä terävää kärkeä, 2. tutkimus on erinomaista, mutta ei ole vielä saavuttanut tunnustettua asemaa, 3. tutki- mus edustaa tunnustettua erityistä tutkimusalaa, jonka erityispiirteet on huomioitava arvioinnis- sa, 4. tutkimus tekee alalla innovatiivisia avauk- sia ja 5. tutkimuksella on merkittävää yhteiskun- nallista vaikuttavuutta.
Paneelit, bibliografiset menetelmät ja vaihtoehtoiset analyysit
Paneelien tehtävänä oli arvioida vastaako tutki- jayhteisön toiminta valittua luokkaa. Bibliografi- sen mittaamisen rajoituksia ylitettiin käyttämällä viittausindeksien ohella muita tutkimustoimin- taa kuvaavia aineistoja.
Aineistona Helsingissä käytettiin yliopiston Tu- hat-tutkimustietojärjestelmää. Arvioitavia ryh- miä oli 136 ja arvioivia tieteenalakohtaisia panee- leja 5. Arviointi toteutettiin nk. meta-arviointi- na, jossa ulkopuoliset tieteelliset arviointipaneelit eivät lukeneet tieteellisiä julkaisuja, vaan tieteel-
6
lisestä toiminnasta tuotettiin heidän käyttöönsä tutkijayhteisöjä koskevaa bibliografista ja muuta tieteellistä aktiivisuutta koskevaa tietoa.
Maria Forsman kertoi tarkemmin arvioinnin prosessista ja menetelmistä kirjaston näkökul- masta. Tutkijat ovat esittäneet kritiikkiä bibliog- rafisia menetelmiä kohtaan ja arvostelleet Web of Science (WoS) ja Scopus tietokantoja siitä, että ne eivät anna oikeaa kuvaa eri alojen tutkimusjul- kaisemisesta. Helsingin yliopiston kirjasto pyrki- kin huomioimaan eri tieteenalojen erityispiirteet ja tutkimuksen tavoitteet. Kirjasto teki vaihtoeh- toisia analyysejä 66 sellaiselle tutkimusryhmälle, joiden julkaisutuotannosta WoS:iin perustunut analyysi ei taipunut.
Vaihtoehtoisissa analyyseissä tarkasteltiin yh- teistekijyyttä ja yhteistyötä kirjoittajien luku- määrien avulla. Julkaisun kielen avulla selvitet- tiin kansainvälisyyttä. Lehtien, kirjakustantaji- en ja konferenssien asemaa tieteen kentällä sel- vitettiin käyttämällä ulkomaisia ranking-listoja.
WoS:in perustuvan bibliografisen analyysin te- ki Leidenin yliopiston tutkimuslaitos (CWTS).
Aalto-yliopiston arviointihanke
Projektipäällikkö Antti Saaristo esitteli Aalto-yli- opiston vuoden 2009 tutkimuksen arviointipro- jektia. Arvioinnin bibliometrisen osion aineiston Aallossa muodosti WoS:iin indeksoidut tieteelli- set artikkelit. Tavoitteena oli mm. tunnistaa yli- opiston vahvuudet, tukea laatutietoisuutta laitok- sissa, selvittää alojen kansainvälinen taso ja arvi- oida menetelmien toimivuutta eri aloilla.Hanke toi esille myös kriittisiä arvioita biblio- metriikan ja mittareiden soveltuvuudesta eri aloil- le. Mittarit ja bibliometriikka saattavat kohdel- la tieteenaloja eriarvoisesti: Edes aloille normali- soidut indikaattorit eivät toimi, jos alalla tieteel- liset lehdet eivät ole merkittävä julkaisukanava tai käytetty indeksi ei kata alan lehtiä.
Bibliometriikka ja indikaattorit ovat yleensä sellaisia, että niiden asiallinen soveltaminen ja tulkinta edellyttävät arvioitavan alan tuntemusta.
Erityisesti monitieteinen julkaiseminen on haas-
teellista, sillä kaikki tutkimus ei näy WoS:ssa, eikä tiedetä kärsivätkö alat tästä arvioinnissa. Tieteen- alakohtaisten paneelien käyttö auttaa mittareiden tulkintahaasteiden ja rajallisuuden ylittämisessä.
Saariston esitys nosti esille kaksi pohtimisen arvoista seikkaa. Ensinnäkin on mietittävä halu- taanko arvioida mahdollisimman laajasti julkai- sutoimintaa vai keskitytäänkö arvioimaan jota- kin julkaisemisen muotoa. Toiseksi on pohditta- va miten kannustetaan ja millaisia kannustimien tulisi olla. Tutkijan näkökulmasta kriittinen kysy- mys on lisäksi kannattaako julkaiseminen kenties korkealle arvioiduissa kanavissa, jos käytävä kes- kustelu ei kuitenkaan hyödytä tutkijaa.
Kirjastot uusin tavoin tukemaan tutkimusta
Kehityspäällikkö Irma Pasanen kertoi Aalto-yli- opiston kirjaston kehittämästä julkaisuanalyy- sipalvelusta, jonka tavoitteena on tuottaa tietoa rekrytoinnin tueksi hakijoiden kirjoittamista jul- kaisuista. Kyseessä on esimerkki palvelusta, joka integroi kirjaston toimintaa yliopiston toimin- toihin ja vastaa kirjaston puolelta yliopiston tar- peeseen ammattimaistaa ja nopeuttaa rekrytoin- tiprosessia. Kirjasto tuottaa julkaisutiedoista yh- denmukaisen luettelon, jonka perusteella rekry- toinnista vastaavat tekevät hakijoista laadullisen arvioinnin.
Lopuksi kuultiin kolme puheenvuoroa kirjas- tojen uusista mahdollisuuksista tutkimuksen tu- kemiseen liittyvissä hankkeissa. Sessiossa esitel- tiin bibliometriikan käytön opetusta Terkossa, Oulun yliopistossa yhteistyössä kirjaston kans- sa kehitettyä Tutkimuksen tuki -sivustoa ja vas- ta perustettua Suomen yliopistokirjastojen neu- voston tutkimuksen tuen verkostoa.
Seminaari ja Suomessa meneillään olevat hank- keet osoittavat, että tutkimuksen arvioinnin mer- kitys tulee edelleen kasvamaan. Toivottavaa oli- si, että Suomessa hyödynnetään julkaisutoimin- nan arvioinnin asiantuntemus monipuolisesti ja luodaan eri tieteenalojen erityispiirteet huomioi- vat arvioinnin työkalut, mittarit ja prosessit. &
7
Tietoa kirjoittajista
Maaria Harviainen, informaatikko, Sibelius-Akatemian kirjasto Email. Maaria.harviainen@siba.fi Maria Söderholm, informaatikko
Aalto-yliopisto, Maankäyttötieteiden laitos Email. Maria.soderholm@aalto.fi
