11
Bibliometrisen analyysin arvo tunnistetaan
Maria Forsman & Anne Lehto
OKM, Tieteen tietotekniikan keskuksen ja Suomen yliopistokirjastojen neu- voston järjestämässä tänä syksynä järjestämässä seminaarissa käsiteltiin tutki- muksen arviointia, bibliometrisiä menetelmiä ja datan analyysin avaamia uusia mahdollisuuksia kirjastoille. Tilaisuudessa esiteltiin kansallisen tason suunni- telmia analyyseja tutkimuksen arvioinnissa. Bibliometrisen analyysin arvo tuli esille myös tieteen vaikuttavuuden ja tuottavuuden näkökulmasta. Kirjastojen kannalta kiinnostavaa on, että lähitulevaisuudessa CSC:n olisi mahdollista tuot- taa bibliometrisiä analyyseja. Yhteisseminaarin tärkeimpänä viestinä on kuiten- kin se, että yliopistojen kirjastot ovat jo bibliometrisen analyysin asiantuntijoita ja bibliometriikan arvo tutkimuksen arvioinnissa on tunnistettu myös kirjasto- jen ulkopuolella.
N
oin 150 bibliometriikasta ja tutkimuksen ar- vioinnista kiinnostunutta kokoontui Opetus- ja kulttuuriministeriön (OKM), Suomen yliopisto- kirjastojen neuvoston (SYN) ja CSC – Tieteen tietotekniikan keskuksen järjestämään seminaa- rin. Puolet osallistujista oli paikan päällä, puolet seurasi tilaisuutta verkon välityksellä. Mukana oli yliopistokirjastojen, IT-alan, tutkimushallinnon ja tutkimuksen asiantuntijoita.CSC datan analysoijana
Seminaarissa kuultiin esityksiä kansallisen tason suunnitelmista ja tehdyistä analyyseistä. OKM ja Suomen Akatemia (SA) esittelivät tänä syksynä ilmestyviä arviointejaan. CSC kertoi toiminnas- taan ja niistä mahdollisuuksista, joita sillä on tar- jota laajojen julkaisudata-aineistojen bibliometri- seen analysointiin; onhan heillä käytössä Thom- son Reutersilta hankittu Web of Science –raaka- data ja Elsevieriltä ostettu Scopus –raakadata. Da- taa, välineitä ja osaamista on, mutta toistaiseksi niitä ovat voineet käyttää vain OKM ja SA kus- tantajien lisenssirajoitusten takia.
Kiinnostava tieto oli se, että lähivuosina ehkä
myös yliopistot voivat hyödyntää näitä CSC:n tarjoamia mahdollisuuksia. Viime aikoina useat suomalaiset yliopistot (esim. Helsingin yliopisto, Oulun yliopisto ja Tampereen yliopistot) ovat ti- lanneet Web of Science (WoS)-tietokannan ai- neistoihin pohjautuvia, vaativia bibliometrisia analyyseja Leidenin yliopiston Centre for Scien- ce and Technology Studies (CWTS) –yksiköl- tä. Kansallisesti olisi erittäin tervetullutta luoda CSC:lle sellainen toimintamalli, jolla se pystyi- si tuottamaan bibliometrisia analyysejä myös yli- opistojen sisäisiin tarpeisiin.
Yliopistokirjastot ovat
bibliometriikan asiantuntijoita
Yliopistokirjastot ovat viime vuosina tulleet mer- kittäviksi tekijöiksi bibliometriikan alalla. Kirjas- toissa on tietokantojen – niiden vahvuuksien ja heikkouksien – tuntemusta. Yhä merkittäväm- pänä nähdään myös julkaisutiedonkeruun laa- dun varmistus, josta kirjastot ovat useissa yliopis- toissa vastanneet jo vuosia. Lähtödatan on olta- va kunnossa, jotta bibliometriikkaa voidaan luo- tettavasti hyödyntää.Signum 5/2014
12
Bibliometrista osaamista yliopistokirjastoissa on kartutettu monin keinoin. Jotkut ovat saaneet informaatiotutkimuksen opintojen aikana bib- liometriikan peruskoulutusta, ja useammat ovat hankkineet sitä työnsä ohessa nyt, kun sitä on kysytty ja tarvittu. SYN:n tutkimuksen tuen oh- jausryhmän puheenjohtaja Päivi Kytömäki esit- teli ryhmän tätä seminaaria varten tekemän ky- selyn tuloksia. Ilmeni, että kaikissa yliopistokir- jastoissa tarjotaan bibliometrisia palveluja ja et- tä useat ovat olleet mukana koko yliopistotason laajoissa tutkimuksen arviointihankkeissa. Näitä ovat Aalto-yliopisto, Helsingin yliopisto, Oulun yliopisto, Tampereen yliopisto ja Tampereen tek- nillinen yliopisto. Lisäksi Turun yliopisto on nyt aloittelemassa arviointia.
Yliopistojen välisen vertailun ongelmat
Yliopistojen viimeaikaisten tutkimusten arvioin- tien tuloksia ei voida keskenään vertailla, koska toisaalta niiden lähtökohdat ja tavoitteet ja toi- saalta näistä johdetut menetelmät ovat erilaisia.
Tämä seikka tuli esiin Tampereen yliopiston Tie- don, tieteen, teknologian ja innovaatioiden tut- kimuskeskuksen (TaSTi) tekemässä selvitykses- sä, jota esitteli tutkija Pia Vuolanto. Sama käsi- tys on muodostunut varmasti jokaiselle, joka on tutustunut maamme yliopistojen tutkimusten arviointien raportteihin. Yhteisenä elementti- nä useimmissa yliopistojen arvioinneissa on kui- tenkin pääsääntöisesti ollut kolmiosainen raken- ne: itsearvioinnit, bibliometriset analyysit ja ul- kopuolisen paneelin suorittama vertaisarviointi.
Bibliometriikkaa hyödynnetään jo nyt korkea- koulujen ja tiedelaitosten tuotosten arvioinnis- sa. Seminaarin esitysten (ks. esim. OKM, CSC ja SA) perusteella on ilmeistä, että se tulee vielä lisääntymään. Jo lähivuosina OKM:n nykyisin eräajona päivittyvä julkaisutiedonkeruu Julkaisu- portaali JUULIin (juuli.fi) pyritään saamaan vir- taistettua lähes reaaliaikaisiksi. JUULIin on tar- koitus kerätä jatkossa myös sektoritutkimuslai- tosten ja sairaanhoitopiirien julkaisutiedot. Jul-
kaisutiedonkeruun täsmällisyys voi lisäksi mer- kittävästi tehostua, jos tutkijoiden identifiointi (esim. ORCID) saataisiin osaksi organisaatioi- den tietojärjestelmiä siten, että tiedonkeruu ole- massa olevista tietokannoista voitaisiin automa- tisoida nykyistä pidemmälle.
Menetelmät ja lähdeaineistot taka- alalla tutkimuksessa
Erilaiset yliopistojen ja tieteenalojen tutkimusten arvioinnit ovat osoittaneet, että arvioinneissa va- litut arviointiasetelmat (esim. affiliaatioperustai- nen tai väestönlaskentaan pohjautuva), menetel- mät (esim. ositettu tai osittamaton laskenta) se- kä lähdeaineistojen sisältö (esim. mitkä viittaus- indeksit WoSista ovat mukana raakadatassa) vai- kuttavat olennaisesti niissä saatuihin tuloksiin.
Kansainvälisten viittaustietokantojen sisällön painottuminen angloamerikkalaisiin artikkeliai- neistoihin luonnontieteellisille aloille on niin ikään tärkeää pitää mielessä silloin, kun niitä hyö- dynnetään kaikkien tieteenalojen tutkimusjulkai- sujen arvioinnin välineinä. Tähän tarpeeseen on luotu kotimainen Julkaisufoorumiluokitus, jon- ka avulla voidaan tarkastella tieteellisten lehtien tai kustantajien saamaa luokitustasoa, jonka pi- täisi indikoida julkaisufoorumin laatua.
Tutkimuksen vaikuttavuus ja tuottavuus esiin
Olli Poropudas (OKM) esitteli OKM:n profii- lityöryhmän raporttiluonnosta, joka käsittelee suomalaisen yliopistotutkimuksen tuottavuut- ta ja vaikuttavuutta. Raportissa on mm. lasket- tu bibliometrisia indikaattoreita WoS:n raakada- tan perusteella. WoS kattaa eri alojen julkaisu- tuotannosta hyvin erilaisia osuuksia, mikä olisi lopullisessa raportissa hyvä tuoda selkeästi esiin.
Raportissa on kansainvälisen käytännön mu- kaisesti käytetty esim. 50 osittamattoman jul- kaisun alarajaa tulosten tarkastelussa, mutta kai- ken kaikkiaan olisi kiinnostava tietää, missä mää- rin suomalaisten yliopistojen tuotoksia voidaan arvioida WoS-datan perusteella. Tulosten yhtey- Signum 5/2014
13
dessä olisikin metodisesti ilahduttavaa saada tie- toa sovelletun menetelmän kattavuudesta koko- naistuotokseen nähden, ts. prosenttiosuudet sii- tä, kuinka suuri osa kyseisen yliopiston tai tie- teenalan tieteellisestä julkaisutuotannosta WoS kattaa (ns. external coverage).
Lähdeaineistojen kattavuuteen liittyen semi- naarissa tuli esiin myös, että profiilityöryhmän ra- porttiluonnoksessakin hyödynnetty CSC:lle han- kittu raakadata ei sisällä lainkaan WoS:in Con- ference Proceedings Citation Index –osiota eikä myöskään Book Citation –aineistoa. Joissakin ai- emmissa raporteissa konferenssiosio on ollut mu- kana. Tällaisesta lähdeaineistoa koskevasta olen- naisesta seikasta tulisi kertoa menetelmäkuvauk- sessa, jotta raportin lukija tai päättäjä voisi ottaa asian huomioon arvioidessaan tuloksia. Konfe- renssijulkaisut ja kirjat ovat joillakin tieteenaloil- la tärkeimpiä julkaisukanavia.
Bibliometriikasta tekstinlouhintaan?
Seminaarin ehkä uusinta tulokulmaa edus- ti VTT:n esitys, joka käsitteli tekstinlouhinnan mahdollisuuksia julkaisutuotosten analysoinnin välineenä. Taustalla on ajatus, että bibliomet- riset indikaattorit ovat rajoittuneita, koska nii- den avulla ei päästä käsiksi julkaisujen varsinai- siin sisältöihin.
Bibliometriikka voidaan nähdä yrityksenä mi- tata tietoa, mutta tieto on ”intangible” - se ei ole mitattavissa. Suurten julkaisudata-aineistojen si- sällön analysointi tekstinlouhinnan keinoin voisi tulevaisuudessa tuottaa nykyistä monipuolisem- paa tietoa tutkimuksemme tuotoksista, ja tulok- set olisivat riippumattomia nykyisistä valmiiksi asetetuista kategorisoinneista, joiden taakse to- dennäköisesti kätkeytyy monenlaisia kiinnosta- via ilmiöitä. Tulevaisuus näyttää, miten pian täl- laisia menetelmiä voidaan laajemmin hyödyntää.
Bibliometriikan monitoimijaisuus
Tämä seminaari oli ensimmäinen laatuaan eri- laisten toimijoiden yhteen kokoajana. Nyt kes-kityttiin paljolti viittausanalyyseihin tutkimuk- sen arvioinnissa, mutta lopuksi tutkijan puheen- vuoroissa nostettiin esiin myös muita mahdolli- suuksia. Ja mikä on tärkeää: muistutettiin tie- teenalojen erilaisuudesta. Se mikä sopii loista- vasti lääketieteeseen, ei sovikaan kirjallisuuden- tutkimukseen.
Tutkijoiden puheenvuorot käyttivät Arto Mus- tajoki (HY) ja Tomi Mäkelä (HY), jotka edustivat erilaisia tieteenaloja ja tutkimuskulttuureja. Mo- lemmista puheenvuoroista kävi ilmi se, että tie- teenalasta riippumatta tutkijalle tärkeää on teh- dä hyvää tutkimusta, jota muut tutkijat lukevat ja käyttävät. Mustajoki tiivisti sanomansa: tutki- ja on yrittäjä.
Jos rahanjakomallit ovat yliopistotasolla tärkei- tä, yksittäiselle tutkijalle se saattaa olla aika kau- kana arkipäivän työstä – tiedon etsinnästä ja uu- den tiedon tuottamisesta.
Seminaari herätti vilkasta keskustelua ja pal- jon myös kysymyksiä. Se myös saattoi yhteen eri asiantuntijaryhmien edustajia ja toivottavasti li- säsi keskinäistä ymmärrystä ja toistensa osaami- sen arvostamista. &
Seminaarin ohjelma ja esitykset löytyvät täältä https://confluence.csc.fi/display/tutki/Bibliometriikk a+ja+tutkimuksen+arviointi+-seminaari+7.10.2014 Mustajoki, Arto (2014). Tutkija on yrittäjä. Blogi- kirjoitus 8.10.2014. http://blogs.helsinki.fi/musta- jok/2014/10/08/tutkija-on-yrittaja/
Suomen Akatemian Tieteen tila 2014
http://www.aka.fi/fi/A/Paatokset-ja-vaikutukset/Tie- teen-tila/Tieteen-tila-2014/
Tietoa kirjoittajista
Kirjoittajat ovat Suomen yliopistokirjastojen neu- voston tutkimuksen tuen ohjausryhmän jäseniä.
Maria Forsman, johtava tietoasiantuntija Helsingin yliopiston kirjasto
Email: maria.forsman@helsinki.fi Anne Lehto, palvelupäällikkö Tampereen yliopiston kirjasto Email: anne.m.lehto@uta.fi
Signum 5/2014
