66 TIETEESSÄ TAPAHTUU 3 2019 KIRJALLISUUS
Mitä kaikkien tulee tietää tieteen ja julkaisujen mittaamisesta
Maria Forsman: Julkaisut ja tie- teen mittaaminen: bibliomet- riikan käännekohtia. Enosto- ne 2016.
Cassidy R. Sugimoto ja Vincent Larivière: Measuring research:
what everyone needs to know.
Oxford University Press 2018.
Kiinnostus tieteen mittaamiseen ja tutkimuksen arviointiin on kasva- nut 2000-luvulla, kun tieteen tu- loksellisuudesta ja näkyvyydestä on tullut yhä keskeisempi tutki- musrahoitukseen vaikuttava te- kijä. Aineistojen ja työkalujen di- gitalisoituminen on helpottanut mittaamista, mutta toisaalta herät- tänyt kysymyksiä esimerkiksi mit- tarien vastuullisesta käytöstä ja soveltuvuudesta. Mittaamisessa hyödynnettyjen työkalujen käyttö ja tulosten tulkinta vaativat asian- tuntemusta, jonka puute voi joh- taa virheratkaisuihin.
Maria Forsmanin Julkaisut ja tieteen mittaaminen (2016) ja Cas- sidy R. Sugimoton ja Vincent Lari- vièren Measuring research (2018) ovat mainioita käsikirjoja lukijoil- le, jotka haluavat perehtyä tieteen mittaamiseen. Teoksissa on sekä yhtäläisyyksiä että eroja, minkä vuoksi niitä on kiinnostavaa lukea rinnakkain. Melkeinpä toivoisi, että kaikki (biblio)metriikan kanssa te- kemisissä olevat tutustuisivat ky- seisten teosten esittelemiin perus- asioihin. ”What everyone needs to know”, kuten Sugimoton ja Lari- vièren teoksen alaotsikkokin kuu- luu. Kumpikin teos luo katsauk sen tieteen mittaamisen historiaan, peruskäsitteisiin ja menetelmiin
sekä mittaamiseen liittyviin rajoi- tuksiin.
Peruskäsitteistä kiinnostu- neen kannattaa tarttua kumpaan- kin teokseen. Forsman käsittelee yksityiskohtaisemmin esimerkik- si yliopistorankingeja ja näkyvyys- palveluja, kuten tutkijatunnisteita, Google Scholaria, AcademiaEdua ja Mendeleyta. Sugimoto ja Lari- vière kirjoittavat puolestaan kat- tavammin erilaisista vaikuttavuus- kertoimista. Läpi käydään muun muassa käsitteet Journal Impact Factor, Eigenfactor Score, SNIP, SCImago journal rank, CiteScore ja h-indeksi – joista osa toki esiin- tyy myös Forsmanilla.
Tieteen mittaamisen keskei- set tiedonlähteet eli viittaustieto- kannat Web of Science, Scopus ja Google Scholar citations ovat esil- lä sekä Forsmanilla että Sugimo- tolla ja Larivièrella. Kirjoittajat va- roittavat, ettei viittaustietokantoja tulisi käyttää ymmärtämättä niiden rajoitteita ja mahdollisuuksia. Su- gimoto ja Larivière kuvaavat kun- kin tietokannan kehitystä varsin yksityiskohtaisesti, samoin tieto- kantojen eroja ja rajoitteita. Goog- le Scholar soveltuu esimerkik- si vain yksilötason bibliometrisiin analyyseihin ja siihenkin varauk- sella. Scopus on humanististen ja yhteiskuntatieteellisten tieteen- alojen näkökulmasta kattavampi kuin Web of Science, mutta ylei- sesti heikompi historiallisissa ana- lyyseissa. Web of Science taas ei sovellut yksilötason metriikkaan il- man yksiselitteistämistä.
Sugimoto ja Larivière lähesty- vät tieteen mittaamiseen liittyviä menetelmiä hiukan eri tavoin kuin Forsman. Sugimotolla ja Lariviè- rella menetelmät käsitellään ky- symyksien kautta: kuinka voidaan mitata tekijyyttä, tutkimustuotok- sia, yhteistyötä, tieteidenvälisyyttä ja vaikuttavuutta. Viittausanalyy- sia ja vaikuttavuuskertoimia esitel- lään varsin laajasti. Forsman puo- lestaan nimeää menetelmät ja käy ne lävitse yksi kerrallaan. Lähde- analyysi, viittausanalyysi, yhteis- sana-analyysi ja diffuusioanalyy- si saavat kukin oman esittelynsä.
Kummassakin lähestymistavassa on etunsa asiaan perehtyvän nä- kökulmasta. Sugimoton ja Lariviè- ren kirjasta on helppo etsiä mah- dollista menetelmää eri tilanteisiin, Forsmanin teoksesta voi taas tar- kistaa, mitä milläkin menetelmällä saadaan aikaan.
Sugimoto ja Larivière pysytte- levät käsittelyssään globaalilla län- simaisella tasolla. Forsmanin teos tarjoaa sen sijaan kokonaiskuvan erityisesti kotimaisen ja pohjois- maisen bibliometriikan kehitykses- tä. Teoksessa esitellään kotimaista akateemista tutkimusta, tutkimus- hallinnossa ja yliopistokirjastois- sa tehtävää bibliometriikkatyötä ja kuvaillaan kotimaisen Julkaisufoo- rumi-indikaattorin taustaa. Kirjan lopussa oleva listaus käännekoh- dista ja virstanpylväistä avaa luki- jalle ilahduttavan havainnollisen kokonaiskuvan bibliometriikan ja julkaisemisen historiaan.
Sekä Forsman että Sugimoto ja Larivière käsittelevät altmetriik- kaa, joka on kehittynyt 2010-luvul- la vastavoimaksi perinteisille mit- tausmenetelmille, joita on syytetty esimerkiksi hitaudesta ja tieteen- alojen julkaisukulttuurien erityis- piirteiden sivuuttamisesta. Alt- metriikan (alternative, article level bibliometrics) tavoitteena on mi- tata tieteestä verkossa käytävää keskustelua. Sugimoto ja Lariviè- re vertailevat eräitä kirjan kirjoit- tamishetkellä keskeisiä altmetrii- kan työkaluja ja analysoivat niiden pohjalta yleisemmin altmetriikan vahvuuksia ja heikkouksia. Altmet- riikan selkeitä etuja ovat nopeus sekä tieteen tuotannon ja käytön monipuolisempi huomiointi. Aiem- min näkymättömiin jäänyttä vuoro- vaikutusta on mahdollista tarkas- tella ja tehdä paremmin näkyväksi.
Toisaalta varhaiset analyysit osoit- tavat, että altmetriikka kuvaa pi- kemminkin tutkimuksen saamaa huomiota eikä niinkään varsinaista vaikuttavuutta. Verkkotiedonläh- teiden heterogeenisyyden vuok- si tasalaatuisia indikaattoreita on vaikea rakentaa. Myöskään tietei- denvälisten erojen huomioimiseen altmetriikka ei tarjoa oikotietä.
TIETEESSÄ TAPAHTUU 3 2019 67 KIRJALLISUUS
Forsman huomauttaa, että altmet- riikka vaikuttaa toimivan toistai- seksi parhaiten samoilla tieteen- aloilla kuin viittausanalyysikin.
Kummassakin teoksessa kiin- nitetään huomiota siihen, että vä- lineiden käytön helppous saattaa johtaa yksinkertaistaviin ratkai- suihin, joissa analyysien tuloksia tulkitaan huomioimatta riittävästi datan laatua, kattavuutta ja oikeel- lisuutta sekä tieteenalojen julkai- sukulttuurien eroja. Forsman to- teaa, että väärät johtopäätökset voivat pahimmassa tapauksessa johtaa oppiaineiden ja tiedekun- tien lakkauttamiseen tai irtisa- nomisiin. Ei siis todellakaan ole yhdentekevää, miten tuloksia tul- kitaan. Bibliometriikan käyttöön liittyviä ohjeita ja suosituksia on lukuisia. Forsman kuvaa yhtä kan- sainvälisesti tunnetuimmista julki- lausumista eli Leidenin manifes- tia. Suomessa metriikan käyttöön opastaa esimerkiksi Julkaisufooru- min käyttöohje, lisäksi tekeillä on suositukset metriikan vastuullises- ta käytöstä ja tutkijan vastuullises- ta arvioinnista.
Mikä sitten on tieteen mittaa- misen tulevaisuus? Forsman to- teaa, että tutkimuksen arviointi on tullut jäädäkseen. Määrällisen analyysin rinnalle tulisi kuitenkin ottaa mukaan entistä enemmän myös laadullisia mittareita, vaikka ne vaativatkin enemmän työtä ja asiantuntemusta. Sugimoto ja La- rivière kiteyttävät, että moninais- tuvien indikaattorien maailmassa tarvitaan standardeja, yhteenso- pivuutta ja työkaluja, joita voidaan joustavasti muokata tutkijoiden, hallinnon ja päättäjien tarpeisiin.
Käyttäjiä tulee jatkuvasti kouluttaa indikaattorien tarkoituksenmukai- seen käyttöön. Sugimoton ja Lari- vièren mukaan on viime kädessä tiedeyhteisön vastuulla varmistaa, että mittaaminen tukee eikä tuhoa järjestelmää, jota sen on tarkoi- tus kuvata.
EEVA SAVOLAINEN
Kirjoittaja on Julkaisufoorumin suunnitte- lija Tieteellisten seurain valtuuskunnassa.
Miten sen selittäisi?
Tuukka Kaidesoja, Tomi Kankai- nen ja Petri Ylikoski: Syistä se- lityksiin. Kausaalisuus ja selit- täminen yhteiskuntatieteissä.
Gaudeamus 2018.
Jos tieteenfilosofiasta on yhtä niu- kasti hyötyä tieteentekijöille kuin ornitologiasta linnuille, kuten fyy- sikko Richard Feynman arvioi, mitä yhteiskuntatieteenfilosofian merkityksestä oikein sopisi ajatel- la? Tieteenfilosofien kiistattoma- na etuna oli mahdollisuus kohdis- taa katseensa edistysaskeleisiin fysiikassa, pyrkiä mallintamaan sii- nä seurattua metodiikkaa ja muo- toilla havaintojensa pohjalta yleis- esityksiä tieteellisestä metodista.
Vaikka yhteiskuntatieteenfilosofit voisivatkin ihmetellä sosiologian jatkuvaa kriisiä, epätoivoista me- netelmän hakemista, keskinäistä kissanhännänvetoa ihmistieteissä sekä tiedestatuksen propagoin- tia ja patsastelua sen ympärillä, ei heidän katseelleen ole tarjota vas- taavaa viitekohtaa. Tuukka Kaides- oja ja kumppanit ehdottavat huo- mion kohteeksi kausaalisuutta ja selittämistä yhteiskuntatieteissä.
Syistä selityksiin -teoksen kus- tantaja markkinoi teosta vertais- arvioituna painotuotteena. Joh- dannossa todetaan, että teoksen artikkeleita yhdistää joukko suo- malaisten tieteenfilosofien kehit- tämiä ajatuksia tieteellisestä se- littämisestä. Tässä yhteydessä viitataan Petri Ylikoskeen, Peter Hedströmin, Alan (ja Simson) Gar- finkeliin. Vaikka vertaisarvioijia tällainen kehittäjien kansallisuutta koskeva kuriositeetti ei ilmeises- ti erityisemmin kiinnostanut, kriit-
tinen lukija ei voi olla pohtimatta sitä, mitä muuta heiltä mahdolli- sesti jäi havaitsematta.
Selityksiä arvioitaessa tuli- si Petri Ylikosken mukaan ensim- mäiseksi selvittää, että selitettävä asia on todella olemassa. Suuret kysymykset – selittämisen koh- teena olevat tapahtumat – tulisi seuraavaksi pilkkoa pienemmik- si ja kysyä, miksi jälkimmäiset ei- vät olleet toisin kuin ne olivat tai miksi jokin vaihtoehtoinen asian- tila jäi todentumatta. Selitettävän täsmentämiseksi on tarjolla eri- laisia kontrasteja. Kiinnostavaa on se, ettei Ylikoski juuri käsittele tieteessä tärkeintä – tutkijan tie- teenalaa ja sen ensimmäisiä peri- aatteita. Hyvän empiristin tavoin hän toteaa, että ne piirteet, jotka selityksessä kulloinkin ovat tär- keimmät, riippuvat selitettäväs- tä asiasta (s. 31). Hän myös uskoo riippumattoman, kaikille yhteisesti annetun todistusaineiston olemas- saoloon. Jonkin selittävä ymmär- täminen tarkoittaa kykyä vastata sen osalta moniin mitä jos -kysy- myksiin. Ylikoski ymmärtää meka- nistisen selittämisen kontrasteihin ja kontrafaktuaaliseen selittämi- sen laajennuksena.
Kontrafaktuaalisuudesta pu- huminen on kuitenkin vain paljon melua tyhjästä. Lähtökohtaises- ti generatiiviset mekanismit selit- tävät yhtäläisesti aktuaaliset kuin mahdollisetkin ilmiöt ja tapahtu- mat. Se, mitä Ylikoski kutsuu Co- lemanin laivaksi, näyttäytyy lähin- nä kelluntavälineeltä, jolla voi olla uimarenkaan kaltainen merkitys fi- losofiassa, mutta joka on kelvoton teoreettisen yhteiskuntatieteen merellä. Samaa mieltä Ylikosken kanssa voi kuitenkin olla siitä, että teoreettinen kuvittelu yhteiskun- tatieteissä todennäköisesti hyötyy erilaisten kognition apuvälineiden systemaattisesta käytöstä.
Jaakko Kuorikosken artikke- li alkaa lupaavasti. Aluksi näyt- tää, että hänen tarkoituksensa on palauttaa kunnia ja asema Aris- toteleen neljän syyn selitysmal- lille. Nopeasti kuitenkin selviää, että hän luo kehystä väitteelleen
