4
Tieteenalan luonne huomioon tutkimuksen arvioinnissa
Maaria Harviainen & Maria Söderholm
Humanistis-yhteiskuntatieteiden arviointi vaikuttaa bibliometriikan käyttöön tutustuessa erittäin haastavalta verrattuna luonnon- ja lääketieteisiin. Yhdys- kuntasuunnitteluun ja musiikkiin erikoistuneina informaatikkoina meitä häm- mentää, ettei humanistis-yhteiskuntatieteitä voida paremmin huomioida bib- liometriikkaa sovellettaessa. Ns. pehmeiden tieteenalojen käytännöt eroavat monelta osin tiedon tuotannon ja julkaisukäytöntöjen osalta. Tässä artikkelissa kokoamme taustatekijöitä, joita olisi perusteltua huomioida pehmeiden tie- teenalojen tutkimuksen arvioinnissa.
B
ibliometriikan soveltuvuudesta eri alojen jul- kaisujen arviointiin on myös olemassa tutkimus- tietoa. Monissa maissa on pitkään tehty eri alo- jen tutkimuksen arviointia (esim. Barker 2007;Hall 2011; Punter ja Campbell 2009) ja niissä on yleensä yhtenä elementtinä bibliometriikka. Tut- kijat ovat yhtä mieltä siitä, ettei bibliometriikassa keskeisimmän aseman saanut Thompson Reuters (TR) tai Scopus ole riittävä lähtökohta humanis- tis-yhteiskuntatieteiden (”pehmeiden” tieteiden) julkaisujen arvioinnissa verrattuna luonnon-, lää- ke-, kemian- ja terveystieteisiin ja tiettyihin tek- nisiin aloihin (”koviin” tieteisiin) (Hicks ja Wang 2011; Hicks 2004).
Suomessa on viime vuosina toteutettu kansain- välisten esimerkkien mukaan tutkimusarviointe- ja ja myös tutkittu indeksien kattavuutta suoma- laisen julkaisemisen osalta ja saatu samoja tulok- sia. Sitaatioindeksityöryhmän raportti on niistä kattavin ja se toteaa, että suomalaisten humanis- tis-yhteiskuntatieteellisten julkaisujen kattavuus TR:ssa on puutteellinen (OKM 2011:34).
Tieteenalojen eroavat toisistaan tiedon tuotannossa
Indekseihin perustuvan bibliometriikan ongel- ma on, että ne kohtelevat kaikkia tieteitä ja tut- kimusaloja samalla tavalla, vaikka bibliometrinen-
ja tieteentutkimus hyvin osoittavat, että tieteiden välillä on suuriakin eroja siinä mihin tieteellinen työ ja tiedontuotanto perustuvat ja miten tutki- muskäytännöt kuten julkaiseminen eroavat toisis- taan (Garvey 1979; Whitley 2000; Hicks 2004).
Yksi tieteiden perustavanlaatuisista eroista liit- tyy tieteen fragmentoituneisuuteen: miten yh- tenäinen käsitys alalla on keskeisistä tutkimusky- symyksistä, teorioista, käsitteistä ja menetelmis- tä. Fragmentoituneisuutta pidetään tyypillisem- pänä humanistis-yhteiskuntatieteille verrattuna
”koviin” tieteisiin (Whitley 2000). Suuri frag- mentoituneisuus voi näkyä monina koulukunti- na sekä kansainvälisellä että kansallisella tasolla.
Toisen keskeisen eron ”kovien” ja ”pehmeiden”
tieteiden välillä saa aikaan tutkimuskysymysten paikantuminen universaaleiksi tai kansallisik- si /paikallisiksi.t ”Kovia” tieteitä voi pitää uni- versaaleina, koska niiden keskeiset tutkimusky- symykset ovat yleismaailmallisia. Humanistis- yhteiskuntatieteiden tutkimuskysymykset nou- sevat usein omasta yhteiskunnasta ja ovat kan- sallisesti tai paikallisesti virittyneitä ja konteksti- sidonnaisia. Näissä tieteissä monet käsitteet ovat myös kansalliseen kontekstiin sidottuja ja sisäl- tö täydellisesti ilmaistavissa vain omalla kielellä ja oman yhteiskunnan ja kulttuurin itseymmär- ryksen kannalta välttämättömiä.
5
Kolmas erityispiirre, joka liittyy vahvasti ”peh- meiden” tieteiden tutkimuskysymysten yhteis- kunnalliseen kontekstiin, on yleisön laajuus, joka ylittää akateemiset rajat ja laajan ylei- sön merkitys tutkimusprosessissa. Asiantun- tijat ja kansalaiset eivät ole vain lukijakuntaa tai tutkimuksen kohde. Se on myös osapuoli, jonka kanssa vuorovaikutuksessa kehitellään mielekkäi- tä tutkimusongelmia ja niiden ratkaisuja. Akatee- misen maailman rajat ylittävä vuorovaikutus tai julkaisujen teko ei ole puute tai häiriötekijä, vaan luonnollinen tapa tutkia ja tuottaa uutta tietoa.
Julkaisukäytäntöjen eroja
Bibliometristen menetelmien soveltamisen ja kir- jastoammattilaisten näkökulmasta ”kovien” ja
”pehmeiden” tieteiden erot näkyvät julkaisu- käytäntöihin liittyvinä eroina. Humanistis-yh- teiskuntatieteille pidetään tyypillisenä julkaisu- tyyppien moninaisuutta ja kansallista julkai- semista (esim. Puuska ja Miettinen 2008; Hicks 2004). ”Kovissa” tieteissä TR:n perustuvan bib- liometrisen analyysin sanotaan toimivan, kos- ka alojen julkaisukäytännöille on tyypillistä eng- lanninkielisyys ja aloilla on tietyt lehdet tunnis- tettavissa arvostetuimmiksi ja vaikuttavimmiksi.
”Pehmeiden” tieteiden osalta taas indekseistä puuttuu vertaisarvioituja lehtiä, monografioita ja kokoomateoksia. Esimerkiksi pohjoismaisia yli- opistoja koskevassa selvityksessä humanistiset ja yhteiskuntatieteet on jätetty kokonaan arvioin- nin ulkopuolelle TR:n heikon kattavuuden vuok- si (NordForsk, 2011). Keskeisenä voidaan pitää myös sitä, että julkaiseminen ei rajoitu aka- teemiselle kentälle suunnattuihin julkaisuihin.
Laajojen yhteiskunnallisten merkitysten ja vai- kuttavuuden tuottaminen edellyttää monipuo- lista julkaisukanavien käyttöä niin kansallisissa tieteellisissä kuin myös tieteiden rajat ylittävissä kanavissa. Julkaisemisen erot näkyvät myös viit- taamiskäytännöissä: Kirjoja ei julkaista määräl- lisesti paljon, mutta niihin viitataan merkittäväs- ti enemmän ”pehmeissä” tieteissä verrattuna ”ko- viin” tieteisiin (Hammarfelt, 2011).
Musiikin tutkimus esimerkkinä
Musiikin tutkimus on hyvä esimerkki tutkimuk- sen arviointiin liittyvästä problematiikasta. Edel- lä esitellyt tieteiden väliset erot näkyvät musii- kin tutkimuksessa – jopa niin, että tutkimuksen suuntautumisesta riippuen musiikin tutkimuk- sen voi yhdistää tekniikan, lääketieteen tai käyt- täytymistieteiden kanssa. Musiikin tutkimus liik- kuu usein vaikeasti määriteltävässä välimaastossa.Musiikkia voi tarkastella esimerkiksi esteetti- sestä, kulttuurisesta, sosiaalisesta, lääketieteel- lisestä tai akustisesta näkökulmasta. Musiikin tutkimuksen suuntautumisen mukaan määrit- tyvät myös tutkimuksen tekemisen ja julkaise- misen käytännöt. Esimerkiksi musiikinhistori- an tutkimuksen julkaiseminen tapahtuu pitkäl- ti monografioina humanistisen tutkimuksen ta- paan. Oman musiikinhistoriamme tutkiminen on vähintään kansallisesti tärkeää, mutta sillä on myös runsaasti yhtymäkohtia yleiseen musiikin- historiaan.
Musiikinteorian tutkimusta julkaistaan hieman enemmän tutkimuslehdissä ja se on liki globaa- li tutkimusaihe. Musiikkikasvatuksen tutkimus julkaistaan pääasiallisesti kansainvälisissä tutki- muslehdissä melkein lääketieteen tapaan vaikka toisaalta kotimainenkin julkaiseminen on mer- kityksellistä.
Taidealat poikkeavat
Musiikki ja muut taidealat ovat osa humanistisia tieteitä, mutta taidealalla tehtävä taiteellinen toi- minta ei näy tutkimuksen arvioinnissa. Taiteelli- sen toiminnan työryhmän ehdotuksessa taiteel- lista toimintaa koskevaksi määritelmäksi tode- taan, että ”taidealan julkaisujen määrittelylle ei ole olemassa vakiintuneita tapoja”.
Taiteellinen toiminta on kuitenkin yksi korkea- koulujen lakisääteisistä tehtävistä. JURE-projek- tin yhteydessä taiteellisen sisällön määrittämiseen perustettiin oma taiteellisen toiminnan työryh- mä, johon koottiin asiantuntemus taiteen alan korkeakouluista. Työryhmän tehtävänä oli mää- ritellä kansalliseen julkaisurekisteriin raportoita-
6
van taiteellisen toiminnan tulokset ja niiden tie- tosisältö.
Työryhmä teki myös tarkennuksia OKM:n v. 2011 korkeakoulujen julkaisutiedonkeruuta koskevaan ohjeistuksen määritelmään taiteelli- sen toiminnan tuotoksesta. Julkaisutyyppiluoki- tuksen lisäksi työryhmä teki ehdotuksen eri tai- teenalojen julkaisujen kategorioista, joka on huo- mattavasti tarkempi ja yksityiskohtaisempi jaot- telu kuin JUFO:n kolmikohtainen julkaisutyyp- piluokitus. Työryhmän työn tuloksena syntyneet määritelmät ja luettelo taidealan julkaisujen tyyp- pikategorioista löytyvät JURE:n sivuilta.
JUFO kattamaan laajemmin julkaisukäytäntöjä
Julkaisufoorumin (JUFO) luominen herätti heti ensimmäisen julkaisujen luokituskierroksen aika- na suomalaisen tiedeyhteisön laajamittaiseen kes- kusteluun ja vaikuttamaan luokittelun sisältöön.
Noin 60 suomalaista tieteellistä seuraa, mukaan lukien STKS, esitti vetoomuksen monimuotoi- sen julkaisemisen puolesta. JUFO-hankkeessa tehtiinkin päätös, joka parantaa kansallisten ja muiden kuin englanninkielisten vertaisarvioitu- jen julkaisujen asemaa humanistis-yhteiskunta- tieteellisillä aloilla.
Kansainvälisyys on yksi tutkimuksen tavoi- te, mutta tieteen on kyettävä kommunikoimaan koko yhteiskunnan kanssa niin kansallisesti kuin kansainvälisestikin. Ilman kansallista tutkimusta moni laajemminkin yhteiskunnallisesti merkit- tävä ilmiö voi jäädä kokonaan tutkimuksen ul- kopuolelle. Tämä pitänee paikkansa kaikilla tie- teenaloilla.
On hyvä pohtia kohteleeko ei-akateemisten jul- kaisujen jättäminen JUFO-luokituksen ulkopuo- lelle niitä liian monoliittisena ryhmänä ja antaa- ko siten turhan kapean kuvan suomalaisen tie- teen sosiaalisista ja kulttuurisista vaikutuksista.
Jääkö arvioinnin kannalta keskeisiä tutkimustu- loksia huomiotta?
Jos tiukan akateemisen kentän ylittävä julkai- sutoiminta onkin elintärkeää ”pehmeiden” tie-
teiden edistymiselle ja esim. sen kokonaisvaltai- selle yhteiskunnalliselle hyödylle? Olisiko syy- tä miettiä, miten suomalainen tutkimusarvioin- ti voisi huomioida tämän? Ennen kuin huma- nistis-yhteiskuntatieteiden osalta päätetään, et- tä tieteen kehittymisen kannalta on tarpeellista keskittyä vain tiedeyhteisölle suunnatun kirjal- lisuuden laatuluokittamiseen, voisi tiedeyhtei- sössä käydä keskustelun ja pyrkiä konsensukseen siitä, mikä on alalle keskeistä kirjallisuutta ja mi- ten se arvotetaan.
Julkaisujen arvioinnista
inklusiivista ja oikeudenmukaista
Kansallisten tutkimustulosten arviointikäytäntö- jen ja järjestelmän tulisi olla oikeudenmukaisia (tieteiden laaja osanotto mahdollista ja arviointi palvelee kaikkien alojen tutkimusta), inklusiivi- sia (mittarit ovat monipuolisia huomioiden tie- teiden ominaispiirteet ja tuotokset alojen lähtö- kohdista käsin) ja vilpittömiä (kriteerit ja ohjeet selkeitä ja läpinäkyviä).Tutkimuksen arvioinnin ja bibliometriikan kir- jallisuudessa esitetään yleisesti, että tutkimuk- sen arvioinnin ja bibliometriikan tulisi perus- tua monipuoliseen aineistoon ja indikaattorien soveltamiseen osana laadullista arviointiproses- sia (Donovan 2007; Moed 2007). Keinoksi laa- jan ja luotettavan käsityksen saamiseksi kansalli- sesta tieteellisestä julkaisutoiminnasta on esitet- ty kansallisten julkaisuarkistojen luomista (Hicks ja Wang 2009).
JUFO:n sivulla oleva toteamus luokituksen käytöstä bibliometriikan tukena ja OKMn käyn- nistämä kansallinen julkaisuarkistohanke ker- tonevat siitä, että Suomeen luodaan julkaisu- jen arviointijärjestelmä. Kansalliseen julkaisure- kisteriin on mahdollista luoda JUFOa laajenta- via luokituksia, jotka huomioivat tieteiden väli- set erityispiirteet. Esimerkiksi monografioille ja kokoomateoksille voidaan määritellä suurem- mat painokertoimet kuin vertaisarvioiduille ar- tikkeleille. Kansalliselle julkaisukanavalle voitai- siin niin ikään luoda painokertoimia, jolloin ka-
7
navat, jotka eivät näy nyt JUFOssa, tulisivat esil- le. Uuden taideyliopiston syntyä odotellessa tu- lee miettiä myös taiteellisen tutkimuksen osuut- ta arvioinnissa.
Kirjastoissa ja koko tiedeyhteisössä on aika jat- kaa keskustelua ja vaikuttamista. Muiden maiden kokemuksista tiedetään, että tutkimuksen arvi- ointia varten luodut kriteerit ja järjestelmät vai- kuttavat tutkimuksen tekoon. On paikallaan, että tiedeyhteisö toimii aktiivisesti tieteenalojen sisäis- ten logiikkojen ja kehitystarpeiden huomioimi- sen puolesta. Vuorovaikutteisesti Suomeen kehit- tyisi tutkimusjulkaisemisen tietovaranto ja työka- lut, joilla voitaisiin arvioida suomalaisen tutki- muksen tuloksia, tutkimuksen toimintaympäris- töä ja tutkimusorganisaatioiden laatua laaja-alai- sesti, taiteellisen toiminnan muodot huomioiden ja sosiaalisesti kestävän ja kansainvälisesti arvos- tetun tutkimusympäristön luomista tukien. &
Lähteet
Barker, Katharina (2007) The UK Research Assess- ment Exercise: the evolution of a national research evaluation system. Research Evaluation, 16 (1) 3-12.
Comparing Research at Nordic Universities using Bib- liometric Indicators. NordForsk, 2011.
Donovan, Claire (2007) The qualitative future of re- search evaluation. Science and Public Policy, 34 (8) 585–597.
Garvey, William D. (1979) Communication: The es- sence of science.
Hammarfelt, Björn (2011) Interdisciplinarity and the intellectual base of literature studies: citation analy- sis of highly cited monographs. Scientometrics 86 (3) 705-725.
Hall, C. Michael (2011) Publish and perish? Biblio- metric analysis, journal ranking and the assessment of research quality in tourism. Tourism Management 32 (1) 16–27.
Hicks, Diane (2004) The four literature of social scien- ce teoksessa Handbook of Quantitative Science and Technology Research, ed. Henk Moed, Kluwer. Aca- demic. http://works.bepress.com/diana_hicks/16 Hicks, Diana ja Wang, Jian (2009) Towards a Biblio- metric Database for the Social Sciences and Humani- ties. http://works.bepress.com/diana_hicks/18 Hicks, Diana ja Wang, Jian (2010) Coverage and over- lap of the new social science and humanities journal lists. http://works.bepress.com/diana_hicks/22/
Moed, Henk F. (2007) The future of research evalu- ation rests with an intelligent combination of advan- ced metrics and transparent peer review. Science and Public Policy, 34 (8) 575–583.
Sitaatioindeksityöryhmä II:n raportti. Suomalaisten tutkimusorganisaatioiden Web of Science -julkaisut ja niiden vaikuttavuus vuosina 1990–2009. Opetus- ja kulttuuriministeriön julkaisuja 2011:34. http://www.
minedu.fi/OPM/Julkaisut/2011/Sitaatioindeksityoryh- ma_IIn_raportti.html
Puuska, Hanna-Mari ja Miettinen, Marita (2008) Julkaisukäytännöt eri tieteenaloilla. Opetusministe- riön julkaisuja 2008:33. http://www.minedu.fi/export/
sites/default/OPM/Julkaisut/2008/liitteet/opm33.
pdf?lang=fi
Tietoa kirjoittajista
Maaria Harviainen, informaatikko Sibelius-Akatemian kirjasto Email. Maaria.harviainen@siba.fi Maria Söderholm, informaatikko
Aalto-yliopisto, Maankäyttötieteiden laitos Email. Maria.soderholm@aalto.fi
Whitley, Richard (2000) The intellectual and social or- ganization of the sciences.
