&5 5*
&
&
4
45"1")5 66
4)%4%%33Ë4!0!(455
4IETEELLISEN KESKUSTELUN TULISI KAIKETI EDE TÛ ARGUMENTTI ARGUMENTILTA KEHITTYVÛNÛ IT SEÛÛN KORJAAVANA PROSESSINA MAHDOLLISIM MANHYVINVARMENNETTUIHINTULOKSIIN%NNEN KUINVOIMMERYHTYÛOMIAMENETTELYTAPOJAM ME KORJAAVAAN TYHN MEIDÛN OLISI TIEDETTÛ VÛMITÛVIKAANIISSÛON%KSAKTITNÛYTTPUUT TUVAT3IKSIKINKESKUSTELU3IPILÛNJA6UORISEN KANSSA4IETEESSÛTAPAHTUU JÛÛHEDEL MÛTTMÛKSI
9LIOPISTOJENTULOKSELLISUUSANALYYSISTÛKÛYTÛVIS SÛSUOMALAISKESKUSTELUISSAEROTTUULÛHINNÛKOL METEEMAA9KSINIISTÛKOSKEEKÛYTETTÛVISSÛOLE VIAAINEISTOJAJANIIDENKELVOLLISUUTTAANALYYSIN LÛHTEEKSI4OINENTEEMANIVOUTUUPERIAATTEELLI SEEN KESKUSTELUUN SIITÛ MITEN YLIPÛÛTÛÛN ANA LYSOIDA TULOKSELLISUUTTA MITÛ MENETELMIÛ MIS SÛKIN ANALYYSIVAIHEESSA ON SYYTÛ KÛYTTÛÛ MIT KÛ MUUTTUJAT MÛÛRITELLÛÛN PANOKSIKSI MITKÛ TULOKSIKSI JNE 4ÛTÛ PERIAATTEELLISTA KESKUSTELUA KÛYMMETOISAALLA
+OLMASTEEMAONITSEANALYYSINTEKEMINENJA SAADUTTULOKSET3IITÛEILIENEEPÛSELVYYTTÛETTÛ +/4!AINEISTON LAADINNASTA VASTAA OPETUSMI NISTERIMEPUOLESTAMMEVASTAAMMESIITÛMI TENOLEMME+/4!TIETOJAKÛYTTÛNEET*ORMA3I PILÛJA4IIA6UORINENAJAB OVATJOPA RIINKINOTTEESEENKATSONEETTARPEELLISEKSIPUUT TUA TEKEMISIIMME VÛITTÛMÛLLÛ ALLEKIRJOITTANEI DEN TEHNEEN VAKAVIA VIRHEITÛ KESKEISIMMISSÛ ANALYYSEISSÛ 6AKAVASTI OTETTAVAN KRITIIKIN ON KYETTÛVÛOSOITTAMAANVIRHEET3IPILÛLTÛJA6UORI SELTAONNÛYTTVELVOLLISUUSTÛYSINTÛYTTÛMÛTTÛ
*ORMA 3IPILÛN JA 4IIA 6UORISEN B TUO REIMMANVASTINEENALKULAUSEISIINVIITATENVOIM ME VAIN TODETA ETTEMME TODELLAKAAN ELÛTTELE MITÛÛN HARHAKUVIA KRIITIKKOJEMME EPÛREHELLI SYYDESTÛ MOTIIVEISTA PUHUMATTAKAAN 3IPI LÛN JA 6UORISEN NUMEERISTEN AINEISTOJEN KÛSIT TELYTAIDOISTAKINMEILLÛALKAAJOOLLAHYVÛKUVA 3EMITÛMEEDELLEENPERÛÛMMEONNÛYTTNIIS TÛ VIRHEISTÛ JOITA ME MUKA ANALYYSEISSÛMME OLEMME TEHNEET +VANTITATIIVISESTA ANALYYSIS TÛ KUN ON KYSE vLASKENTAMETODIAv EI VOI OHIT TAA 3E MISTÛ 3IPILÛ JA 6UORINEN VÛHÛN VÛHÛT TELEVÛÛN SÛVYYN PUHUVAT VAIN vLASKENTAMETO DINAvONNÛETITSEPÛÛASIASEMITENTULOKSELLI SUUSANALYYSITTEHDÛÛN
3IPILÛ JA 6UORINEN B VÛITTÛVÛT KÛYT TÛNEENSÛ +IVISEN JA (EDMANIN KAAVOJA JA SAA NEENSAMONILTAOSINERITULOKSET3ENSIJAANETTÛ TIETEELLISENKESKUSTELUNPELISÛÛNTJÛNORMAALIS TI NOUDATTAEN TOISIVAT JULKI SAAMANSA TULOKSET JA OSOITTAISIVAT NÛIN MENETTELYTAVOILLEMME JOT KUT VERTAILUKOHDAT HE TURVAUTUVATKIN OMITUI SEEN VÛISTLIIKKEESEEN TOTEAMALLA ETTÛ vEMME JULKAISSEETKRITIIKISSÛMMENÛITÛOIKAISTUJALUKU JAKOSKAEMMEHYVÛKSYNEETLASKENNANPREMIS SEJÛv +YLLÛ KANSLERIN JA SUUNNITTELIJAN SENTÛÛN SE PITÛÛ YMMÛRTÛÛ ETTEI KENENKÛÛN TUTKIMUS TAVOIVIRHEELLISEKSITUOMITAOSOITTAMATTAKONK REETTISESTI MITKÛ VIRHEET MISSÛKIN ANALYYSISSÛ ON TEHTY %IKÛ TILASTOAINEISTON ANALYYSEJÛ KOS KEVASTANÛYTTVELVOLLISUUDESTALUKUJAJULKAISE MATTAVOISELVITÛ3AMASSASUHTEESSAKUINSANA MAGIALISÛÛNTYYAINEKSETJÛRKIPERÛISEENTIETEEL LISEENKESKUSTELUUNVÛHENEVÛT3IPILÛNJA6UO RISENMUKAANvSEKÛTULOSTENETTÛPANOSTENKU VAUSVALINNATOVATNIINOUTOJAxETTÛEMMEHALUA OSALLISTUANIIHINPERUSTUVIENLUKUJENLEVITTÛMI SEEN VAIKKA LASKUTOIMITUKSET OLISI SUORITETTU OIKEINKINv/LEMMEITSEJULKISESTIRAPORTOINEET SENMITÛOLEMMEANALYSOINEETMITENMENETEL LEETJAMITÛTULOKSIASAANEETMINKÛJÛLKEEN3IPI LÛJA6UORINENPONNAHTIVATPALSTOILLEVÛITTÛMÛÛN MEIDÛNTEHNEENANALYYSEISSÛMMEVAKAVIAVIR HEITÛ6IRHEIDENOSOITTAMISENSIJASTAHETURVAU TUVAT ERILAISIIN VÛISTLIIKKEISIIN JOISTA HUIKEIN ONVIIMEKIRJOITUKSENVARAUSvVAIKKALASKUTOI MITUKSETOLISISUORITETTUOIKEINKINvMIKÛASIAL LISESTIPITÛÛTIETYSTIPAIKKANSAKIN6OIMMEVAIN KYSYÛMISTÛLOPULTAKINONKYSYMYS
4IETEELLISEN KESKUSTELUN SIKÛLI KUIN 3IPI LÛ JA 6UORINEN SELLAISTA YLIPÛÛTÛÛN OVAT HALUN NEETKÛYDÛTARKOITUSONOSOITTAAKRITIIKINKAUT TAMAHDOLLISETEPÛKOHDATJOTKAKORJAAMALLAUU DET ANALYYSIT ON MAHDOLLISTA TEHDÛ ENTISTÛ PA REMMIN JA SAADA ENTISTÛ VARMEMMAT TULOKSET 4ÛSSÛSUHTEESSA3IPILÛJA6UORINENJÛTTÛVÛTLUKI JANSANEUVOTTOMIKSI
4UTKIMUSTULOKSETJAAINEISTOOVATKAKSI ERIASIAA
3IPILÛLTÛJA6UORISELTAONTAINNUTJÛÛDÛHUOMAA MATTAETTÛHEIDÛNARTIKKELISTAMME+IVINEN
+RITIIKKIVAILLANËYTTÚJË
/SMO+IVINENJA*UHA(EDMAN
5 * &5&
&
4 4
5"
" 1 56 ) 6
4)%4%%33Ë4!0!(455
(EDMANB ESIINNOSTAMASSAANTAULUKOSSA 3IPILÛ6UORINENB ONITSEASIASSAKOL MEERILAISTAJOSKOHTAMYSKESKENÛÛNYHTEEN SOPIVAAKUVAUSTAYLIOPISTOLAITOKSENTIETEELLISEN TOIMINNANTULOKSELLISUUDESTAENSIMMÛINENON TIETEENALOITTAINENKUVAUSKAIKKIAANSUURALAA ERITYISALOJEN KOOTTU RYHMÛ VEKTORI 444 TOII NEN ON YLIOPISTOKOHTAINEN KUVAUS KAIKKIAAN YLIOPISTOA VEKTORI 444 SEKÛ KOLMAS ON YKJ SIKKKOHTAINEN KUVAUS KAIKKIAAN TIETEEN ALAYKSIKKÛMATRIISI444 +AIKKIKOLMEKUVAIJ USTALÛPÛISEVÛAJATUSONARVIOIDAPANOSTENJATU LOSTENVASTAAVUUTTA
+AIKESTA PÛÛTELLEEN 3IPILÛ JA 6UORINEN EIVÛT OLE TOTTUNEET LUKEMAAN MATRIISIMUODOSSA ESI TETTYJÛ TUTKIMUSTULOKSIA KOSKA EREHTYVÛT LUU LEMAANESITTÛMIÛMMETUTKIMUSTULOKSIAAINEIS TOKSI KS +IVINEN (EDMAN B 3IPILÛ JA 6UORINENB4AULUKKO -ATRIISIMUODOS SA ESITTÛMÛMME TULOKSET OVAT TARKISTETTAVISSA SEURAAVANYHTÛLRYHMÛNAVULLA
44KERROINTEN LUKU ARVOT SAA ARTIKKELISTAM ME+IVINEN(EDMAN B JA RAPORTISTAM ME+IVINEN(EDMAN A +AA VASSA 8LLÛ MERKITYT TIE TEELLISEN TOIMINNAN PA NOSOSUUDETJA9LLÛMER KITYT TULOSOSUUDET SAA DAAN KAIKKI +/4!STA NOUDATTAMALLA VASTI NEESSAMME +IVINEN (EDMAN C HAVAIN NOLLISTETTUA TIETOJENHA KUMENETTELYÛ/SOITINIKUVAATIETEENALAAOSOI TIN J YLIOPISTOA JA OSOITIN IJ TIETEENALAYKSIKKÛ 6AKIO K ON AINEISTOKOHTAINEN TEKIJÛ JONKA EKK SAKTI ARVO MÛÛRÛYTYY SKAALATTAESSA KULLOINKIN KÛYTSSÛOLEVANAINEISTONTIEDOTYHTEISMITALLISI NA TULOSOSUUKSINA ASTEIKOLLE JOSSA MATALIN TU LOSOSUUSSAAARVON3IPILÛJA6UORINENVÛITTÛ VÛT KYLLÛ KÛYTTÛNEENSÛ KAAVOJAMME MUTTA AI NAKAAN SYSTEMAATTISTEN MITTAUSVIRHEIDEN POIS SULKEMISEN MERKITYS KVANTITATIIVISISSA ANALYY SEISSÛEIOLEHEILLEKIRKASTUNUT!LANOPPIKIRJO JENVALIKOIMASTALYTYYRUNSAASTILISÛVALAISTUSTA ASIAAN/NAIVANERIASIAKAUHISTELLAERITTELEMÛT TMIEN ERIEN JATKUVAA KASVUA KUIN ANALYSOIDA TIETEENALOJENTULOKSELLISUUTTAKSMYS+IVINEN (EDMANA *OKATAPAUKSESSAKAA VAONOMIAANTARVITTAVIENLASKELMIENTEKEMI SEENJATARKISTAMISEEN
0UHUESSAANvLASKENNANPREMISSEISTÛv3IPILÛ
JA6UORINENTARKOITTAVATTIETOJENHAKUEHTOJASIIS LÛHINNÛMUUTTUJAJALUOKITTELUVALINTOJA2APORT TIIMMEKS+IVINEN(EDMANA KIR JOITETUTTIETOJENHAKUEHDOTOVATI AIKAVÛLI II SUURALAASEKÛERITYISALOJENKOKOOMA LUOKKAIII YLIOPISTOAIV TIETEENALAYKSIK KÛSEKÛV PANOSLUOKKAAJATULOSLUOKKAA .ÛILLÛTIETOJENHAKUEHDOILLAJAKÛYTSSÛOLEVALLA ONLINE+/4!AINEISTOILLAESITTÛMÛMMETULOKSET OVATVAIVATTOMASTITARKISTETTAVISSA
4EKEMIKSEMME VÛITTÛMIENSÛ MENETTELYTA PAVIRHEIDEN OSOITTAMISEN SIJASTA 3IPILÛ JA 6UO RINENB ARVELEVATENSINNÛKINETTÛvKOULU TUSALOJENTUTKINTOOSUUDETONSAATULASKEMALLA KOULUTUSALOITTAIN KAIKKIEN VIIDEN TUTKINTOTYY PIN PROSENTTIOSUUKSIEN KESKIARVOTv JA TOISEK SI ETTÛ vTULOKSELLISUUTTA OSOITTAVAT INDIKAATTO RITSAADAANTAULUKONTIETOJENPOHJALTAKERTO MALLAKOULUTUSALOITTAISETLUVUTRIVEITTÛINKESKE NÛÛNv %DELLISISTÛ SUKEUTUU ABSURDI VÛITE ETTÛ v+IVISENJA(EDMANINKÛYTTÛMÛxLASKENTATAPA MERKITSEESITÛETTÛxYKSIDESIMAALIVIRHEMUUT TAA KOKO YLIOPISTON TULOKSELLISUUDEN KYMME NENKERTAAPAREMMAKSITAIHUONOMMAKSIv3I PILÛ JA 6UORINEN B EIVÛT OLE KÛSITTÛNEET ETTÛ TAULUKKOMME OTSIKOLLA vTIETEELLISEN TOI MINNANTULOKSELLISUUSKERTOIMETTIETEENALAYKSI KITTÛINv+IVINEN(EDMANB ONTULOS MATRIISIJOSSAJOKAINENSOLUTÛYTTÛÛREUNAJAKAU MAEHDOTv444 JA44I 4 3PEKULOINTISILLÛJOSKOYHJ DENSOLUNMUUTTAMINENMUUTTAISIREUNAJAKAU MAT ON TAKAPEROISTA vKÛRRYT HEVOSEN EDESSÛv LOGIIKKAA 4OSIASIASSA KOULUTUSALOJEN TUTKINTO OSUUDETONHAETTU+/4!STAJATULOKSELLISUUTTA OSOITTAVATINDIKAATTORITSAADAANSUHTEUTTAMALLA TULOSOSUUDETJAPANOSOSUUDETTOISIINSA
3IPILÛJA6UORINENLYTÛVÛTSITÛSUNTÛTÛMUU TAKIN KUMMASTELTAVAA9HTÛÛLTÛ HE HÛMMÛSTE LEVÛTKESKUSHALLINNONJATUKIPALVELUJENMENOJA TOISAALTAHUOLENAIHEENAONTEKNIIKANALANvHEI KOTv TULOKSET KOLMANNEKSI HE POTEVAT 4AMPE REENYLIOPISTONYHDENYKSIKNMATALAA44KER ROINTA EIKÛ LÛÛKETIETEEN OSUUS ERITYISTUTKIN NOISTAKAANHEITÛTYYDYTÛ%IKAITULOKSELLISUUS ANALYYSIN TEKIJITÛKÛÛN AIVAN KAIKENMOISESTA EPÛKOHDISTAVOISYYLLISTÛÛ
+UNOTAMMEESIMERKIKSI3IPILÛNJA6UORISEN YHDENHUOLENAIHEENELITIETYNYLIOPISTON8TIE TYNALANYKSIKN9SAAMAN44KERTOIMENARVON XXSAAMMEHAVAINNOLLISTETTUASENMITKÛKOLME PERUSASKELTA PITÛÛ KONTROLLOIDUSTI SELVITTÛÛ EN NENKUINVOIVAKAVASTIKESKUSTELLATULOSMATRII SISSAESITTÛMÛMMEYLIOPISTON8YKSIKN9SAA MAN 44KERTOIMEN ARVON XX EPÛLUOTETTAVUU DESTA ENSIKSIOLISIOSOITETTAVAMITÛVIKAAON
I T ET E E S
SÄ
TA
PAHT UU
51
T I E T E E S S Ä TA PA H T U U 6 / 2 0 0 5
kyseisen tieteenalan TT-kertoimessa, 2) toiseksi olisi osoitettava mitä vikaa on kyseisen yliopis- ton TT-kertoimessa ja 3) kolmanneksi olisi osoi- tettava mitä vikaa on muiden saman alan yksi- köiden sekä muiden saman yliopiston yksiköi- den TT-kertoimissa.
Vastineeseen kyhätty salaliittoteoria teke- mämme tuloksellisuusanalyysin ja selvitys- mies Jorma Rantasen SWOT -analyysien välil- le jää mielikuvituksen varaan. Siinä vain Jorma Rantanenkin joutuu aiheetta syytettyjen penkil- le. Rantasen soveltamat SWOT -analyysit tuot- tavat omat tuloksensa täysin meidän tekemisis- tämme riippumatta. Sivumennen sanoen Jorma Sipilä on katsonut tarpeelliseksi kiistää julkises- ti myös Shanghai Jiao Tongin listan, jossa suo- malaisyliopistot järjestyvät paljolti samoin kuin meidän ja Rantasen analyyseissä. Noinkohan jo kiinalaisetkin on saatu Jorma Sipilän vastaiseen salaliittoon mukaan.
Jostain syystä Sipilä ja Vuorinen peräävät se- litystä ja päivämääriä sille, miksi jotkut tulok- semme tulivat julki sanomalehdessä ennen kuin raportti saatiin painosta. Emme ymmärrä, mitä järkeä tällaisessa päivämääräpoliisitoimessa on? Kaiken huipuksi Sipilä ja Vuorinen vaativat allekirjoittaneita pyytämään anteeksi tiedeyh- teisöltä ja yleisöltä ”sitä, että he ovat levittäneet julkisuuteen yliopistojen tuloksellisuudesta tie- toja, jotka he ovat tienneet, tai jotka heidän olisi pitänyt tietää harhaanjohtaviksi.” Väitteet ”ovat tienneet” tai ”olisi pitänyt tietää harhaanjohta- viksi” ovat taas pelkkää demagogiaa vailla mi- tään faktoja. On muutoinkin täysin käsittämä-
tön ajatus, että olisimme tehneet suuritöiset tu- loksellisuusanalyysit vain päästäksemme esit- tämään julkisuuteen harhaanjohtavia tietoja.
Tieteellisen keskustelun tulisi kaiketi ede- tä argumentti argumentilta kehittyvänä itseään korjaavana prosessina mahdollisimman hyvin varmennettuihin tuloksiin. Ennen kuin voim- me ryhtyä omia menettelytapojamme korjaa- vaan työhön, meidän olisi tiedettävä mitä vikaa niissä on. Eksaktit näytöt puuttuvat. Siksikin keskustelu Sipilän ja Vuorisen kanssa jää hedel- mättömäksi.
KIRJALLISUUTTA
Kivinen, Osmo & Hedman, Juha (2005a) Yliopistolaitok- sen tuloksellisuus Suomessa 1999-2003. Yliopistojen panokset ja tulokset tieteenaloittaisessa tarkastelussa.
Koulutussosiologian tutkimuskeskuksen rap- ortti 64. (Toinen korjattu painos). Turku: Turun yliopisto.
Kivinen, Osmo & Hedman, Juha (2005b) ”Tieteellisen toiminnan tuloksellisuus. Tieteenaloittainen ana- lyysi.”Tieteessä tapahtuu 2/2005, s. 26-32.
Kivinen, Osmo & Hedman, Juha (2005c) ”Jos tulok- set eivät miellytä, riko peili.” Tieteessä tapahtuu 5/2005, s. 43-47.
Sipilä, Jorma & Vuorinen, Tiia (2005a) ”Tuloksellisu- udesta vailla tuloksia.” Tieteessä tapahtuu 4/2005, s. 45-46.
Sipilä, Jorma & Vuorinen, Tiia (2005b) ”Kadonneita vastauksia etsimässä — odotamme yhä.” Tieteessä tapahtuu 6/2005, s. 40-43.
Osmo Kivinen on professori ja Juha Hedman on tut- kija Turun yliopiston koulutussosiologian tutkimus- keskuksessa.
On aika lopettaa tämä keskustelu, jota ei voi keskusteluksi sanoa. Emme ole yksin ihmette- lemässä Osmo Kivisen ja Juha Hedmanin tulok- sellisuustutkielmaa, vaan sen lähtökohtia ja las- kentatapoja ovat arvostelleet eri areenoilla aina- kin Harri Lukkarinen, Martti Tiuri, Patrik Schei- nin & Jarkko Hautamäki, Jarmo Hietarinta sekä me. Kirjoittajat ovat edustaneet eri yliopistoja ja tieteenaloja.
Kivinen ja Hedman eivät ole palautteissaan suostuneet keskustelemaan kritiikin perusteista, vaan asettuneet kaiken arvostelun yläpuolelle ja ryhtyneet sen sijaan pilkkaamaan kriitikoitaan.
Kirjoittajista VTT Jorma Sipilä on sosiaalipolitii- kan, erityisesti sosiaalityön professori ja Tampereen yliopiston kansleri ja HM Tiia Vuorinen Tampereen yliopiston projektisuunnittelija ja KOTA-yhteys- henkilö.
Vielä kerran Kiviselle ja Hedmanille
Jorma Sipilä ja Tiia Vuorinen
Keskustelu tästä aiheesta päättyy tällä erää tähän.
