Esittelen seuraavaksi muutamia oppismistuloksien ennakointiin keskittyviä tutkimuksia joissa on hyödynnetty sähköisistä oppimisympäristöistä saatavaa dataa. Tutkimuksissa on tutkittu sitä että onko oppimistulosten ennakointi ylipäätänsä mahdollista sekä millä menetelmillä ennakointia voidaan tehdä.
2.2.1 Nick Z. Zacharis
Nick Z. Zacharis tutki neuroverkkojen soveltuvuutta opiskelijoiden opiskelumenestyksen ennakointiin tutkimuksessaan.[10] Zacharis käytti tutkimuksessaan dataa insinööri- ja konepajaopiskelijoista vuosilta 2015-2016. Datan lähteenä Zacharis käytti kahta Moodle-oppimisalustalla pidettyä kurssia, joista saatiin tiedot, milloin ja mitä materiaaleja opiskelija oli käyttänyt. Zacharis käytti Moodle-datasta kuutta eri atribuuttia neuroverkon rakentamiseen [Taulukko 2.1].
Tutkimuksessa käytettiin Multilayer Perceptron (MLP) neuroverkkoa. Neuroverkkomalli rakennettiin ja sen tarkkuus testattiin IBM SPSS Statistics (SPSS) ohjelmistolla. Neuro-verkko koulutettiin back-propagation learning algoritmilla, jossa neuroneiden painoja säädettiin Gradient Descent -menetelmällä siten että kokonaisvirheen määrä saadaan mahdollisimman pieneksi. Zacharis jakoi tutkimuksessa käytetyn datan satunnaisesti kolmeen osaan, koulutusdataan (60%), testausdataan (20%) sekä verkon tuottamien tulosten validointiin käytettävään dataan (20%). Koulutusdata käytetään verkon koulut-tamiseen, jossa määritellään muun muassa neuroneiden aloituspainot. Testausdatalla pyritään löytämään verkon tuottamia virheitä ja välttämään ylikouluttamista. Validointiin varatulla datalla varmistetaan verkon tuottamien arvojen oikeellisuus. Ennen käyttöä,
Menetelmien vertailu oppimistuloksien ennakoinnin kontekstissa
Riippumattomat Riippuvat
• Viestien määrä joita opiskelija kat-soi ja/tai lähetti
• kurssin lopputulos 0 tai 1(0 = hy-lätty ja 1= hyväksytty). Lopputulos tulee suoraan kurssin lopussa saata-vasta arvosanasta, josa arvosana on korkeampi kuin 6 niin lopputulos on 1, muutoin 0.
Taulukko 2.1:Zachariksen käyttämät attributit
datasta irrotetaan tulokset, jonka jälkeen se voidaan syöttää verkolle. Tämän jälkeen ver-kon antamia tuloksia verrataan datasta aiemmin irrotettuihin, jolloin nähdään tuloksissa oleva virheen suuruus. Ennen verkon kouluttamista Zacharis normalisoi koulutusdatan käyttämällä kaavaa [Kaava 2.1], joka palauttaa arvon väliltä 0 ja 1.
(x− Min)
(M ax−Min) (2.1)
Neuroverkkoon Zacharis käytti seuraavia asetuksia.
”MLP Success (MLEVEL=N) WITH Messages Ccc Quiz_Efforts Files_Viewed/RESCALE COVARIATE=NORMALIZE /PARTITION
TRAINING=6 TESTING=2 HOLDOUT=2 /ARCHITECTURE AUTOMATIC=NO HIDDENLAYERS=1 (NUMUNITS=AUTO) HIDDEN FUNCTION=TANH
OUTPUTFUNCTION=SOFTMAX /CRITERIA TRAINING=BATCH
OPTIMIZATION= SCALED CONJUGATE LAMBDAINITIAL=0.0000005 SIGMAINITIAL=0.00005 INTERVALCENTER=0 INTERVALOFFSET=0.5 MEMSIZE=1000 /PRINT CPS NETWORKINFO SUMMARY CLASSIFICATION
SOLUTION IMPORTANCE /PLOT NETWORK ROC GAINLIFT PREDICTED/OUTFILE MODEL=’C:\Users\Nikzach\Hubic\Artificial
Prediction - Nikos\6-8-2016\Synaptic_Weights.Xml’ /STOPPINGRULES ERRORS TEPS= 10 (DATA=AUTO) TRAININGTIMER= ON (MAXTIME=15)
Piilossa olevalle kerrokselle käytettiin aktivointifunktiona hyperbolista tangenttia. Zacha-ris:n mukaan koulutuksen aikana neuroneiden painojen säätämiseksi parhaat vaihtoehdot ovat ”batch-mode” ja ”online (incremental) -mode”. Tutkimuksessa Zacharis käytti
”batch-modea”, koska se on yhtä hyvä kuin ”online-mode”, mutta vaatii hiukan vähem-män laskentatehoa. Syynä pienempään laskentatehon vaatimukseen on että ”batch-mode”
hyödyntää painojen säätämiseen aiempaa koulutusdataa. Zacharis käytti skaalattua Con-jugate Gradient -metodia verkon kouluttamiseen. Se on yleisesti käytetty iteratiivinen metodi lineaaristen yhtälöiden ratkaisemiseen ja sen on todettu olevan Gradient Descent sekä perinteistä Conjugate Gradient -menetelmiä kevyempi ja helpommin optimoi-tavissa. Koulutuksen aikana neuroverkon neuroneiden painoja päivitettiin jokaisen iteraatiokierroksen välissä.
Zacharis määritti koulutukseen viisi eri pysäytysehtoa, jolloin koulutus lopetetaan.
Säädetyt ehdot olivat:
1. Virheen määrä ei laske 10 perättäisen iteraatiokierroksen aikana.
2. Koulutusaika ylittää 15 minuuttia.
3. Automaattisesti säätyvä enimmäismäärä koulutusjaksoille.
4. Virheen suhteellinen muutos on alle 1.0e-4 %.
5. Virheen muutoksen suhde on alle 1.0e-3 %.
Zacharis:sin tavoitteena oli tutkia voiko MLP-neuroverkkoja hyödyntää opiskelijan kurssituloksen määritämisessä, hyödyntämällä dataa opiskelijan käyttäytymisestä opimi-salustalla sekä osallistumisesta kurssin tehtäviin. Tutkimuksen tulokset olivat todella hyviä ja neuroverkon luokittelukyky oli erinomainen. Zacharis:sin saamat tulokset koulutuksen lopussa [Taulukko 2.2].
Taulukko 2.2:Zachariksen saamat tulokset koulutuksen lopussa Lopputulos Hylätty Hyväksytty Luokittelutarkkuus(%)
Hylätty 28 1 96,6%
Hyväksytty 0 30 100%
Kokonaisprosentti 47,5% 52,5% 98,3%
2.2.2 Jie Xu ja kumppanit
Xu ja kumppanit lähestyvät tutkimuksessaan asiaa koulutuksen kustannusten tiimoilta eli miten koulutuksesta saataisiin edullisempaa. Yksi hintojen laskun mahdollistava tekijä on opiskelijoiden valmistumisnopeus. Ajallaan tai ennenaikaisesti valmistuva opiskelija kuluttaa oppilaitoksen resursseja vähemmän kuin hitaasti opinnoissa etenevä opiskelija. Niinpä olisi hyödyllistä rakentaa sellainen järjestelmä jonka avulla pystyt-täisiin seuraamaan opiskelijoiden etenemistä ja oppimistuloksia jatkuvan seurannan periaatteella sekä ennakoimaan tulevaa. Tällöin keskeyttäneiden tai muuten opintojen vaikeuden sekä haasteiden takia tapahtuva hidastuminen voitaisiin havaita hyvissä ajoin ja puuttua siihen. Tutkimuksessan käytettiin 1169 Kalifornian yliopiston mekaanisen ja avaruustieteen laitoksen opiskelijan tietoja jotka oli kerätty kolmen vuoden aikana.[20]
Xu ja kumppanit huomauttavat että vaikka opiskelijoiden oppimistuloksien ennakointia on tutkittu paljon, on tavoitteena ollut ratkoa älykkäinen tuutorointijärjestelmien (Intel-ligent Tutoring System, ITS) ongelmia sekä perinteisten että MOOC-opintokurssien suorittamista. Ne kuitenkin eroavat merkittävästi tutkintoon tähtäävien opintojen ennus-tamisesta, joissa tulee vastaan uudenlaisia ongelmia.
Ensimmäinen haaste on se, että tutkinto koostuu lukuisista eri kursseista ja niiden suori-tusjärjestys vaihtelee opiskelijoittain muun muassa pää- ja sivuaine kokonaisuuksien mukaan. Lisäksi opiskelijoiden taustat voivat poiketa toisistaan huomattavasti, joka on yksi merkittävä tekijä opintojen suoritusnopeuden sekä arvosanojen ennakoinnissa. Kurs-silla voi samaan aikaan olla sekä pääaineopiskelijoita että kyseistä ainetta sivuaineena tekeviä. Tämä lisää opiskelijoiden taustojen vaikutusta ennakointiin, koska opiskelijoita tulee eri osaamis- ja tietotaitotasoilla.
Toisekseen opiskelija suorittaa opintojensa aikana lukuisia kursseja jotka eivät kuitenkaan ole keskenään saman veroisia oppimistuloksien ennakoinnin kannalta. Eri kurssien välillä voi olla suuria eroja niiden antaman informaation välillä. Niinpä ennakointiin ei kannata käyttää kaikkia kursseja vaan pyrkiä valitsemaan mahdollisuuksien mukaan vain relevantit. Kaikkia kursseja ei kannata käyttää, koska se ensinnäkin lisää datan määrää ja monimutkaisuutta ja tuo siten merkittävästi lisää kohinaa, joka taas johtaa ennakointitarkkuuden laskuun.
Kolmanneksi opiskelijoiden oppimistulosten ennakointi tutkinto-ohjelmassa ei ole yhdellä kerralla suoritettava tehtävä vaan vaatii jatkuvaa seurantaa ja analysointia opiskelun etenemisen ohessa.
kolme päävaihetta ovat algoritmin toteutus, datapohjaisen kurssiklusterointialgoritmin toteuttaminen sekä simuloitujen opintojen tekeminen. Tutkimuksessa käytettävä data on kerätty 1169 opiskelijasta kolmen vuoden ajalta.
Tutkimuksessa käytettävä ennakointialgoritmi on progressiivinen eli sitä voidaan päivit-tää ajan saatossa uudella opiskelijadatalla. Idea on siinä että kun opiskelija suorittaa opintoja, hänen tietämyksensä aiheesta kasvaa, jolloin myös aiemmin opitun tiedon vaikutus voimistuu tiedon soveltamisen myötä. Tutkimuksessa opiskelijoiden käymien kurssien relevanttiutta oppimistulosten kannalta pyrittiin selvittämään eri suosittelijajär-jestelmistä (recommender systems) tutulla todennäköisyysmatriisikertoimella (probabi-listic matrix factorization). Oppimistulosten ennakoinnissa kohdataan samankaltaisia haasteita kuin esimerkiksi elokuvien suosittelijajärjestelmissä eli jokainen käyttäjä on arvostellut vain pienen osan koko elokuvakannasta. Tilanne on sama opiskelijoiden kanssa koska jokainen opiskelija käy vain pienen osan koko kurssitarjonnasta jolloin kurssien relevanttiutta oppimistulosten kannalta on hankala päätellä aukottomasti. Kurs-sin relevanttiutta voidaan kuitenkin päätellä sen mukaan onko kyseinen kurssi kuinka monen kurssin esitietovaatimuksena. Tätä tietoa voidaan hyödyntää myös syötteiden lukumäärän minimoinnissa, koska syötteiksi voidaan valita vain ne kurssit jotka ovat kunkin kurssin esitietovaatimuksena.
Xu ja kumppanit toteavat että arvosanojen keskiarvon ennakointi suoraan opintojen päättyessä on hankalaa, joten he pilkkovat ongelman pienempiin kokonaisuuksiin ja ennakoivat arvosanat yksittäisille kursseille. Tälläkin tavalla opintojen edetessä arvosanan ennakointi monimutkaistuu, koska suoritettujen kurssien määrän kasvaessa myös niistä tulevien syötteiden määrä kasvaa.
Tutkimusta varten Xu ja kumppanit loivat neljä ennustusalgoritmia joiden avulla opiskelijoiden menestystä ennakoitiin vuosineljänneksittäin. Käytetyt algoritmit olivat lineaarinen regressio, logistinen regressio, satunnainen metsä (Random Forest) sekä K-lähin naapuri. Xu ja kumppanit haluavat painottaa kuitenkin että he tekivät oletuksen että saman alan opiskelijat suorittavat kurssit samassa järjestyksessä sekä valitsevat samat pääkurssit joka vuosi neljännes. He toteavat kuitenkin että oletus ei todennäköisesti pidä aina paikkaansa koska todellisuudessa opiskelijat suorittavat kursseja aina hieman toisistaan poiketen.
Tutkimuksen aikana havaittiin että satunnainen metsä -algoritmi suoriutui useimmissa tapauksissa parhaiten ja K-lähin naapuri-algoritmi huonoiten. Tuloksista oli havaittavissa että ennustusvirheen määrä pieneni vuosineljänneksien kasvaessa. Tutkimuksen tarkoitus oli osoittaa, että oppimistuloksien ennakointi käytetyillä metodeilla on mahdollista ennakoida opiskelijoiden oppimistuloksia sekä esittää eroja heidän suoriutumisessa.