Tässä työssä tarkastellaan erilaisia tapoja arvioida verkkokurssien laatua. Pohdimme myös perinteisen opetuksen ja verkkokurssien laadun arvioinnin eroja ja yhtäläisyyksiä, arvioinnin merkitystä ja erilaisten menetelmien sopivuutta eri tahoille, sosiaalista tiedonrakentamista ja tietotekniikan hyödyntämistä siinä sekä verkostopohjaisen oppimisen analysointia.
Mitä sitten arvioidaan kun arvioidaan verkkokurssin laatua ja eri tutkimustapoja mitata tätä laatua? Tarkoituksemme ei ole määritellä, millainen on hyvä verkkokurssi, vaan tarkastelemme erilaisia tapoja tutkia kurssien laatua. Verkkokurssit ovat vielä aika uusia eikä niille ole tehty yleisiä laatustandardeja tai tarkistuslistoja, joten muutenkin hankalan laatukäsitteen määrittely on vielä vaikeampaa. Pelkät oppimistulokset eivät kerro koko totuutta eivätkä hyvät materiaalit tai hyvä oppimisympäristö välttämättä riitä takaamaan hyvää verkkokurssia, joten yritämme tässä seminaarityössämme luoda hieman pohjaa uuden opiskelumuodon arvioinnille ja kehittämiselle.
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
Teknologiavälitteisessä oppimisessa, johon myös verkko-opetus kuuluu, on edistytty paljon. Käytäntö on kuitenkin toteutettu ilman teoreettista pohjaa, jota nyt luodaan jälkijunassa (Alavi & Leidner 2001). Teoreettisen pohjan muodostaminen vaatii tietoa jo olemassa olevista elementeistä sekä niiden hyvistä ja huonoista puolista. Myös verkko-opetuksen kehittäminen vaatii tietoa siitä, mitkä ovat sen vahvuudet ja heikkoudet. Tämän vuoksi verkko-opetuksen laadun arviointi ja arviointimenetelmien kehittäminen on hyödyllistä. Tämä tapahtuu syventämällä ja laajentamalla tietämystä sen osa-alueista (Alavi & Leidner 2001).
Tutkittaessa itse verkko-oppimista oppimisen kannalta nimittää Alavi sitä osuvasti "syventäväksi". Tällöin tutkitaan oppimisen perusteita, sitä mikä luo pohjan hyvälle oppimiselle. Alavi mainitseekin yhdeksi tutkimusalueeksi oppimisprosessin. Lisäksi voi vielä tutkia itse oppimistuloksia koska nekin kertovat omaa kieltään oppimisen onnistumisesta. Tutkimisen arvoisia ovat myös oppilaiden kokemukset ja tunnelmat verkkokurssin "luokkahengestä" ja yhteenkuuluvuuden kokemisesta.
Tietämyksen laajentaminen tapahtuu tutkimalla kuinka pitkälle verkko-opetuksen vaikutus ulottuu tarkasteltaessa verkkokursseilla lleiden opiskelijoiden tietojen
Tietoja laajentavaa tutkimusta on myös verkko-opetuksen lisääntymisen vaikutus vaikkapa opetuksen aikataulutukseen ja opetusohjelmaan. Muuttaako verkko-opetus käsitystä lukukauden ja -vuoden kestosta ja jaksotuksesta, häviävätkö opiskelijoiden kesälomat virtuaaliyliopiston myötä, nopeutuuko tai hidastuuko valmistuminen korkeakouluista ja saataisiinko verkko-opetusta järjestämällä kesälukukausi tehokkaaseen käyttöön niitä varten, jotka eivät tee kesätöitä"
Tietämystä verkko-opetuksesta täyty lisätä ensin tutkimalla yksittäisen oppilaan sijasta kaikkia kursseja ja siitä laajentaa tutkimusta koko opetusohjelmaan ja organisaatioon. (Alavi & Leidner 2001)
Lisäksi yksittäisten henkilöiden tulee laajentaa omaa tietämystään ja jakaa tietoa muille käytetyistä menetelmistä ja niiden ominaisuuksista. Verkkokurssia vetävän opettajan on hyvä tietää myös muista verkko-opetuskursseista ja -menetelmistä ja näin vertaamalla parantaa kurssien laatua. Jos tietämys organisaation sisällä on hyvin hajanaista, ei sitä voida käyttää täysipainoisesti hyväksi ja sama työ tehdään moneen kertaan. Tämä ei ole kovin kustannustehokasta eikä auta kehittämään parempaa oppimisympäristöä.
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
Erilaisia arviointimenetelmiä on monenlaisia ja ne voidaan jakaa monella eri tapaa. Kaikilla eri menetelmillä on hieman erilainen näkökulma arviointiin. Jotkut menetelmät ovat toisilleen vastakohtaisia tai niitä perinteisesti pidetään sellaisina, mutta yleensä eri menetelmillä saadut tutkimustulokset täydentävät toisiaan. Tutkimuksen luonne määrittelee käytettävät menetelmät eikä sama menetelmä sovellu välttämättä joka tieteenalalle. Tutkimusmenetelmien valinnassa on kuitenkin hyvä olla avarakatseinen ja miettiä, mitä uusia näkökulmia toinen tutkimustapa saattaisi tuoda esiin. Verkko-opetuksen laadun arvioinnissa täytyy ottaa myös huomioon monien eri tahojen tarpeet, joten erilaisten menetelmien käyttö on perusteltua ja hyödyllistä.
Kvalitatiivinen mittaaminen on vain laadullista mittaamista ja se voidaan jakaa nominaali- eli luokitteluasteikolliseksi ja järjestys- eli ordinaaliasteikolliseksi mittaamiseksi. Kvantitatiivinen mittaaminen on numeerista mittaamista, mitta-asteikkoina intervalli- ja suhdeasteikko sekä absoluuttinen asteikko. (Leppälä 2001)
Kvalitatiivinen ja kvantitatiivinen arvioinnin välillä on käyty vuosikymmenet väittelyä. Kumpikaan kanta ei ole löytänyt lyömätöntä argumenttia ja kiista onkin vähitellen laantunut ja on tultu lopputulokseen että arviointimenetelmä on valittava tilanteen mukaan. (Oliver 2000)
Kvalitatiivinen arviointitapa sopii hyvin esimerkiksi käyttäjätyytyväisyyden mittaamiseen tai käyttötapojen tutkimiseen. Kvantitatiivinen menetelmä taas sopii tutkimuksiin, joissa käsitellään numerotietoa, kuten arvosanoja tai kurssin suorittajien lukumääriä.
Formatiivinen arviointi tarkoittaa opetuksen aikana tapahtuvaa oppimisen testausta, jolla ajatellaan olevan myös motivoiva merkitys. Summatiivinen arviointi taas tarkoittaa päättöarviointia. (Karjalainen 2000)
Hyvänä esimerkkinä formatiivisesta arvioinnista voidaan mainita opiskelijan tekemä portfolio, joka pikkuhiljaa valmistuessaan antaa oppilaalle ja opettajalle käsityksen oppilaan tietojen ja taitojen karttumisesta. Summatiivinen arviointi tuottaa tietoa oppilaan lopullisesta oppimistasosta, esimerkiksi kurssiarvostelun ja päättötyön arvosanan muodossa. Laadukkaat portfoliot ja päättötyöt sekä hyvät kurssiarvosanat kertovat oman näkökulmansa kurssista, mutta absoluuttisiksi totuuksiksi niistä ei ole.
Formatiivistä arviointia voi toteuttaa myös tarkkailemalla käytettäviä työtapoja ja analysoimalla oppimisprosessia
Osallistujakeskeisessä arvioinnissa on myös opetuksellinen merkitys jolloin arviointi on osa oppimisprosessia. Osallistujakeskeisen arvioinnin vahvuus on spontaanius sekä oikea ajoitus, sekä se huomioonotettava seikka, että tällöin arvioijat ovat itse asian asiantuntijoita ja arviointikriteerit muotoutuvat tarkoituksenmukaisiksi. (Oliver 2000)
Ulkoisen arvioinnin tekijät taas ovat arvioinnin ammattilaisia ja siten asiantuntijoita tällä alalla. (Oliver 2000)
Esimerkiksi tarkistuslista sopii näistä kummankin menetelmän käytännön toteutukseksi vaikkapa tuotteen kehitysprosessin aikana. Tarkistuslista on lista, jossa luetellaan huomioitavia asioita. Tällaisia ovat muun muassa opetusmateriaalien ajantasaisuus, sivuston helppokäyttöisyys (käytettävyystestaus!), .
Verrattaessa saavutettuja tuloksia asetettuihin tavoitteisiin on arviointi absoluutista, kun taas verrattaessa tuloksia aiempaan suoritukseen on arviointi suhteellista.
Verkko-opetusta arvioitaessa on usein kysymys väkisinkin absoluuttisesta arvioinnista, sillä opetusmuodon ollessa näin uusi ei sitä voi verrata aikaisempiin suorituksiin. Tosin myös absoluuttinen arviointi voi olla hankalaa koska menetelmän kaikkia mahdollisuuksia ei tunneta eikä osata vielä ehkä aavistaakaan. Jonkin verran verkko-opetuksen laadun arvioinnissa käytetään suhteellista arviointia väärin vertaamalla verkko-opetuksen tuloksia aikaisemman lähiopetuksen tuloksiin. Toki tällainenkin vastakkainasettelu tarvitaan, mutta ei kovin suoraviivaisesti ottamatta huomioon kummankin erityispiirteitä.
Oppilaitosten ja opetusorganisaatioiden kannalta yhden oppilaan etenemisen tutkimista hyödyllisempää on koko oppilasjoukon saavuttamat tulokset, eli kurssiarvosanojen jakautuminen, valmistumismäärät ym. määrälliset menetelmät. Organisaation on todistettava rahoittajille tarpeellisuutensa ja nämä luvut ovat keskenään suoraan vertailukelpoisia, toisin kuin esimerkiksi portfoliot. Toisaalta myös organisaatio tarvitsee kehittyäkseen oppimisen prosessin tutkimista ja vertailua tehokkaimmista opetusmetodeista ja -teknologioista.
Oppilaan kannalta paras arviointivaihtoehto on sellainen, joka kertoo tuloksia oppimisen edistymisestä, tietojen karttumisesta ja ottaa huomioon erilaiset oppimistyylit. Oppilaat kaipaavat kuitenkin tietoa omasta tasostaan verrattuna kurssin yleiseen tasoon ja opetussuunnitelmassa määriteltyyn ideaalioppimistasoon.
Työnantajia ajatellen edellä mainittu oppilasta yksilöllisesti kuvaileva, mutta myös yleisen tason huomioiva arviointi lienee sopivin.
Teknologian kannalta oppimisprosessin tutkiminen on tärkeää, yksittäiset oppimistulokset eivät niinkään ole merkityksellisiä. Teknologioiden kehittäjiä kiinnostanee sillä tekniikan käytöstä opetukseen ei ole kovin paljon kokemuksia eikä niin ollen tutkimuksia. Opetustapa on melko uusi ja vielä lapsenkengissään. Teknologian kehitys menee huimaa vauhtia eteenpäin ja suunnan ohjaaminen oikeaan vaatii tietoa mikä ja mitkä kaikista mahdollisista vaihtoehdoista ovat kehityskelpoisia ja kannattavia. Oppimisprosessin tutkimisen kannalta nimenomaan formatiiviset menetelmät ovat tärkeitä.
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
Eroaako verkkokurssin laadun arviointi jollain tavalla perinteisten kurssien arvioinnista" Millä tavalla ne eroavat toisistaan" Onko yhteisiä arviointiperiaatteita"
Opiskelijoiden haastattelu on yksi hyvä tapa saada käsitystä kurssin laadukkuudesta. Haastattelu tehdään jokaiselle saman kaavan mukaan, mutta sen muuttaminen tilanteen ja haastateltavan mukaan on mahdollista. Verkkokurssilla henkilökohtaisen haastattelun tekeminen on kuitenkin hankalaa, koska fyysistä tapaamispaikkaa ei välttämättä ole ja kurssilaiset saattavat asua vaikkapa eri puolilla Suomea. Pienemmälle alueelle - esimerkiksi yhdelle yliopistolle - sijoittuvan verkkokurssin osanottajien henkilökohtainen tapaaminen ei liene niin suuri ongelma.
Henkilökohtaisia haastatteluja voisi yrittää siirtää verkkoon vaikkapa siten, että haastattelija ja haastateltava tapaisivat sovittuun aikaan tarkoitusta varten tehdyllä chattikanavalla. Järjestelmä olisi verkossa täytettävää palautelomaketta vapaampi, mutta ihmisten kanssakäymisessä paljon merkitsevä sanaton viestintä jäisi yhä pois.
Haastattelu henkilökohtaisesti tai chatin välityksellä ovat kumpikin hyvin aikaa vieviä ja työläitä ainakin haastattelijalle, joten niitä ei voi käyttää joka kurssin palautteen keräämiseen. Suurimmassa osassa mielipidetiedusteluja pitäydytään edelleen lomakekyselyissä, joilla niilläkin kyllä saadaan käsitystä kurssin tasosta.
Kiinnostavaa olisi myös tietää, vaikuttaako väline palautteeseen eli annetaanko esimerkiksi käsin täytettävällä lomakkeella erilaista palautetta kuin verkkolomakkeella tai olisivatko kasvokkain tehtävässä haastattelussa saadut tulokset jotenkin erilaisia verrattuna chattailemalla tehtyyn haastattelun.
Vertailukohtien puute voi myös tuoda omat ongelmansa. Verkko-opiskelu on vielä suhteellisen tuoretta ja monilla kursseilla on verkko-opiskelun ensikertalaisia, joten mihin he vertaavat kurssia ja miten he osaavat arvioida sitä" Tietokoneen ja ohjelmistojen käyttöön tottumattomat ihmiset saattavat syyttää opiskelun hankaluudesta itseään ja huonoja taitojaan, vaikka niissä ei oikeasti olisikaan mitään vikaa vaan parannettavaa olisi itse kurssissa. Hienoa tekniikkaa ei "teknouskovaisessa" Suomessa ehkä uskalleta moittia. Tai toisinpäin: verkkokurssia saatetaan syyttää siitä, että opiskelu ei ollutkaan helppoa eikä tieto uponnutkaan päähän hiirtä napsauttamalla. Uusi tekniikka saattaa luoda käsityksen helposta oppimisesta ja kun odotukset eivät täytykään, ihmiset pettyvät.
Verkkokeskustelussa huomasimme, että verkkokursseilla opetusmateriaalien laatu painottuu ja opettaja ja luennot (mikäli niitä ylipäänsä on) jäävät vähemmälle huomiolle. Opetusympäristö saa myös perinteistä kurssia suuremman merkityksen. Verkkokurssit suosivat oppimistyyliltään itsenäisiä ja lukemalla oppivia ihmisiä. Kuuntelemalla ja tekemällä oppivat saattavat oppia verkkokurssilla perinteistä opetusta huonommin tai ainakin opiskelu on työläämpää. Tosin jos tekemällä oppiminen merkitsee jollekulle kirjoittamista ja asioiden jäsentelyä itsekseen, voi verkkokurssi hyvinkin olla häntä varten.
Toisaalta taas, kun luentoja ei ole, jäävät henkilökemioista johtuvat ongelmat pois. Ryhmätöitä ei ole, tai jos niitä on, ihmiset tapaavat todennäköisesti vain "kasvottomasti" verkossa. Luennoitsijaa ei ole - ei ärsyttävää mutta ei mukavaakaan.
Verkkokurssin arviointia mietittäessä on myös päätettävä, otetaanko kurssilaisten erilaisia elämäntilanteita huomioon. Keskiverto-opiskelijaa ei ehkä ole olemassa perinteisilläkään kursseilla, mutta ainakaan sellaista ei ole verkkokurssilla.
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
Viime vuosikymmenien kasvatustieteelliset tutkimukset ovat tuottaneet paljon uutta tietoa ihmisten oppimisesta. Oppimin en on sosiaalista ja aktiivista toimintaa ja ihmiset yhdistävät uuden tiedon vanhoille tiedoilleen. Käsitys, jonka mukaan oppiminen olisi passiivista tiedon vastaanottamista, ei pidä enää paikkaansa. (Brandsford, Brown & Cocking 1999; Tynjälä 1999).
Passiivisesti, ilman tietoista opiskelua, opitaan hyvin paljon asioita, muun muassa käyttäytymismalleja ja tapoja, mutta jos tarkoitus on erityisesti kartuttaa oppijan tietoja ja taitoja, aktiivinen oppiminen on tehokkaampaa. Ulkoa opettelu ja pänttääminen on mahdollista ja sillä tavalla saattaa hyvinkin pärjätä jonkin aikaa, mutta kaikki opiskelijat tietänevät kokemuksesta, että syvällisempi asioiden ymmärtäminen on tie parhaaseen oppimistulokseen.
Ihmisillä on eri tapoja oppia parhaiten, mutta sosiaalisesta vuorovaikutuksesta on hyötyä useimmille. Keskustelut, yhteiset ongelmanratkaisutuokiot ja yhdessä tekeminen ovat kokemuksesta huomattu tehokkaiksi tavoiksi oppia. Pelkät ryhmätyöt eivät ole kuitenkaan mikään oppimisen taikasana, koska loppujen lopuksihan oppimisessa on kysymys yksittäisen ihmisen tietojen ja taitojen kartuttamisesta. Yksin tehtävä opiskelu ja sosiaaliset tilanteet tulee järjestää aina jokaiselle sopivalla tavalla, ei ole yhtä oikeaa ja kaikkein parasta mallia oppia asioita.
Sosiokonstruktivistisen näkökulman mukaan kieli ja muut ajattelun työvälineet kehittyvät vuorovaikutuksessa muiden kanssa. (Vygotsky 1979, Palincsar 1998). Situationaalisen käsityksen mukaan taas ihmisen taidot kehittyvät parhaiten yhteisön toimintaan osallistumalla ja sosiaalisessa vuorovaikutuksessa yhteisön jäsenten kanssa. (Lave & Wenger 1991, Salomon & Perkins 1998)
Tietotekniikan ja tietoverkkojen kehitys on luonut uusia tapoja tuottaa ja jakaa tietoa. Esimerkiksi KIE -oppimisympäristössä rakennetaan oppijoille yhteinen tietokanta, jossa tiedon muodostaminen ja pohtiminen on jaettu osallistujien kesken. (Linn 1998).
CSILE -järjestelmässä oppijat voivat esittää toisilleen kysymyksiä, kommentteja, luoda uutta tietoa ja muokata ja järjestää sitä. Järjestelmän tarkoitus on tukea ymmärtävää ja ongelmanratkaisuun perustuvaa oppimista. (Bereiter & Scardamalia 1989; Lipponen & Hakkarainen & Muukkonen 1999)
Tietoverkot ja oppimisympäristöt mahdollistavat laajat opiskelijaverkostot, tiedon helpon jakamisen ja ongelmien pohtimisen yhdessä suurella joukolla. Tutkijat ovat kiinnostuneet myös tietotekniikan tarjoamasta mahdollisuudesta seurata oppilaiden ongelmanratkaisuprosesseja. Pelkät tietoverkkoon tallentuneet tekstit tai keskustelut eivät vielä kerro verkko-oppimisen laadusta paljoakaan, vaan tietoa pitäisi saada myös siitä, kuinka oppiminen tietoverkkojen ulkopuolella tapahtuu. Verkko ei ole erillinen osa oppimista, vaan luokassa käydyt keskustelut ja kokonaan oppimistilanteiden ulkopuoliset keskustelut ovat myös osa yhteisöllistä verkko-oppimista. Oppimista tulisi tutkia sekä tietokoneympäristössä että koko kontekstissaan. (Crook 1999).
Vuorovaikutusta voidaan tutkia erilaisista näkökulmista. Monet tutkijat tutkivat yksittäisen ihmisen osallistumista erilaisissa sosiaalisissa tilanteissa ja näissä syntyvää oppimista yhden ihmisen tasolla. (Doise 1990). Toiset taas lähtevät siitä, että yksittäinen ihminen on osa ryhmää ja kulttuuria ja oppiminen sidotaan tämän ryhmän toimintaan. (Cole 1990) Kolmannet taas haluavat tutkia vuorovaikutusta ryhmän näkökulmasta, jolloin ryhmä nähdään yhtenä kokonaisuutena, jolla on samat päämäärät, tavoitteet ja keinot vaikkapa ongelmanratkaisuun. (Schwarz 1995).
Piaget ja Vygotsky ovat kehitelleet erilaisia oppimisteorioita, joiden pohjalta on kehitelty tutkivan oppimisen pedagogiikkaa. Piage'n mukaan ajattelua kehittää erilaisten näkemysten vertailu ja yritykset ymmärtää toisten ihmisten erilaisia näkökantoja. Vygotskyn mielestä taas oppiminen käy parhaiten noviisi - ekspertti -asetelmassa, eli enemmän tietävä jakaa tietojaan vähemmän tietävälle. Vygotsky on myös kehitellyt lähikehityksen vyöhykkeen: oppija työskentelee todellisella kehitystasollaan, kun hän osaa juuri ja juuri ratkaista annetun ongelman ja ongelma, jonka hän ratkaisee enemmän tietävän avulla, on hänen potentiaalinen kehitystasonsa. Lähikehityksen vyöhyke on näiden tasojen välille jäävä ero. (Piaget 1995; Vygotsky 1979)
Lähikehityksen teoriaa on käytetty apuna tutkivan oppimisen mallissa. Luokalla on yksi yhteinen pääongelma ja jokaisella oppilaalla omat tehtävänsä, joihin heidän tulee löytää ratkaisut. Oppilaita innostetaan itsenäiseen tiedon hankkimiseen sekä tutkimusten ja kysymysten tekoon. Brownin esittelemässä mallissa oppilaat on jaettu pieniin ryhmiin, jotka selvittelevät suurempaa pääongelmaa. Oppilailla on oma osaamistasonsa, jolla he työskentelevät. Opettajat ja mietittävänä olevasta asiasta enemmän tietävät oppilaat toimivat ekspertteinä, joilta muut oppilaat voivat oppia lisää sekä kyseessä olevasta asiasta että uusia ajattelutapoja. (Brown 1997).
Tutkivan oppimisen kannalta tietoverkoista on hyötyä syvemmän ymmärryksen syntymisessä. Esimerkiksi käyttämällä verkkokeskustelua opetuksen lisänä ryhmätöissä oppilaat voivat seurata toisten ryhmien käymiä keskusteluja ja kommentoida näiden tuloksia, päätelmiä ja kysymyksiä ja oppilaat voivat samalla oppia toisten ongelmanratkaisutapoja ja ajattelumalleja. (Vygotsky 1979; Brown 1997).
Parhaassa tapauksessa verkkokeskustelussa mukaan pääsevät kaikki eikä erilaisilla temperamenteilla ja sosiaalisella asemalla luokassa ole niin suurta merkitystä kuin luokkahuoneessa "livenä" käytävissä keskusteluissa. Peruskoulussa perinteisissä ryhmätöissä on suuri vaara, että osa ryhmästä tekee ja ideoi ja ujommat tai taidoiltaan kehittymättömämmät oppilaat jäävät toisten varjoon. Verkkokeskustelussa on tosin omat ongelmansa, kuten Miller ja Paarvala toteavat omassa seminaariesitelmässään Luottamus ja oppiminen verkkoympäristössä. Verkkokeskustelun kompastuskiviä voivat olla ryhmän koko, roolitus, ryhmän muodostaminen sekä ryhmän jäsenten välinen luottamus ja vuorovaikutus. (Miller & Paarvala 2003)
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
Verkostopohjaisesta oppimisesta tiedonrakentamisen, ajattelumallien ja päätelmien syntymistä ja kehittymistä on helpompi seurata ja tutkia kuin perinteisessä opiskelussa. Esimerkiksi verkkokeskustelussa tekstit jäävät talteen. Tavallisia keskustelutilanteita voidaan videoida. Järvelä & kumppaneiden tekstissä Sosiaalinen tiedonrakentaminen verkko-oppimisessa on tutkittu erään ala-asteen neljännen luokan luonnontieteiden opiskelua. Opiskelun aiheena oli aistit. Oppilaat jaettiin neljään ryhmään ja jokainen ryhmä sai valita pääaiheesta (eli aisteista) itseään kiinnostavan osa-alueen. Oppilaat kävivät keskustelua sekä perinteisesti ryhmissä että verkkokeskusteluna. Erään oppilasryhmän keskustelutilanteet videoitiin analysointia varten.
Videoidusta keskustelutilanteesta tehdään loki, eli kaikki puheet ja toiminta kirjoitetaan ylös eli litteroidaan. Kommenttien analysointiin osallistui kaksi tutkijaa, jotta keskustelujen tasot varmasti analysoitaisiin mahdollisimman tarkasti ja oikein. Puheet jaettiin kolmeen eri tasoiseen kommenttiryhmään.
Alimman tason tiedot liittyivät tietojen palauttamiseen tai vastaanottamiseen (esimerkiksi tietojen lukeminen ja kopiointi kirjasta) tai oppilaiden omiin kokemuksiin.Korkeamman tason kommentit liittyvät ymmärtämiseen, tapahtumien ja syiden selittämiseen, perusteluihin ja uuden tiedon luomiseen.Korkeimmalla metakognitiivisella tasolla on toiminnan ohjaus, suunnittelu ja arviointi - oppilas esimerkiksi hoksasi, mitä ongelman ratkaisemiseksi olisi hyvä lukea tai tehdä. Perinteisesti korkein taso on kuulunut opettajalle, mutta tutkivan oppimisen periaatteiden mukaan korkein tasokin jätetään oppilaiden käytettäväksi.
Esimerkki luokkatilanteessa tapahtuvasta sosiaalisen tiedonrakentamisen analysoinnista:
Seuraavassa keskustelussa kuvataan neljän oppilaan keskustelu. Ryhmän tarkoitus on laatia tutkimussuunnitelma aiheesta "Millaisia eroja on ihmisellä ja eläimellä". Oppilaat selailevat eläinaiheisia kirjoja keskustelun lomassa.
Jussi: Mutta miten pitäis saada selville, onko ihmisillä ja eläimillä samanlaisia aisteja. Ei olla vielä kirjoitettu: ihmisellä ja eläimellä on samanlaisia aisteja...
Ville: Eikö näköaisti kuitenkin"
Tauko keskustelussa
Ville: Niillähän on kaikki samat aistit.
Mari: Niin onkin.
Janne: Ne vaihtelee.
Mari: Vahvempia!
Ville: Ne on heikot tai vahvat. Pannaan tänne eläimillä on samanlaiset vahvat... (Alkaa kirjoittaa kommenttiaan vihkoonsa.)
Mari: (puhuu päälle ja kääntyy Villeen päin) Eikä kun että yleensä eläimillä on vahvat aistit.
Tutkijan tulkinta esimerkkikeskustelusta:
Oppilaat jäsensivät ryhmänsä tutkimusongelmaa. Jussi pyrki metakognitiivisella kommentillaan suunnitelemaan tutkimusta ja ohjaamaan ryhmäntoimintaa, mutta muut oppilaat eivät olleet vielä jäsentäneet ongelmaa, mikä näkyy Marin ja Villen alemman tason kommenteissa. Janne esitti vertailua vaativaa tietoa ihmisten ja eläinten aistien erilaisuudesta, mikä johti Villen ja Marin pohtimaan asiaa uudesta näkökulmasta. Viimeisessä kommentissaan Mari osoitti ymmärtävänsä, että aistien erilaisuuksia ei saa yleistää, jolloin hän ohjasi Villen kirjoittamista sekä tutkimussuunnitelman jäsentymistä.
Tässä esimerkkikeskustelussa Jussi oli osoittanut ymmärtävänsä ryhmänsä tutkimuskysymyksen ja pystyi esittämään heti keskustelun alussa tutkimuksen tekemistä suuntaavan kommentin. Ville ja Mari jatkoivat aistien vertailua yleisellä tasolla. Vasta Jannen kommentin jälkeen Ville ja Mari pystyivät irrottautumaan faktatietojen esittämisestä ja keskittyivät korkeampia kognitiivisia toimintoja vaativaan suunnitteluun.
Tutkijat siis käyvät koko keskustelun läpi ja luokittelevat jokaisen kommentin ja puheenvuoron johonkin kolmesta yllämainitusta kommenttitasosta. Tämän jälkeen kommentit voidaan merkitä kolmitasoiseen kaavioon ja näin saadaan keskustelun etenemistä kuvaava taulukko.
Haastattelututkimus on havainnoivan tutkimuksen ohella toinen tiedonkeruutapa. Haastattelututkimuksessa ihmisiltä (käyttäjiltä, osallistujilta") itseltään kysytään mielipiteitä ja kommentteja tutkittavana olevasta asiasta. Esimerkkinä haastattelututkimuksesta kerromme Anne Nevgin ja Kirsi Tirrin tekemästä VEDET-projektin tutkimuksesta (Nevgi & Tirri 2003).
VEDET-projektissa tarkoitus oli tutkia oppimista edistäviä ja estäviä tekijöitä aikuisilla verkko-opiskelijoilla. Tutkittava ryhmä oli osallistunut joko Helsingin yliopiston virtuaalisen avoimen yliopiston kursseille tai Apajan verkko-opetukseen. Aineisto kerättiin lähettämällä postitse kyselylomake yhteensä 875 opiskelijalle ja 40 opettajalle.
Kyselyssä oli viisi osaa. Ensimmäisessä osassa kyseltiin verkkokurssille osallistumiseen ja suorittamiseen liittyviä asioita. Toisessa ja kolmannessa osassa selvitettiin oppimista ja opiskelua edistäviä ja estäviä tekijöitä sekä verkkokurssin toteutuksen onnistuneisuutta. Neljäs osa oli omistettu opiskelijoiden ja opettajien kuvauksille ihanteellisesta verkkokurssista ja viidennessä osiossa tiedusteltiin taustatietoja.
Oppimista ja opiskelua edistäviä tekijöitä kartoitettiin käyttämällä Jonassenin, Ruokamon ja Pohjalaisen esittelemiä mielekkään oppimisen kriteereitä ja tekemällä niiden pohjalta 49 väittämää, joihin piti vastata 5-portaisella "ei kuvaa -kuvaa hyvin" -asteikolla. Estäviä tekijöitä etsittiin käyttämällä aikaisemmin tehtyjen tutkimusten kysymyksiä (Berge 1998, Burge 1994) ja tekemällä niistä 43 edellä kuvatun kaltaista väittämää.
Vastaajien joukosta valittiin kaksi henkilöä (mies ja nainen) tarkempaan haastatteluun. Henkilökohtaisessa haastattelussa kartoitettiin postikyselyä tarkemmin heidän opiskeluelämänkertojaan, suhdetta tietotekniikkaan sekä elämäntilannetta, jonka aikana he olivat verkkokurssille osallistuneet. Tapauskertomukset antavat tutkijoille tarkempia tietoja yksittäisten ihmisten oppimiskokemuksista verkkokurssilla.
Kvantitatiivisessa analyysissä kerätyt aineistot yhdistettiin ja vastauksista tutkittiin erilaisia yhteyksiä.
Kvalitatiivista osuutta kyselyssä edustivat omin sanoin vastattavat kohdat, joissa opiskelijoita pyydettiin kuvailemaan hyvää verkko-opettajaa, hyvää verkko-opiskelijaa ja hyvää verkko-oppimisympäristöä. Opiskelijat kuvailivat omin sanoin myös verkko-opiskelun hyviä puolia. Vastaukset luokiteltiin pääluokkiin ja nämä vielä alaluokkiin.
Verkko-oppimista voidaan tutkia myös tarkastelemalla käyttäjien liikkeitä ja toimia verkossa ja internet-sivuilla. Kerätyt lokitiedot (log data) jaetaan eri tyyppeihin sen mukaan, mitä tieto on tai kuinka se on kerätty. Päätyypit ovat verkkopalvelinlokit (web server logs), käyttäjäloki (client-side logs) ja käytettävyystestein saadut tiedot. (Burton & Walther 2001)
Verkkopalvelinlokeihin kerätään tietoa kaikesta palvelimella tapahtuvasta liikenteestä. Hakulokiin (access log) tallennetaan muun muassa käyttäjän käyttämän tietokoneen verkko-osoite, yhteydenottoaika ja käyttäjä verkosta koneelleen lataaman tiedon tyyppi (eli lataako käyttäjä html-tekstiä, kuvaa tms.).Agenttilokiin (agent log) tallennetaan tiedot käyttäjien tietokoneiden internetselaintyypeistä ja käyttöjärjestelmistä. Virhelokit (error logs) taas sisältävät tiedostojen löytämisessä ilmenneet ongelmat ja virhetilanteet ja keskeytyneet tiedonsiirrot. Viittauslokiin (referrer log) tallentuvat tiedot siitä, mihin palvelimelta on tehty hyperlinkkejä ja mistä on linkityksiä palvelimelle päin. (Burton & Walther 2001)
Tutkimus: Burton ja Walther ovat tutkineet lokitietojen avulla, kuinka internet-sivujen rakenne vaikuttaa sivun käytettävyyteen. Netissä on runsaasti eri tavoilla rakennettuja sivustoja, joista jotkut ovat hyviä ja toiset taas eivät. Tiedon pitäisi olla helposti saavutettavissa ja hyvin järjestetty. Käyttöliittymien suunnittelun ammattilainen Jacob Nielsen vastustaa kehyksiä ja sanoo niiden hämmentävän käyttäjiä, latautuvan hitaasti ja olevan vaikeita käyttää (Nielsen 1996). Burton ja Walther kuitenkin olettavat, että kehysten (frame) käyttö internet-sivujen rakenteena helpottaa tietojen järjestämistä ja käyttäjä viipyy sivustolla pidempään kuin muulla tavalla järjestetyllä sivulla. Tutkimuksessa tutkittiin myös, kuinka paljon aikaa käyttäjät viettävät internet-sivustolla ja kuinka monta yksittäistä sivua käyttäjät avaavat.
Tutkimusta varten tehtiin kolme sivustoa, joilla sisältö oli täsmälleen samanlainen, mutta rakenne vaihteli. Sivustot olivat oikeita yliopiston tiedekunnan sivustoja, jotka sisälsivät 18 laitoksen tiedot. Sivuja käytettiin NT-ympäristössä .edu -domainilla.
Sivustoversiot: Ensimmäinen sivusto oli rakennettu siten, että etusivulla oli sisällysluettelomainen lista kaikista 18 laitoksesta. Jokainen laitoksen nimi oli tavallinen sininen linkki laitoksen omalle sivulle. Jokaisesta linkistä aukesi aina uusi sivu, joten jos käyttäjä klikkasi kaikkia etusivun linkkejä eikä sulkenut yhtäkään ikkunaa, näytöllä oli lopulta auki 18 erillistä laitossivua. Toinen versio oli tyypillinen kehysrakenne: sivu oli jaettu kahteen osaan siten että vasemmalla olevalle valikkosivulle oli tehty linkkilista kaikista tiedekunnan laitoksista ja laitossivu avautui aina oikealle puolelle sivua. Uusi laitossivu avautui aina viimeksi katsotun päälle, jolloin selainsivut eivät lisääntyneet koko ajan. Kolmas sivustoversio oli yksi, pitkä internet-sivu, jolle kaikkien kahdeksantoista laitoksen tiedot oli laitettu peräjälkeen. Käyttäjä suunnisti sivustolla ainoastaan rullaamalla sivua alas- ja ylöspäin. (Burton & Walther 2001)
Koe:Tutkimukseen koehenkilöt hankittiin yhdysvaltalaisesta teknillisestä yliopistosta. Heille annettiin internet-sivun osoite, jossa selitettiin tutkimusta ja annettiin toimintaohjeita. Tältä aloitussivulta he pääsivät jatka-painikkeella varsinaisille testisivuille, jota he saivat tutkia haluamansa ajan. Tämän jälkeen he vastasivat kysymyksiin.(Burton & Walther 2001)
Tutkimus tehtiin nimettömänä eikä osallistujista kerätty tarkempia tietoja. Suurin osa osallistujista teki testin yliopiston tietokoneilta käsin, tosin modeemia käyttäneitä ja muualta yliopiston ulkopuolelta yhteyden ottaneitakin oli mukana. Tutkimuksen suoritti onnistuneesti 60 henkilöä. (Burton & Walther 2001)
Tutkimustulokset analysoitiin Quest Softwaren Funnel Web Enterprise -sovelluksella. Sovellus listasi jokaisen yksittäisen käyttäjän, yhteydenottokoneen sijainnin (URL), yhteydenottoajan, liikkeet sivustolla, avatut sivut (kehys- ja pop-up-versioissa).
Tulokset: Sivujen tutkimisajoissa ei havaittu suuria eroja. Kehykset eivät heikentäneet sivujen käyttöä.(Burton & Walther 2001)
Lokit ovat tehokas ja melko edullinen tapa kerätä tietoa käyttäjien liikkeistä verkossa. Verkko-opetus tapahtuu usein internet-sivujen tai internetissä olevan sovelluksen avulla, joten lokit ovat hyvä apuväline myös verkkokurssien laadun arviointiin. Lokien avulla voidaan arvioida sekä sivuston käytettävyyttä että oppilaan tapaa toimia verkossa. Lokitiedoilla saadaan selville, mistä sovellusta/sivustoa käytetään, kuinka usein siellä käydään, kuinka pitkiä aikoja kerrallaan, miten käyttäjä sovelluksessa liikkuu, millaisia ongelmia ilmenee, minkä tyyppistä tietoa käyttäjä sivustolta hakee ja mitä sivuston palveluista hän todella käyttää.
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
Keskusteluumme muotoutui tavallaan kolme erilaista keskustelusäiettä.
Aluksi keskusteltiin oppimisen arvioinnista, jossa mietittiin mm. arvosanojen merkitystä ja oppilaille tehtäviä kyselyjä. Yksi laadukkaan kurssin merkki on, että opitut asiat ovat suurin piirtein samoja kuin kurssin tavoitteet. Portfolion teko ja opittujen asioiden listaaminen olivat erinomaisia ideoita laadun arvioimisen avuksi.
Seuraavaksi arvioitiin kurssin järjestelyjen ja sisällön laatua. Pohdimme mahdollisuutta tehdä erilaisia laatustandardeja, jotka määrittelisivät rajat ja olisivat jonkinlaisena konkreettisena apuna järjestäjille. Laatu on usein subjektiivinen käsite, mutta sitä täytyy voida arvioida joidenkin yleisten kriteerien mukaan, joita ovat mm. käytettävyys, materiaalien laatu, hinta-laatu-suhde.
Lopuksi pohdimme verkkokurssien ja yleensäkin yliopisto-opintojen julkista arvostelua. Pohdimme myös lähiopetuksen ja verkkokurssien eroja ja niiden erilaisia painopisteitä. Yleistäen voisi sanoa, että lähiopetuksessa painottuu opettajan rooli, verkkokurssilla hyvät materiaalit ovat merkittävämpiä. Pääsääntöisesti laatukriteerit kuitenkin ovat samat.
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
Verkkokurssien laatua voidaan arvioida monin eri tavoin. Yhtä oikeaa tapaa ei ole ja parhaat arviointitulokset saadaan käyttämällä useampaa menetelmää ja arvioimalla kurssia opiskelijan, opettajan ja yhteisön näkökulmista (Knox et. al. 1999). Arviointimenetelmien on tarkoitus antaa käyttökelpoista tietoa monille eri tahoille yksittäisestä opiskelijasta koulutusorganisaation tasolle saakka.
Verkkokurssien arviointi ei oleellisesti eroa perinteisen opetuksen arvioinnista. Opiskelu on opiskelua välineestä riippumatta ja onnistuneen opiskelun tulos on aina oppijan lisääntynyt tai syventynyt tietomäärä tai kasvanut taitotaso. Verkot ja tietokoneet saattavat helpottaa opetuksen järjestämistä niin, että aikataulut ja suoritustavat sopivat mahdollisimman monelle opiskelijalle, mutta itse oppimisprosessi ja tiedon karttuminen on silti yhä riippuvainen opiskelijan omasta aktiivisuudesta. Uudet tekniikat ja tavat järjestää opetusta eivät tee itse opiskelusta yhtään helpompaa - joskaan ei toivottavasti vaikeampaakaan. Kurssin voi saada kotiinsa muutamalla hiiren klikkaamisella, mutta tiedon saaminen opiskelijan päähän vaatii yhä lukemista, kirjoittamista, ongelmien ratkaisua ja miettimistä.
Koska verkkojen ja tietokoneiden on kuitenkin tarkoitus helpottaa opetuksen järjestämistä ja lisätä saatavuutta koskemaan mahdollisimman laajaa opiskelijajoukkoa, on opetuksen laadun arviointi ja arviointimenetelmien kehittämien tarpeellista. Laatustandardit ja verkkokurssia laadittaessa käytettävät laaduntarkistuslistat olisivat erittäin hyödyllisiä.
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9