Er þetta sniðugt? Um PISA niðurstöður einstakra skóla

Af þessum ástæðum er mjög varhugavert að draga ályktanir út frá PISA niðurstöðum einstakra skóla. PISA könnunin gerir ráð fyrir að gögn eru skoðuð í víðu samhengi, og er það meira að segja svo að það er grunnforsenda fyrir því að niðurstöður geti talist áreiðanlegar.  

 

PISA könnunin er gerð til að meta stöðu menntakerfis, ekki einstakra skóla eða einstakra nemenda. Mikill tími, vinna og prófanir hafa farið í að tryggja að könnunin mæli það sem henni er ætlað að mæla. PISA könnunin er því mjög sérhæft mælitæki sem er ætlað að skila nákvæmum niðurstöðum um eitthvað tiltekið. Þegar við notum mælitæki sem ætluð eru í eitt til að álykta um annað, jafnvel eitthvað sem okkur finnst vera náskylt, verða útkomur ónákvæmar, og í versta falli fullkomlega ómarktækar.

 

Tökum dæmi sem flestir ættu að kannast við: segjum að við séum að hengja mynd á vegg og okkur er mikið í mun að hafa hana mjög beina. Við getum notað ýmsar aðferðir til að miða út hvernig best er að hengja hana. Við gætum t.d. notað málband til að mæla út tvo punkta frá gólfi eða lofti til að nota til viðmiðunar. En þegar við stillum myndina af samkvæmt mælingum okkar kemur í ljós að hún virkar skökk. Mælitækið sem við höfum notað tekur ekki tillit til þess að loft eða gólf eru kannski örlítið skökk. Skekkjan hefur áhrif á myndina þannig að þessi smávægilegi halli, sem við tökum yfirleitt ekki eftir, verður óbærilega truflandi. Hins vegar ef við notum hallamál, verkfæri sem er sérhannað til þessa verks, þá erum við laus við skekkjuna. Það er eins með að nota PISA niðurstöður í eitthvað annað en þeim er ætlað - hætta er á að smávægilegar skekkjur verði svo ýktar að útkoman verði með öllu ómarktæk.

 

Áreiðanleiki PISA könnunarinnar felst í aðferðafræðinni sem hún byggist á, sem hefur verið mjög vandlega þróuð til að tryggja að niðurstöður eru í samræmi við markmið könnunarinnar. Hönnuðir könnunarinnar þurfa að hafa ýmislegt í huga, en sérstaklega að mælitækin sem þeir eru að búa til samræmast ekki endilega námi þátttakenda. Þegar nemendur taka hefðbundin próf þá hafa þeir venjulega farið saman í gegnum um nám þar sem efnið hefur verið kynnt og kennt á tiltekinn hátt. Þá má gera ráð fyrir að hægt sé að spyrja spurninga í samræmi við kennsluna sem allir nemendur skilja og átta sig á hvað er verið að spyrja og hvernig eigi að leysa verkefnið.

 

Í PISA er fjöldi nemenda frá ólíkum skólum og löndum sem hafa fengið ólíka kennslu sem eiga að taka þátt í staðlaðri könnun sem skilar samanburðarhæfum niðurstöðum. Ef prófað væri með hefðbundnum hætti í PISA könnuninni væri nánast ógerlegt að semja spurningar sem væru svo almennar að allir þátttakendur, sama hvers konar kennslu þeir hafa fengið eða hver þeirra námsreynsla er, standi jafnt að vígi. Þá væru skekkjurnar það verulegar vegna óskyldra þátta að niðurstöður væru ómarktækar.

 

Til að minnka áhrif fyrirsjáanlegra skekkja í PISA er notast við 13 ólík prófhefti sem eru dreifð handahófskennt á þátttakendur. Þá má gera ráð fyrir að þegar niðurstöður stórra hópa eru skoðaðar þá dreifast smávægilegar skekkjur á fjölda þátttakenda og verða fyrir vikið óverulegar (byggist á tölfræði lögmálinu the law of large numbers). Hins vegar ef niðurstöður lítilla hópa eru skoðaðar geta skekkjur orðið mjög ýktar.

 

Segjum að í einum íslenskum skóla voru 15 nemendur sem tóku þátt í PISA. Tilviljun réði því að helmingur nemendana fengu sama prófhefti og að þetta tiltekna prófhefti reyndist mjög erfitt fyrir íslensku nemendurna að skilja. Þeir voru ekki vissir hvert verkefnið var sem þeir áttu að leysa vegna þess að orðalagið var framandi af einhverjum ástæðum (þetta er ýkt dæmi og ekki líklegt að slíkt gerist í raun). Þegar niðurstöður frá þessum tiltekna skóla væru skoðaðar gæti útkoman verið mjög slök. Það er ekki vegna þess að nemendurnir kunnu ekki að leysa verkefnin sem voru lögð fyrir, heldur að stór hluti þeirra skildu ekki spurningarnar. Hins vegar, ef við skoðum landið í heild þá verða þessir 7,5 nemendur sem fengu óskiljanlegt próf svo lítill hluti af heildinni að þeir hafa ekki teljandi áhrif á lokaniðurstöður.

 

Það er mjög varhugavert að draga ályktanir út frá PISA niðurstöðum einstakra skóla. PISA könnunin gerir ráð fyrir að gögn séu skoðuð í víðu samhengi, og er það meira að segja svo að það er grunnforsenda fyrir því að niðurstöður geti talist áreiðanlegar. Þetta er ekki lagalegt mál, ekki pólitískt eða einfalt álitamál sem stofnanir samfélagsins geta skorið úr um - þetta er aðferðafræðilegt mál og úrskurður dóms breytir því ekki að það er aðferðafræðilega varhugavert að birta PISA niðurstöður með þeim hætti sem Reykjavíkurborg hefur verið gert að gera.

Borgaskóli stóð sig best í PISA

Ný gjaldskrá Símans = aukinn kostnaður fyrir kennara og nemendur

Eins og flestir vita hefur Síminn kynnt nýja gjaldskrá fyrir nettengingar. Helsta breytingin er að nú verður rukkað jafnt fyrir bæði innlendun og erlendan gagnaflutning. Það er ýmislegt sem hægt er að segja um þessa breytingu en mig langar sérstaklega að vekja athygli á kostnaðaraukningu sem þetta hefur í för með sér fyrir notkun upplýsingatækni í skólastarfi.

Í nýjum námskrám er gert ráð fyrir að netið nýtist í námi og kennslu bæði til upplýsingaöflunnar og miðlun kennsluefnis. Sérstaklega er lögð áhersla á notkun fjölbreyttra miðla, s.s. myndrænt- og hljóðrænt efni. Það er allt gott og vel og margir kennarar að gera góða hluti með þau markmið. Hins vegar, hefur skortur á aðgengilegri hýsingu innanlands fyrir slíkt námsefni verið nefnt sem hindrun. Vandinn er að notkun hýsingarmöguleika erlendis, s.s. YouTube o.fl., fylgir aukinn kostnaður fyrir kennara og nemendur vegna gjaldtöku samskiptafyrirtækja fyrir erlent niðurhal. Þannig verður nemendum og kennurum mögulega mismunað þar sem aðgengi þeirra að kennsluefni sem er þannig hýst ræðst að einhverju leyti af getu þeirra til að greiða fyrir niðurhalið. Sérstaklega á þetta við um margmiðlunarefni sem getur verið þungt og kostað heilmikið niðurhal.

Síðustu ár hefur verið töluverð umræða um þörf fyrir aðgengilega og hagkvæma hýsingarkosti hér á landi til að gera námsefni aðgengilegt á netinu án þess að það feli í sér aukinn kostnað fyrir þá sem þurfa að nota það. Eitthvað hefur miðast í þessum málum, t.d. með tilkomu vefsins Vendikennsla.is þar sem kennarar geta gert margmiðlunarefni aðgengilegt fyrir nemendur. Vistun efnis er ókeypis fyrir kennara og allt efni er hýst á innlendum þjónum þannig að niðurhal hefur verið ókeypis fyrir nemendur.

Ný gjaldskrá Símans gerir þessar framfarir að engu. Viðskiptavinir þurfa að greiða fyrir niðurhal á efni frá innlendum hýsingaraðilum eins og Vendikennsla.is sem þeir gerðu ekki áður. Ennfremur get ég ekki séð að það séu neinir möguleikar til að koma til móts við þá sem eru efnaminni eins og nýja gjaldskráin er sett upp. Ný gjaldskrá Símans gerir það að verkum að aukin notkun stafrænna miðla í námi og kennslu -eins og hvatt er til í nýjum námskrám- mun fela í sér aukinn kostnað fyrir bæði kennara og nemendur.

Síminn hyggst rukka fyrir alla notkun