Er þetta sniðugt? Um PISA niðurstöður einstakra skóla

Af þessum ástæðum er mjög varhugavert að draga ályktanir út frá PISA niðurstöðum einstakra skóla. PISA könnunin gerir ráð fyrir að gögn eru skoðuð í víðu samhengi, og er það meira að segja svo að það er grunnforsenda fyrir því að niðurstöður geti talist áreiðanlegar.  

 

PISA könnunin er gerð til að meta stöðu menntakerfis, ekki einstakra skóla eða einstakra nemenda. Mikill tími, vinna og prófanir hafa farið í að tryggja að könnunin mæli það sem henni er ætlað að mæla. PISA könnunin er því mjög sérhæft mælitæki sem er ætlað að skila nákvæmum niðurstöðum um eitthvað tiltekið. Þegar við notum mælitæki sem ætluð eru í eitt til að álykta um annað, jafnvel eitthvað sem okkur finnst vera náskylt, verða útkomur ónákvæmar, og í versta falli fullkomlega ómarktækar.

 

Tökum dæmi sem flestir ættu að kannast við: segjum að við séum að hengja mynd á vegg og okkur er mikið í mun að hafa hana mjög beina. Við getum notað ýmsar aðferðir til að miða út hvernig best er að hengja hana. Við gætum t.d. notað málband til að mæla út tvo punkta frá gólfi eða lofti til að nota til viðmiðunar. En þegar við stillum myndina af samkvæmt mælingum okkar kemur í ljós að hún virkar skökk. Mælitækið sem við höfum notað tekur ekki tillit til þess að loft eða gólf eru kannski örlítið skökk. Skekkjan hefur áhrif á myndina þannig að þessi smávægilegi halli, sem við tökum yfirleitt ekki eftir, verður óbærilega truflandi. Hins vegar ef við notum hallamál, verkfæri sem er sérhannað til þessa verks, þá erum við laus við skekkjuna. Það er eins með að nota PISA niðurstöður í eitthvað annað en þeim er ætlað - hætta er á að smávægilegar skekkjur verði svo ýktar að útkoman verði með öllu ómarktæk.

 

Áreiðanleiki PISA könnunarinnar felst í aðferðafræðinni sem hún byggist á, sem hefur verið mjög vandlega þróuð til að tryggja að niðurstöður eru í samræmi við markmið könnunarinnar. Hönnuðir könnunarinnar þurfa að hafa ýmislegt í huga, en sérstaklega að mælitækin sem þeir eru að búa til samræmast ekki endilega námi þátttakenda. Þegar nemendur taka hefðbundin próf þá hafa þeir venjulega farið saman í gegnum um nám þar sem efnið hefur verið kynnt og kennt á tiltekinn hátt. Þá má gera ráð fyrir að hægt sé að spyrja spurninga í samræmi við kennsluna sem allir nemendur skilja og átta sig á hvað er verið að spyrja og hvernig eigi að leysa verkefnið.

 

Í PISA er fjöldi nemenda frá ólíkum skólum og löndum sem hafa fengið ólíka kennslu sem eiga að taka þátt í staðlaðri könnun sem skilar samanburðarhæfum niðurstöðum. Ef prófað væri með hefðbundnum hætti í PISA könnuninni væri nánast ógerlegt að semja spurningar sem væru svo almennar að allir þátttakendur, sama hvers konar kennslu þeir hafa fengið eða hver þeirra námsreynsla er, standi jafnt að vígi. Þá væru skekkjurnar það verulegar vegna óskyldra þátta að niðurstöður væru ómarktækar.

 

Til að minnka áhrif fyrirsjáanlegra skekkja í PISA er notast við 13 ólík prófhefti sem eru dreifð handahófskennt á þátttakendur. Þá má gera ráð fyrir að þegar niðurstöður stórra hópa eru skoðaðar þá dreifast smávægilegar skekkjur á fjölda þátttakenda og verða fyrir vikið óverulegar (byggist á tölfræði lögmálinu the law of large numbers). Hins vegar ef niðurstöður lítilla hópa eru skoðaðar geta skekkjur orðið mjög ýktar.

 

Segjum að í einum íslenskum skóla voru 15 nemendur sem tóku þátt í PISA. Tilviljun réði því að helmingur nemendana fengu sama prófhefti og að þetta tiltekna prófhefti reyndist mjög erfitt fyrir íslensku nemendurna að skilja. Þeir voru ekki vissir hvert verkefnið var sem þeir áttu að leysa vegna þess að orðalagið var framandi af einhverjum ástæðum (þetta er ýkt dæmi og ekki líklegt að slíkt gerist í raun). Þegar niðurstöður frá þessum tiltekna skóla væru skoðaðar gæti útkoman verið mjög slök. Það er ekki vegna þess að nemendurnir kunnu ekki að leysa verkefnin sem voru lögð fyrir, heldur að stór hluti þeirra skildu ekki spurningarnar. Hins vegar, ef við skoðum landið í heild þá verða þessir 7,5 nemendur sem fengu óskiljanlegt próf svo lítill hluti af heildinni að þeir hafa ekki teljandi áhrif á lokaniðurstöður.

 

Það er mjög varhugavert að draga ályktanir út frá PISA niðurstöðum einstakra skóla. PISA könnunin gerir ráð fyrir að gögn séu skoðuð í víðu samhengi, og er það meira að segja svo að það er grunnforsenda fyrir því að niðurstöður geti talist áreiðanlegar. Þetta er ekki lagalegt mál, ekki pólitískt eða einfalt álitamál sem stofnanir samfélagsins geta skorið úr um - þetta er aðferðafræðilegt mál og úrskurður dóms breytir því ekki að það er aðferðafræðilega varhugavert að birta PISA niðurstöður með þeim hætti sem Reykjavíkurborg hefur verið gert að gera.

Borgaskóli stóð sig best í PISA

Athugasemdir

[Einar Sveinn Árnason (IP-tala skráð) 29.6.2014 kl. 14:03]

Sæll Tryggvi. Mikið er hressandi að fá upplýsingar í umræðu sem byggir á faglegri þekkingu. Mikill hluti umræðunnar um Pisa finns mér byggjast þeirri þörf að vita hvaða skóli er bestur. Til þess að geta lesið það út úr einstökum könnun eins og Pisa þarf frekari upplýsinga við eins og þær sem þú kemur fram með hér.

Ef við viljum vita hvort skóli er góður eða ekki þá verðum við fyrst að skilgreina hvað okkur finnst gott.

Höfum við skilgreint hlutverk t.d. grunnskólans nógu vel?

Er það ekki forsenda til að vita hvaða skólar eru að standa sig betur en aðrir?

Það er mjög gott fyrir alla sem koma að fræðslustofnun hver sem hún er að vita hvort við erum að fara áfram eða afturá bak, en þá verður tilgangur ferðalagsins að vera klárt.

Það væri fróðlegt að fá smá hugleiðingar um þetta.

Kveðja Einar Sveinn Árnason

f.v. kennari og skólastjóri í grunnskóla í dag sjálfstætt

starfandi náms og starfsráðgjafi starfa mest í fullorðinsfræðslu.

[Tryggvi Thayer, 30.6.2014 kl. 10:46]

Sæll Einar Sveinn og takk fyrir innleggið í umræðuna.

Eins og þú veist vel þá er ekki hægur vandi að skilgreina hlutverk skóla svo allir séu sáttir. Þar spilar ansi margt inní, sérstaklega ólík viðmið hagsmunahópa, sem eru ansi margir, t.d. nemendur, foreldrar, skólafólk, atvinnulíf, stjórnmálafólk, o.s.frv.. Það er ekki bara að þessir hópar hafa ólíkar hugmyndir um hlutverk skóla heldur hafa þeir líka ólíkar hugmyndir um það hvað "nám" er og það hefur líka áhrif á það hvernig þeim finnst réttast að meta gæði skóla. T.d. eru þeir sem telja nám felast í þekkingaryfirfærslu frá kennara til nemenda. Fyrir þeim eru gæði skóla best mæld með prófum sem reyna á getu nemenda til að hafa rétt eftir kennaranum. Fyrir öðrum felst nám í því að nemendur hafi tækifæri og eru hvött til að læra (þessi hugsmíðahyggja sem íslenskri kennarar segjast aðhyllast í TALIS könnunum OECD). Þá hljóta gæði skóla að felast í því sem er gert fyrir nemendur en ekki endilega getu nemenda til að þylja upp staðreyndir eftir öðrum.

Þannig að, jú, það er kannski forsenda að meta gæði skóla að við skilgrein hlutverk þeirra. Hins vegar er spurning hvort það geti nokkurn tíma orðið sátt um það hvert hlutverk skóla er.

[Þór Jóhannsson (Lói) (IP-tala skráð) 30.6.2014 kl. 19:55]

Takk fyrir góð skrif. Ef PISA er í heiminn borið til að meta gæði skólakerfa í heild sinni þá eru niðurstöðurnar væntanlega vegvísir þeirra sem ábyrgð bera á menntakerfinu í heild sinni, þ.e. pólitíkusar og embættismenn ráðuneyta. Ég minnist þess ekki svona í augnablikinu að PISA hafi hreyft neitt við þeim aðilum svona beint í tenglum við niðurstöður. (endilega leiðréttið mig ef minnið svíkur mig).

Það sem er helsta "hvursdagsvandamál" PISA er þessi misstúlkun niðurstaða sem felst í niðurröðun eins og um keppnisíþrótt sé að ræða.

[Tryggvi Thayer, 1.7.2014 kl. 10:36]

Sæll Þór,

PISA hefur haft töluverð áhrif á umræðu um menntun hér á landi, e.o. víðar, og það hefur leitt til margvíslegra breytinga á menntakerfi. Það er kannski ekki mikið um einstakar stórvægilegar breytingar sem hægt er að tengja beint við PISA, en margar þær breytingar sem hafa átt sér stað á síðustu 10+ árum má rekja að einvherju leyti til PISA.

Markmið PISA eru margþætt, en það sem skiptir kannski mestu máli er að PISA gerir okkur kleift að virða fyrir okkur íslenskt menntakerfi í víðu alþjóðlegu samhengi. Þannig getum við notað PISA til að leita góðra fordæma þar sem við á.

Fyrir 20 árum var lítið talað um menntakerfi í Finnlandi eða Kanada sem fordæmi fyrir eflingu menntunar hér á landi. Við vorum meira í því að fylgja bara V-Norrænum sveiflum. Velgengni landa e.o. Finnland og Kanada í PISA varð til þess að áhrifafólk beindi athygli að því sem hefur verið gert þar og hefur það haft sín áhrif á menntkerfi okkar. T.d. hafði velgengi Finna í PISA áhrif á umræðu um breytingarnar sem voru gerðar á kennaramenntun fyrir u.þ.b. 5 árum.

Umræður í kringum PISA kannanir höfðu líka áhrif á nýjar aðalnámskrár. Þar birtist t.d. mikill vilji til að bæta læsi íslenskra nemenda. En það var eitt af því sem kom okkur mjög í opna skjöldu þegar við tókum fyrst þátt í PISA - hvað íslenskir nemendur komu illa út í læsi.

Það eru töluvert fleiri dæmi en þessi. Þetta eru ekki oft bein áhrif PISA, þ.e.a.s. ‘út af PISA/þá þetta’, en afleiðingar af PISA samt sem áður.