Onderwerpen

donderdag 11 september 2014

Onderwijsinspectie kan einde maken aan 'teaching to the test'


De update van de normen van de LOVS-toetsen van Cito bracht het kwalijke fenomeen weer te berde.
Er is echter een oplossing en die ligt bij de onderwijsinspectie ...

Het verschijnsel
Het begrip ‘teaching to the test’ is onderhand wel bekend.
In dit blog besteedde ik er al een paar keer aandacht aan:

De toets zèlf is het probleem niet ...

Top 10 scholen, gevolg van 'teaching to the test'?

Het eindelijk updaten van de normen van de LOVS-toetsen van Cito was de jongste aanleiding voor het te berde brengen van dit fenomeen. Hoewel Cito zelf nog niet overtuigd lijkt van het feit dat het steeds maar hoger worden van de scores –al direct na het verschijnen van de toets- te wijten is aan dit verschijnsel, zijn ‘omstanders’ daar inmiddels al wel van overtuigd. 

Gedachtegang
U kunt zich toch ook onderstaande gedachtegang wel voorstellen?

‘Zodra het toetsmateriaal binnen is, ga ik natuurlijk kijken hoe het eruit ziet. Zitten er opgaven bij die anders gepresenteerd worden dan wij gewend zijn? Zitten er opgaven in die ze nog niet hebben gehad? Zijn er dingen bij die voor onze leerlingen compleet nieuw zijn? 
Je wilt natuurlijk niet dat onze leerlingen daar het slachtoffer van worden. Daar ga je wat aan doen! Zo moeilijk is dat niet, het gaat vaak maar om een klein aantal opgaven. Je gaat natuurlijk niet de opgaven uit de toets kopiëren, dat hoort niet. 
Maar je mag wel zèlf opgaven bedenken die daar heel erg op lijken. Die ga je behandelen en oefenen tot ze het snappen. Natuurlijk red je daarmee niet alle leerlingen, maar het scheelt toch een flinke slok op een borrel! 
En bovendien, wat denk je van de scores die we moeten inleveren bij de inspectie? Je wilt toch niet dat je ten onrechte als ‘zwakke school’ te boek komt te staan? Ik bedoel, als nu blijkt dat de leerlingen het na enige verkenning van de materie wèl goed blijken te kunnen? Dan is het toch zonde om scores op te sturen waaruit zou blijken dat ze het niet kunnen? Ze kunnen het wèl! Dàt wil de inspectie toch weten? En nog wat, als andere scholen het nu wel doen (en dat doen ze!) en jij doet het niet? Dan wordt zelfs jouw voldoende score op de Cito op den duur door de inspectie beoordeeld als onvoldoende, omdat die andere scores enorm omhoog zijn gegaan door deze werkwijze. M.a.w., ik snap dat moeilijk doen over die voorbereiding op de toetsen niet … ‘

Oefenprogramma's
Die zijn er meer! Niet alleen de aanbieders van allerhande trainingen voor de toets(en), maar ook uitgevers zien er geen kwaad in. In een eerdere bijdrage noemde ik het onderstaande voorbeeld.
Met ‘de toets’ wordt hier bedoeld ‘ Rekenen voor kleuters, voor groep 1 en 2’ van Cito, waarvan zij zelf zegt: ‘Met het toetspakket Rekenen voor kleuters volgt u de vorderingen van kinderen op het gebied van voorbereidend rekenen in groep 1 en 2 en brengt u het ook goed in kaart. U krijgt inzicht in wat de leerling beheerst op het gebied van getalbegrip, meten en meetkunde.' Daar lijkt mij niks mis mee ...

Grote vraag

De uitgever zegt echter: ‘ Vanuit de praktijk is er een grote vraag naar een boek met leeractiviteiten die aansluiten bij de leerdoelen van de toets.’ Dat klopt helemaal! Daarom is het niet alleen deze uitgever die leerkrachten op deze wijze de helpende hand wil bieden, het zijn er onderhand vele …

Begrijpelijk, maar maar met kwalijke gevolgen
En ja, wat zou u doen als u wordt afgerekend op de toetsscores? U zorgt linksom of rechtsom dat ze zo hoog mogelijk zijn, toch? Ik denk dan ook dat we het de scholen niet kwalijk kunnen nemen als zij zich laten verleiden tot dit soort praktijken. Ze worden er min of meer toe gedwongen, met alle kwalijke gevolgen van dien.
Over die kwalijke gevolgen kunt u meer lezen in de eerdere bijdragen in dit blog (zie hierboven) en in het artikel  Update van de Cito-normen: inflatie van de score en de desastreuze gevolgen voor het onderwijs van Marjolein Zwik.

* * * * *

De onderwijsinspectie kan dit probleem oplossen!
De inspectie beoordeelt de resultaten tijdens de schoolperiode* aan de hand van toetsresultaten op de volgende toetsen:

• Technisch Lezen (TL) in groep 3 en groep 4;
• Rekenen en Wiskunde (RW) in groep 4 en groep 6;
• Begrijpend Lezen (BL) in groep 6.’

De inspectie vraagt dus ‘slechts’ van vijf momenten in de schoolloopbaan de toetsresultaten.


  • Als zij nu eens zèlf voor dit doel toetsen zou maken, waarvan de inhoud bij de scholen vooraf niet bekend is?
  •  Als zij die toetsen bovendien zou laten afnemen door eigen toetsassistenten, die het materiaal zelf bij zich hebben, uitdelen, laten maken en weer meenemen om vervolgens de resultaten te scoren?


Probleem uit de wereld
Dan is het probleem meteen uit de wereld en worden alle scholen weer op dezelfde wijze beoordeeld (scholen die voorheen oefenden zijn niet meer in het voordeel). Bovendien kunnen de toetsen van het leerlingvolgsysteem weer worden ingezet voor het doel waarvoor ze gemaakt zijn: nagaan of de door de school gehanteerde vorm en inhoud van het onderwijs leidt tot de door de school beoogde resultaten (vergeleken met de landelijke norm). Omdat deze gegevens ‘voor eigen gebruik’ zijn, heeft manipuleren daarvan geen zin (je gaat jezelf niet voor de gek houden). Zo blijven ook de normen stabieler. 

Versterkt advies
Als de resultaten verzameld zijn, kan de inspectie de rekensommen maken die zij ook nu al maakt om de scholen te beoordelen. Daar zit geen extra tijd in.
De kwaliteit van de gegevens wordt aanmerkelijk vergroot en bovendien geven de verzamelde gegevens een schat aan aanvullende informatie waarvan, indien gewenst, gebruik kan worden gemaakt (bijvoorbeeld: waar zitten de hiaten bij het rekenonderwijs?). Zij zou haar adviezen daarmee behoorlijk kunnen versterken …

Om de paar jaar, maar wel met nieuwe inhoud
Om alle twijfel weg te nemen zou de inhoud van de toetsen voor elke volgende afname voor de school nieuw moeten zijn.
De afnamefrequentie zou kunnen worden verminderd en afgestemd op de beschikbare capaciteit (budget). Dat is geen verlies, omdat de kwaliteit van de verzamelde gegevens veel beter is. Zo zouden scholen bijvoorbeeld eens in de drie of vier jaar aan de beurt kunnen zijn om mee te doen. Vergelijk het maar met de APK voor auto's. De inspectie kan zich achteraf verantwoorden t.a.v. de inhoud van de toetsen, die natuurlijk zal zijn afgestemd op de referentieniveaus. 
Dit geeft helderheid en rust voor de scholen èn de gewenste informatie voor de inspectie.

Wel blijft het gevaar dat scholen (en ouders) alleen Technisch Lezen, Rekenen/Wiskunde en Begrijpend Lezen belangrijk vinden, omdat die zaken door de inspectie getoetst worden.
Door tijdens de schoolbezoeken nòg nadrukkelijk ook de overige zaken te beoordelen, kan de inspectie benadrukken dat er méér belangrijk is dan alleen de zaken die getoetst (kunnen) worden.
Het niet aan de grote klok hangen van de toetsresultaten kan natuurlijk ook helpen ... Je voorkomt dan in elk geval de ondeugdelijke 'lijstjes' in de media. Misschien is het verstandig de feedback te beperken tot team en bestuur, die deze dan zelf kan vertalen naar de (aspirant-) ouders.

Extra
Tot slot zou de inspectie in groep 8 nog een capaciteitentest kunnen (laten) afnemen om de uitslagen daarvan te leggen naast de resultaten van de eindtoets. Zij kan dan inzicht krijgen in de opbrengsten van het onderwijs (komt eruit wat erin zit?). De school zelf kan dit ‘voor eigen gebruik’ al doen in groep 6 om een tussenbalans op te maken.

Ik zou zeggen: DOEN!!!

*) De Onderwijsinspectie stopte hiermee per 1 februari 2016, waardoor een belangrijke
     oorzaak van de problemen is weggenomen.

woensdag 3 september 2014

Update van de Cito-normen: inflatie van de score en de desastreuze gevolgen voor het onderwijs

Op Wij-leren staat een bijzondere bijdrage van Marjolein Zwik, die ik u niet wil onthouden.   
Haar bijdrage wordt hieronder integraal weergegeven.


Aanpassing normering Cito toetsen

Cito heeft per september 2013 de landelijke normen van de huidige LVS-toetsen Begrijpend lezen, Spelling en Rekenen-Wiskunde gecontroleerd en gewijzigd. Deze nieuwe normen moesten het liefst voor 1 mei 2014 zijn doorgevoerd in de leerlingvolgsystemen, maar uiterlijk voor 1 augustus. Dit heeft grote gevolgen voor het onderwijs, zowel voor leerkrachten, leerlingen en ouders. Het betekent dat een leerling een nog grotere inspanning zal moeten leveren om hetzelfde Cito-niveau vast te houden dat bij eerdere toetsen in voorgaande jaren bij hem gemeten is.
Op de site van Cito wordt het als volgt uitgelegd: “De omzetting van de ruwe score (aantal goed) naar de vaardigheidsscore blijft gelijk: hetzelfde aantal goed leidt tot dezelfde vaardigheidsscore als voorheen. De interpretatie van de vaardigheidsscore - hoe scoort de leerling ten opzichte van de normgroep – is wel veranderd. De omzetting van vaardigheidsscores naar de niveaus A t/m E, I t/m V en functioneringsniveaus verandert.


Inflatie van de vaardigheidsscore

Over het algemeen zal een leerling een hogere vaardigheidsscore nodig hebben dan voorheen om bijvoorbeeld tot de groep gemiddeld scorende leerlingen te behoren. Dat is dus een inflatie van zijn huidige vaardigheidsscore – deze is ‘minder waard’. Het kan dus betekenen dat een leerling bij een eerdere toets (bijv. E4) een II scoorde (diezelfde vaardigheidsscore zou met de nieuwe norm met een III gewaardeerd kunnen worden, maar het leerlingvolgsysteem geeft dat nu nog niet aan, wel na 1 augustus). De leerling maakt een half jaar later de toets van M5 (na de update van de normen) en wat blijkt; de vaardigheidsscore is conform de groei flink toegenomen, toch hoort bij deze score een III. De leerling lijkt gezakt, terwijl de vaardigheidsscore tussen de twee toetsen wel flink is gestegen, wat betekent dat deze leerling een goede ontwikkeling doormaakt. Ditzelfde doet zich niet alleen op leerlingniveau voor, maar ook op groeps- en schoolniveau. De lagere score is slechts te wijten aan de nieuwe normering. Een hele geruststelling…of niet.


Ouderbrief

Op de site van Cito staat een ouderbrief die te downloaden is, zodat ook ouders deze herwaardering van scores goed begrijpen. Ze maken daarin de vergelijking met de lichaamslengte: “Vergeliijk dit maar met de lengte: kinderen van nu worden gemiddeld groter dan hun ouders. Begin vorige eeuw zou je een reus zijn als je 1.70 m lang was, nu ben je als man klein met een dergelijk lengte. Een lengte van 1.70 m heeft nu dus een andere betekenis dan vroeger.”
Nu is bovenstaande ‘update’ van de lichaamslengte goed te verklaren. Ten eerste betreft het hier een periode van honderd jaar en in deze periode zijn de leefomstandigheden drastisch veranderd. Te denken valt aan betere voeding, veel betere gezondheidszorg en hygiëne en betere leefomstandigheden. Ook wordt hier duidelijk gemaakt dat het hier gaat om de vergelijking van de lichaamslengte in de tijd, tussen verschillende generaties. De uitkomst van de groei van het individu zélf wordt tijdens de duur zijn eigen leven niet verondersteld te veranderen. Deze eindlengte is een redelijk vaststaand gegeven. Artsen maken geen (be)handelingsplannen naar aanleiding van een groeicurve - behalve wanneer dit leidt tot een voorspelbare reuzengroei en dan alleen nog maar om de groei af te remmen -, maar voor verreweg de meeste kinderen heeft de groeicurve geen directe individuele gevolgen.


Te snelle update van normering?

Anders is het met toets scores. Bij de Cito toetsen gaat het niet om een periode van honderd jaar. Dit is natuurlijk ook wel te begrijpen. De afgelopen eeuw is de kennis en het kennisniveau erg veranderd. Ook gaat het niet om een vergelijking tussen generaties. Maar Cito maakt deze update al na vier jaar wat betreft Rekenen-wiskunde (normering 2009) en na drie jaar wat betreft Begrijpend lezen (normering 2010). Gezegd moet worden dat de gegevens voor de normering verzameld werden in respectievelijk, de periode van 2003 tot en met 2007 en 2005 tot en met 2009. Is deze update na zo’n korte tijd wel te begrijpen of hebben we hier te maken met een ander fenomeen?
Cito zegt dat de leerlingen vandaag de dag de toetsen beter maken dan de leerlingen in de normeringsonderzoeken van jaren geleden. Betekent dit dat kinderen daadwerkelijk slimmer zijn geworden? Een snelle blik op de PISA uitkomsten laat echter een ander beeld zien. In PISA 2012 werd nog opgemerkt dat Nederlandse leerlingen sinds 2003 een voortdurende dalende score laten zien bij rekenen-wiskunde. Bij lezen is de vaardigheid significant gelijk met 2003. Desondanks worden de Cito toetsen beter gemaakt. Cito geeft vier mogelijke oorzaken.


De verklaringen van Cito

Als eerste geven zij aan dat de leerlingpopulatie is veranderd. Onzin! De leerlingpopulatie in Nederland is niet zo drastisch gewijzigd ten opzichte van tien jaar geleden dat daardoor het landelijk gemiddelde op de Cito toetsen significant hoger is. Een schóól kan wel met een andere leerlingpopulatie te maken krijgen of met een minder goed scorende groep, maar op landelijk niveau en zelfs al op gemeentelijk niveau hebben deze wijzigingen geen of nauwelijks invloed op het gemiddelde. Of is er buiten mijn weten een immigratiegolf van hoogbegaafden onze grenzen gepasseerd? Bovendien verwijs ik hier nogmaals naar PISA.
Ten tweede merkt Cito op dat het onderwijsaanbod is veranderd. Zeer onwaarschijnlijk! De spellingregels zijn sinds 1995 niet meer veranderd. Veel scholen hebben in deze periode slechts enkele methoden vervangen en de inhoud van de verschillende methoden is niet zo drastisch veranderd als bovenstaande reden doet vermoeden. Als de toetsen die tussen 2003 en 2009 zijn geconstrueerd, in 2013 al geherwaardeerd moeten worden, kan hier maar één verklaring voor zijn: het onderwijsaanbod wordt afgestemd op de Cito toetsen (teaching to the test). Een vooruitziende blik van Cito in 2003 en 2005 op de in de toekomst aangeboden leerstof lijkt mij een stuk onwaarschijnlijker.
Een grotere gerichtheid in het onderwijs op de opbrengsten wordt als derde oorzaak aangegeven. Daarbij wordt verwacht dat naar aanleiding van de scores een groepsplan of zelfs een individueel handelingsplan wordt gemaakt, waarin de leerkracht aangeeft hoe er de komende periode met de groep en de leerling gewerkt wordt. Een zeer goed streven! In de praktijk wordt dat echter nogal eens uitgelegd om te komen tot hogere toetsresultaten, waarvan Teije de Vos in zijn artikel ‘Meten is niet alles wéten’ aangeeft hoe onmogelijk dit eigenlijk is. Hoewel? Aangezien het toetsen betreft van een leerlingvolgsysteem en deze toetsen niet jaarlijks vervangen worden is de inhoud van de toetsen bij scholen bekend. Hier kun je als school je voordeel mee doen. Of je de leerling hier mee helpt…en uiteindelijk het onderwijs…valt nog te bezien.
Eigenlijk onderschrijft Cito dit zelf met de vierde en laatste reden: het bekend raken van de inhoud van de toetsen.


Conclusie

Drie van de vier redenen die Cito aangeeft wijzen op ‘teaching to the test’ en op het oefenen van de toetsen. Wil dit daadwerkelijk effect hebben op het landelijk gemiddelde, moet dit op grotere schaal plaats vinden dan tot nu toe werd aangenomen en dat is een zeer verontrustende conclusie. Nog verontrustender wordt het als Cito de vraag beantwoordt of de normen vaker vervangen gaan worden. “Dit zal afhangen van de mate waarin de resultaten van leerlingen veranderen in de tijd. Wel is Cito van plan om jaarlijks de normen van de toetsen te controleren. Als de verschillen te groot worden, zullen we een update van de normen uitbrengen. Dat zullen we in overleg met de Inspectie van het Onderwijs doen, om verwarring bij de scholen te voorkomen.”
Dit betekent dat scholen die de toetsen oefenen of anderszins positief beïnvloeden voor een nieuwe ophoging van de normen gaan zorgen. Echter scholen die te goeder trouw een breed onderwijs aanbod creëren, zich minder richten op alléén taal, rekenen en toetsuitslagen, toetsen gedurende het schooljaar daar laten waar ze horen: achter slot en grendel, zien zich in de toekomst geconfronteerd met onmogelijke inspectienormen. Deze scholen kunnen een aantal dingen doen:
  • Doorgaan op de ingeslagen weg en je verlies nemen. Echter geen enkele school wil het predicaat ‘zwak’ krijgen en al helemaal niet om deze reden, namelijk integriteit;
  • Doorgaan op de ingeslagen weg en de oude normen hanteren. Deze zijn namelijk tot stand gekomen door de toetsen voor te leggen aan een normgroep die nog niet in aanraking was gekomen met de opgaven. Geen voorkennis dus. Methode-onafhankelijke toetsen moeten onder dezelfde omstandigheden worden afgenomen als de omstandigheden van de normgroep. Maak je je als school dus niet schuldig aan wanpraktijken, dan lijkt het geoorloofd om de oude normen te hanteren;
  • Met een andere toetsaanbieder in zee gaan, liefst kleinschaliger, waarvan de toetsen niet geoefend worden. Dit levert veel minder toets stress op bij leerlingen, leerkrachten, IB, directies en besturen en een veel betere verantwoording van je resultaten naar ouders, leerlingen en inspectie;
  • Ook Cito toetsen gaan oefenen of in ieder geval de toets inhoud in je lessen verwerken (teaching to the test). Dit vind ik principieel verwerpelijk.
Het lijkt mij een verstandig besluit om landelijk af te spreken geen toetsen meer te oefenen en het leerstofaanbod minder te richten op de inhoud van deze toetsen. Zorg dat de toetsresultaten op een integere manier tot stand komen. Maak als school zelf keuzes in je onderwijsaanbod, zolang je voldoet aan de kerndoelen. Elke school heeft zijn eigen leerlingpopulatie en de leerkrachten op die school weten het best wat hun leerlingen nodig hebben, niet het instituut Cito. De toetsen worden dan weer genormeerd volgens reële normen, kunnen weer gebruikt worden waarvoor ze bedoeld zijn en Cito (en de overheid) houdt het lesprogramma niet in een wurggreep.
Is er nog één probleem: de Cito-toets oefeninstituten. Daar heeft de school geen invloed op, maar deze worden wel door onze leerlingen bezocht. Deze ‘trainings- en adviesbureautjes’ zijn meer gericht op de Eindtoets. Deze site herbergt een aantal artikelen, waarin genoeg argumenten geven worden waarom deze toets overbodig lijkt. Als er minder nadruk op de toetsuitslagen komt te liggen en de eindtoets afgeschaft wordt, lossen de oefenbureaus mogelijk vanzelf weer op. Ze voldoen nu nog in een behoefte. Hef de behoefte op!
Binnenkort zal Cito een wetenschappelijke verantwoording publiceren hoe de nieuwe normen tot stand zijn gekomen. Dit zal waarschijnlijk een statistische verantwoording zijn van toets gegevens aangereikt door de scholen zelf. Daarvan mogen we echter vermoeden dat deze deels al door scholen gemanipuleerd zijn. Een wetenschappelijk en transparant onderzoek naar de werkelijke oorzaken zou Cito sieren.