Onderwerpen

zaterdag 23 mei 2009

De verontwaardiging over de COTAN verklaard ...



In de bijdrage 'De COTAN ziet DLE's het liefst geheel verdwijnen ...' wordt sterk verontwaardigd gereageerd op deze opvatting/uitspraak van de COTAN, omdat de vele gebruikers worden gebruuskeerd: ze zijn kennelijk heel dom bezig ...In de (vorige) bijdrage werden de bezwaren tegen de COTANargumentatie al aangestipt, maar laten we die eens onder de loep nemen.
Dan blijkt dat de COTAN het afwijzen van de DLE’s volstrekt niet kan waarmaken.

De afwijzing van de DLE's door de COTAN is namelijk gebaseerd op anekdotische argumentatie, vooringenomenheid en een valse conclusie. In 2007 hebben twee leden van de COTAN in De Psycholoog het standpunt van de COTAN over de DLE’s uiteengezet. Ze komen tot de conclusie dat, gezien de vele bezwaren die tegen DLE’s opgeworpen kunnen worden, normering op basis van standaard- of rangordescores te prefereren is (Evers en Resing. 2007).
De anekdotische argumentatie bestaat er uit dat er mogelijke problemen met DLE schalen worden opgeworpen (bijv. bodem- en plafondeffecten), er een voorbeeld wordt gegeven van een DLE schaal waarbij dat optreedt en vervolgens geconcludeerd wordt dat DLE schalen dus niet deugen. Waarbij niet met zoveel woorden gezegd wordt, maar wel geimpliceerd, niet kunnen deugen!
De vooringenomenheid bestaat er onder andere uit dat er selectief gebruik gemaakt wordt van de literatuur. Veel van de argumenten van Evers en Resing tegen de DLE's komen uit het artikel van Oud en Mommers uit 1990. In 1991 heeft Gerard Melis - de auteur van het DLE boek - een verweer geschreven waarin hij uiteenzet dat volgens hem een aantal argumenten van Oud en Mommers ondeugdelijk is. Evers en Resing noemen Melis’ artikel en zijn argumenten niet. Zij geven dus alleen de argumenten die tegen DLE's zijn opgeworpen en andere standpunten negeren ze. Hiermee doen ze de door hen van belang geachte 'ontwikkelingen op het gebied van de testtheorie en testconstructie' geen recht. Want ontwikkeling is gebaat bij debat en argumentatie. Het kan natuurlijk zijn dat de COTAN de tegenargumenten van Melis ondeugdelijk vindt, maar laten ze dat dan beargumenteren. Dan kan je de argumenten (zowel voor als tegen) naar een hoger plan brengen.
De valse conclusie bestaat er uit dat Evers en Resing stellen dat, gezien de door hen gepresenteerde bezwaren, DLE’s moeten worden afgewezen en deviatienormen geprefereerd. In hun artikel laten ze echter na aan te tonen dat de door hen opgevoerde mogelijke problemen (laten we er nog eens eentje noemen: ondeugdelijke normgroepen) niet of in ieder geval in mindere mate voor de deviatienormen gelden. De conclusie van Evers en Resing volgt dus niet uit de door hen gepresenteerde argumenten. Analoog aan de manier van redeneren van Evers en Resing zou je kunnen stellen dat de kleur rood voor auto’s moet worden verboden: rode auto’s dragen immers bij aan de luchtvervuiling, aan het verkeersinfarct en verkeersslachtoffers. Om met Evers en Resing te spreken: het ziet er prachtig uit, maar het liefst zien we die kleur geheel verdwijnen ...

Zie ook: Kritiek op DLE's weerlegd

vrijdag 22 mei 2009

De COTAN ziet DLE’s het liefst geheel verdwijnen …


Op de website van de COTAN valt het volgende te lezen: 'Momenteel wordt gewerkt aan een herziening van het beoordelingssysteem. Deze
herziening betreft een ingrijpende aanpassing van het beoordelingssysteem in het licht van de ontwikkelingen die zich in de loop der jaren op het gebied van testtheorie en testconstructie hebben voorgedaan. De verwachting is dat deze herziene versie in het voorjaar van 2009 gereed zal zijn.'

Ik kreeg enkele fragmenten van deze herziene versie onder ogen en las
daar o.m. ‘- maar de COTAN ziet rapportage in termen van DLE’s het liefst
geheel verdwijnen -‘.

Ik moest meteen denken aan al die scholen voor (speciaal) basisonderwijs in Nederland en aan de leden van de verschillende plaatsings- en verwijzingscommissies, maar ook aan de orthopedagogen/psychologen, interne begeleiders, remedial teachers en logopedisten. Zij maken namelijk allemaal al jaren (dankbaar en tevreden) gebruik van DLE’s.
Zij hebben de DLE-systematiek verankerd in hun registratie- en rapportagemodellen en in hun (dikwijls online) administratieprogramma’s. Wat moeten zij, maar ook al die bedrijven die de online applicaties exploiteren, hier wel niet van vinden? En wat te denken van onze Minister van Onderwijs Cultuur en Wetenschappen, die het gebruik van DLE’s nota bene verplicht stelt!?!

De herziening van het beoordelingssysteem vindt plaats ‘… in het licht van de ontwikkelingen die zich in de loop der jaren op het gebied van testtheorie en testconstructie hebben voorgedaan.’ Dat mag zo zijn, maar ik krijg de indruk dat de COTAN volledig voorbij is gegaan aan de ontwikkelingen in de praktijk (zoals hierboven geschetst). Realiseert de COTAN zich wel voldoende wat haar opvattingen/uitlatingen betekenen voor de honderdduizenden gebruikers (direct en indirect)?

Dat de COTAN vraagtekens zet bij het gebruik van DLE’s is prima; dat hoort zij –gelet op haar opdracht (zie verder)- te doen bij alle normeringswijzen. Er is namelijk géén schaal die vlekkeloos is: ze hebben alle hun voor- en nadelen. Maar om dan alléén de DLE’s volledig uit te willen sluiten?!? En dat dan ook nog voor een schaal die naast de Cito-schaal het meest gebruikt wordt voor didactische toetsen? Je mag vrezen dat een dergelijke uitspraak voor de COTAN onaardige reacties oproept: ‘Wie is die COTAN eigenlijk wel, dat zij meent onze praktijk zo ongegeneerd te moeten diskwalificeren? Moeten wij haar nog serieus nemen?’

Wie is de COTAN eigenlijk?
Van de website: 'De Commissie Testaangelegenheden Nederland (COTAN) van het NIP (het Nederlands Instituut van Psychologen is de landelijke beroepsvereniging van psychologen) heeft als opdracht ‘het bevorderen van de kwaliteit van tests en testgebruik in Nederland’. Door de COTAN worden psychodiagnostische instrumenten beoordeeld aan de hand van criteria als testconstructie, uitvoering van de handleiding en testmateriaal, betrouwbaarheid en validiteit.Verder informeert de COTAN testgebruikers over de stand van zaken op testgebied.'

De COTAN is dus een commissie van de beroepsvereniging van psychologen, die -voor eigen gebruik mag je aannemen- instrumenten van anderen beoordeelt. Die beoordeling vindt plaats op basis van criteria die in een beoordelingssysteem staan beschreven. Dat systeem heeft een inventariserend/beschrijvend karakter: zit dit erin, heeft de auteur dat gedaan, is beschreven hoe … enz. De COTAN gaat de test dus niet testen; zij probeert hem niet uit en controleert evenmin of alles wat er in de handleiding/verantwoording staat geschreven klopt …
Ze gaat dus ook niet na of de test werkt … Een test die goed beschreven is, kan voldoende beoordeeld worden, maar toch slecht werken. Andersom kan ook: een als onvoldoende beoordeelde test kan in de praktijk goed werken (!). De beoordeling moet dus niet worden verward met die van bijvoorbeeld de Consumentenbond, die proeven met de artikelen doet en vervolgens kan aangeven welk artikel het beste is. Bovendien hebben auteurs wel eens moeite met de werkwijze van de COTAN: de beoordelaars werken anoniem en er is onvoldoende duidelijk wat de (beroeps)rechten van de auteurs zijn als ze het met de beoordeling niet eens zijn. M.a.w. ze hebben wel eens het gevoel dat er vrij moeilijk over te praten is.

Veel gezag ...
Toch heeft het oordeel van de COTAN grote invloed. Met name sinds het moment waarop de Inspectie van het Onderwijs meedeelde dat testen een voldoende beoordeling van de COTAN moesten hebben, kreeg het oordeel veel gezag. Ook de Regionale Verwijzing Commissie wil dat er uitsluitend door de COTAN ‘goedgekeurde’ testen worden gebruikt.
Begrijpelijk, want het is in ons land het enige houvast m.b.t. de kwaliteit van een test. De COTAN kreeg hierdoor veel gezag.
Gelet op bovenstaande (Wie is de COTAN eigenlijk?) mag men zich afvragen of dat gezag niet ietwat te veel van het goede is. De COTAN is geen KEMA-keur ... Trouwens zij keurt niet, zij beoordeelt. De COTAN is evenmin een overheidsorgaan of een instantie aangewezen door de Minister. De COTAN is bovendien niet erg democratisch: we weten niet precies hoe de leden erin komen, we kunnen niet gemakkelijk iets aan de werkwijze doen; zij maken zelf hun eigen dienst uit …

Dus …
Als dan die COTAN ‘De DLE’s het liefst ziet verdwijnen …’, wat moet je daar dan bij denken?
Als de COTAN ‘het bevorderen van de kwaliteit van tests en testgebruik in Nederland’ als opdracht ziet, zou zij niet bepaalde praktijken –en zeker niet de inmiddels volledig geïmplementeerde- moeten uitsluiten, maar juist moeten verbeteren. De COTAN ziet de nadelen van DLE’s maar heeft –zo lijkt het- geen oog/oor voor de voordelen. Zij lijkt evenmin rekening te houden met het gepleegde verweer tegen de door haar opgesomde nadelen, die overigens voor een groot deel óók voor andere normeringswijzen gelden.

Ik zou wensen dat de COTAN aangeeft waar en hoe de toepassing van DLE’s te verbeteren is. De COTAN zou een betere zaak dienen als zij zou aangeven hoe zij de toepassing van DLE’s wèl acceptabel vindt. Kun je beter niet extrapoleren? Of misschien een beetje? En zo ja hoe ver dan? En hoe zit het met het interpoleren bij cumulatieftesten (hetzelfde werk wordt in opeenvolgende leerjaren gemaakt en genormeerd), kan dat dan wel door de beugel? En zo ja onder welke voorwaarden? En mag één scorepunt leiden tot meerdere maanden vooruitgang? Misschien kan de COTAN een voorstel doen: de schaal wordt ongeldig wanneer één scorepunt leidt tot meer dan één maand vooruitgang. Steek de energie derhalve in het verbeteren van een bestaand fenomeen en niet in het verwijderen ervan. M.a.w. de huidige opvatting/uitspraak ‘- maar de COTAN ziet rapportage in termen van DLE’s het liefst geheel verdwijnen -‘ valt beslist niet lekker, zeker als je bedenkt wie de COTAN eigenlijk is …

Lees ook: 
De verontwaardiging verklaard

Lees ook: De geschiedenis van de DLE's

Lees ook: Kritiek op DLE's weerlegd