Onderwerpen

dinsdag 20 januari 2009

Alle kinderen aan de toets?


Met een toets kun je in het onderwijs twee* dingen
doen:

1) meten hoe ver de leerling is (wat is zijn vaardigheidsniveau?; hoe goed kan hij rekenen?);

2) meten wat de aanleg/potentie van de leerling is (wat zijn de mogelijkheden?; wat mag je van hem verwachten?).







Met deze twee gegevens kun je de belangrijkste vraag die de school zich in het kader van toetsing te stellen heeft, beantwoorden: komt eruit wat erin zit? Dat geldt voor de leerling, maar ook voor de school als geheel. Als de school eruit haalt wat erin zit, doet de school het goed en verdient een compliment (ook al ligt die uitkomst onder het gemiddelde).

Waar niet veel in zit, komt niet veel uit.
Een school kan dus nooit alléén beoordeeld worden op wat eruit komt. De onderwijsinspectie probeert, bij gebrek aan betere middelen, dat wèl te doen aan de hand van de uitslagen van de Eindtoets Cito en/of aan de hand van de stand van zaken in het leerlingvolgsysteem. Zij probeert daarbij rekening te houden met verschillen tussen de schoolpopulaties. Echter, omdat de zoon van de dominee niet slimmer hoeft te zijn dan de dochter van de stratenmaker, voelen scholen zich dikwijls oneerlijk behandeld en zoeken uitvluchten of alternatieven.

Laten zien wat je kunt (en niet wat je niet kunt).
Zo bezien is het verstandig álle kinderen te toetsen op twee inhouden:

- wat zit erin en
- wat komt eruit.

Omdat kinderen enorm verschillen, is het niet verstandig daarbij domeintoetsen (meten een bepaald niveau uit een leerstofgebied/de leerlijn), maar cumulatietoetsen (meten de leerstof van makkelijk naar moeilijk over de hele leerlijn) te gebruiken. In het laatste geval kunnen leerlingen namelijk maken wat ze kunnen en hoeven ze niet te maken wat ze niet kunnen (ze stoppen als ze het niet meer weten). Dat voorkomt frustraties èn de leerling laat zien wat hij kán (en niet wat hij niet kan). Bij domeintoetsen kan het namelijk voorkomen dat de leerling geen enkele opgave kan maken; hij heeft alles fout. Toch moet hij alle opgaven doen. Dáár wordt een kind niet beter van … (en de school ook niet). Bovendien wordt de onderwijsinspectie er niet wijzer van: ze weet alleen wat de leerling niet kan, maar niet wat de leerling wèl kan.

*) Naast het meten van de aanleg/persoonlijkheidsaspecten en het vaardigheidsniveau kun je een test ook nog inzetten als diagnostisch instrument (waar wringt de schoen?) als blijkt dat het niveau te laag is. Een voorbeeld is de nieuwe Tempo Test Automatiseren (opvolger van de Tempo Test Rekenen).

Hoe maak je een DLE-schaal? (verbeterd)



Op deze plek willen we kort aangeven
hoe een DLE-schaal tot stand komt.

En ... hoe dat beter kan.
(Klik op de afbeelding voor een vergroting)


Voor het maken van een DLE-schaal moet de maker beschikken over tenminste twee gemeten/berekende gemiddelden (eerder en later in de schoolloopbaan) op hetzelfde werk. De DLE-TESTen werken met minimaal drie gemiddelden: hetzelfde werk wordt tevens gemaakt door de ‘belendende groepen’. Zo kan het voorkomen dat de gemiddelde scores op een spellingtest voor groep 5, afgenomen in bijvoorbeeld april, op dat moment de volgende zijn: groep 4: 20, groep 5: 30 en groep 6: 40. De tussenliggende scores kunnen dan door middel van interpolatie gemakkelijk worden geschat: het loopt namelijk in dit uitzonderlijke (!) geval keurig met 1 punt per onderwijsmaand (DL) op.
Door middel van extrapolatie mogen we op basis van onze regels de schaal ook nog naar buiten (naar voren en naar achteren) toe verlengen.
REGEL: Dat mag echter niet verder dan met de helft van de geschatte trend tussen de twee berekende voorgaande gemiddelden.
In dit geval krijgen we dan de schaal zoals hierboven. In dit voorbeeld hebben we te maken met een gefractioneerde test (per leerjaar een stukje). Mooier is het, wanneer we cumulatieftesten kunnen maken, zoals de SchoolVaardigheidsToets Technisch Lezen. Daarbij lezen alle groepen dezelfde kaart, alleen elke volgende groep leest méér. We krijgen dan één lange DLE-schaal.
Het is niet verstandig zelf de schalen nóg verder te verlengen of anderszins aan de schalen te gaan ‘rommelen’.


Beter ...
Tot zo ver de tekst die tot voor kort werd gehanteerd. Onlangs heb ik enige nuancering aangebracht, die er toe moet leiden dat veel van de gesignaleerde 'problemen' zich niet meer voordoen.
Van een aantal testen en toetsen moet het gebruik namelijk worden ontraden, omdat ze verouderd zijn of omdat ze minder geschikt zijn voor 'DLE-gebruik'.
Afgezien van de leeftijd van de test (de test moet niet te oud zijn, niet ouder dan ca. tien jaar) zijn er twee soorten waarbij het maken van een DLE-schaal afgeraden moet worden:

1) Zoals bekend valt bij een test met één normeringspunt geen DLE-schaal te maken, maar een test met slechts twee normeringspunten, die in de tijd vrij dicht bij elkaar liggen (minder dan ca. vijf maanden), is niet goed bruikbaar. Wanneer er tussen die twee normeringspunten tenminste één leerjaar (tien maanden) zit, ontstaan er mogelijkheden, maar de inzet is dan wel beperkt. Eigenlijk zou een test minimaal drie meetpunten moeten hebben: in het leerjaar waarvoor de test bedoeld is en in het leerjaar ervóór en erna.
Zo is bij de SchoolVaardigheidsToets Begrijpend Lezen het werk voor groep 6 óók gemaakt door groep 5 en groep 7. Men kan dan –als de schaal niet naar onderen en naar boven wordt verlengd - tenminste twee leerjaren overzien. Het mooiste is natuurlijk bijvoorbeeld de SchoolVaardigheidsToets Technisch Lezen met normeringspunten in de groepen 3 t/m 8, maar in dat geval gaat het dan ook over één en dezelfde leeskaart, die opklimt in moeilijkheid.

2) Wanneer de test niet met tenminste één scorepunt per onderwijsmaand omhoog gaat, wordt de DLE-schaal wel erg glibberig: een punt meer of minder gescoord, scheelt meteen meerdere onderwijsmaanden in niveau. Eén scorepunt per maand is dus het absolute minimum, mooier is wanneer dat er een stuk of drie of meer zijn.

Verder valt er te discussiëren over het verlengen van de schalen (extrapoleren) met de heersende trend. Mag dat en zo ja tot hoever? Indertijd werd daarvoor de volgende regel gehanteerd: dat mag met niet meer dan de helft van de afstand tussen de uiterste twee normeringspunten. Men begeeft zich dan echter al op zeer glad ijs, omdat ook de DLE’s tussen de normeringspunten geschat zijn. Met de nieuwe regressietechnieken* is dat wel zo dicht mogelijk bij ‘de werkelijkheid’ gebeurd, maar toch, gemeten is het niet! Het is daarom beter het niet te doen. Toch zijn er gevallen waarbij het voor indicatief gebruik zou kunnen, maar men moet dan heel goed weten wat men doet! Bovendien moet de schaal die men met (maximaal) een maand of drie verlengd, wel heel stevig en robuust zijn. Dus een schaal met minimaal drie meetpunten en een ‘scoreklim’ van minimaal één à twee punten per onderwijsmaand. In dat geval lijkt mij het verlengen van de schaal met maximaal drie maanden verantwoord, zeker wanneer de test/toets voor diagnostisch gebruik wordt ingezet (en niet voor verwijzing o.i.d.).

*) Bij de nieuwe Schoolvaardigheidstoetsen worden thans nieuwe (geautomatiseerde) regressietechnieken gebruikt, waardoor de toetsen (ook die van het Cito) in nagenoeg elke onderwijsmaand kunnen worden afgenomen.
Met die nieuwe regressietechnieken komen we er dankzij de vele meetpunten héél dichtbij. Bij de SkoalFeardigensToets Technysk Lêzen (Fries), doen we dat nòg beter: we hebben daar meetpunten om de vijf onderwijsmaanden i.p.v. om de tien. Bovendien verschijnen er thans toetsen met drie of meer meetpunten per leerjaar ... Elke maand meten zou natuurlijk ideaal zijn, maar dat is praktisch niet te doen. Bovendien zou het heel weinig meer toevoegen: veel minder onzeker wordt het niet.

Afwijking op de DL


Leerlingen verschillen niet alleen qua aanleg van elkaar, maar ook qua leeftijd: ze beginnen niet op dezelfde leeftijd aan het onderwijs in groep 3. M.a.w. de leerlingen zijn op de didactische leeftijd niet even oud (!).
(Klik op de afbeelding voor een vergroting)

Met behulp van de tabel 'Afwijking' kunnen we daar bij het bepalen van een ontwikkelingsperspectief rekening mee houden.

Stel dat van een leerling op een moment voor een gemiddeld resultaat een niveau van DLE 30 wordt verwacht, terwijl die leerling zes maanden jonger is dan de gemiddelde leerling. Bij een tegenvallend resultaat (bijvoorbeeld drie maanden 'achter') kunnen we dan zeggen: ‘Maar…, hij is zes maanden jonger dan gemiddeld.’ Andersom geldt ook: van een zes maanden oudere leerling zouden we iets meer mogen verwachten.

maandag 19 januari 2009

Over testen voor het LVS


Voor groepsonderzoek in het kader van een LVS vindt de Cotan dat er per groep ten minste 100 leerlingen in de steekproef moeten zitten.
Voor beslissingen op individueel niveau (bijvoorbeeld verwijzing naar het SBO) moeten dat tenminste 300 zijn. In de Schoolvaardigheidstoetsen van Boom test uitgevers is de kleinste groepsgrootte 423 (bij zinnen lezen A en B) en de grootste 948 (bij hoofdrekenen), gemiddeld zitten er circa 650 leerlingen per groep in de steekproef. Dat is in vergelijking met andere testen erg veel…


Ondanks dat kunnen er zeker op individueel, maar ook op groepsniveau ‘gekke dingen’ gebeuren. De gebruiker moet daar rekening mee houden. Een test is geen meetlat! Het is altijd een schatting en dan ook nog op een bepaald moment. In de handleiding bij de testen wordt daarvoor uitvoerig gewaarschuwd. En let op: de omstandigheden per school kunnen erg verschillen. Een praktijkvoorbeeld van de NTS (woorden): in de steekproef zaten twee scholen (openbaar en protestants-christelijk) in dezelfde wijk (zelfde ouderpopulatie). Het gemiddelde groepsniveau (dus de hele groep!) van groep 6 op de ene school lag een vol leerjaar boven de achteraf berekende norm, op de andere school lag dat gemiddelde groepsniveau van groep 6 een leerjaar lager dan de achteraf berekende norm. Dus, het verschil in niveau op de beide scholen bedroeg in groep 6 maar liefst twee leerjaren! Toch waren de omstandigheden ongeveer gelijk. Er was één verschil: de spellingmethode en de tijd die werd besteed aan het spellingonderwijs.
Toch mooi dat je dan tenminste nog íets (min of meer objectiefs) hebt, om je mee te vergelijken.
Let wel, we praten hier over signaleringstoetsen.

‘Vreemde voorvallen’ en ‘gekke afwijkingen’ horen er gewoon bij.
Zeker als het individuele gevallen betreft. Dat geldt ook voor de vergelijking van een resultaat op een eerder afgenomen versie van de test met de huidige. Met name wanneer je een leerling test met een spellingtest (waarbij dit verschijnsel in het bijzonder voorkomt) van systeem A en vervolgens met een spellingtest van systeem B, kan het voorkomen dat er grote verschillen ontstaan. In sommige gevallen gaat een leerling (ogenschijnlijk) ‘achteruit’. Dat is natuurlijk zelden of nooit het geval. Het ligt in die gevallen dan ook niet aan de leerling, maar aan de test. Bij het IPMON (de voorganger van DLE-LVS) hebben we dan ook afgesproken dat een eens behaalde DLE blijft staan. Dat geldt nog steeds!

Hoe kan zoiets nu worden voorkomen?
Het maken van een test is altijd een compromis. Om ‘uitschieters’ te voorkomen, zouden de leerlingen bij een te testen onderdeel ruim tweehonderd antwoorden moeten geven. Voor een dictee zou dat dus betekenen dat er ruim tweehonderd woorden in zouden moeten zitten. En dan ook nog woorden die er toe doen! Dus ‘de’, ‘het, en ‘een’ zouden we buiten beschouwing moeten laten. Dat is voor de praktijk niet haalbaar: het moet ook nog eens een keer worden nagekeken! Bovendien zou de testlast voor de leerling veel te groot worden. De dictees van de DLE-TEST spellen zinnen A en B zijn dan ook beperkt tot circa 60 woorden, waarvan circa 30 er toe doen. Bovendien is de test gefractioneerd: voor elke groep een stukje, hetgeen wil zeggen dat in het dictee maar een deel van de (in het algemeen in die groep aangeboden/behandelde) spellingproblemen aan de orde komt. Dan drukken we de scores ook nog eens uit in DLE’s, hetgeen veel ‘griezeliger’ is dan bijvoorbeeld de Cito-indeling (A = de 25% beste leerlingen). In het eerste geval zit je er sneller naast… Bij een indeling in de groep van de 25% beste leerlingen schiet je vaak raak. De 99-ste en de 76-ste van de honderd zijn beide A. Een afwijking valt daar dus minder snel op (lekker veilig voor de maker van de test…). Ook de Cotan vindt dat trouwens beter. Je uitspraak is meer ‘waar’ als je zegt dat de leerling tot het beste kwart van de groep behoort. De praktijk vraagt echter om meer. Dat een leerling tot het beste kwart behoort, hebben ze zelf meestal al vastgesteld… Natuurlijk is het belangrijk te weten of de leerling ‘bij’ is, maar men wil met name weten: ‘Hoeveel is de leerling vooruitgegaan sinds de vorige keer?’

Boom test uitgevers streeft daarom naar het maken van cumulatietesten (zoals hoofdrekenen en lezen zinnen A en B). Die hebben het voordeel dat ze


  • van gemakkelijk naar moeilijk zijn opgebouwd
  • de (zwakke) leerling daarom niet frustreren (scoren kan altijd)
  • de betere leerling de kans geven méér te laten zien
  • laten zien wat de leerling wél kan en niet wat de leerling niet kan
  • in één testbeurt meteen het eindniveau in beeld brengen
  • bij een volgende afname een vooruitgang (kunnen) laten zien
  • de leerling dus (ook) met zichzelf kunnen vergelijken
  • herhaald afneembaar zijn in meerdere groepen
  • daardoor weinig organisatie/administratie met zich mee brengen

Cito maakt domeintoetsen (een stukje uit de leerlijn dat aan de orde hoort te zijn in bijvoorbeeld de tweede helft van groep 6 [E6] wordt getoetst). Wanneer je daar als leerling nét niet aan toe bent, maak je heel veel fout. De volgende keer weet je de inhoud van E6 wel, maar helaas… M7 is aan de beurt en maak je weer heel veel fout… Bovendien, als de leerling ‘een E-tje’ blijkt te zijn (behoort tot de zwakste 10%), wat zegt dat dan nog? De vraag zou dan nog moeten zijn ’Hoe erg E ?’ De beste E-leerling kan in DLE’s wel drie jaar vóór liggen op de zwakste E-leerling. Anderzijds, ook tussen A-leerlingen kan er wel twee jaar niveauverschil bestaan … (!).

Boom test uitgevers wil de leerling ook en vooral vergelijken met zichzelf en minder met de groep.

Om praktische redenen kunnen er helaas niet voor alle onderdelen cumulatietesten worden gemaakt. Een tussenoplossing is de gefractioneerde cumulatietest (bijvoorbeeld rekenen/wiskunde). Ze hebben wel één lange DLE-schaal, maar kunnen in delen worden afgenomen.

Voor spellen en begrijpend lezen is het heel moeilijk om onze wensen te realiseren. We moeten daar helaas voor elke groep een apart (genormeerd) onderdeel maken. Je kunt kinderen uit groep 3 toch niet confronteren met woorden als accountant? Juist bij die testen zien we veel ‘afwijkingen’ en ‘merkwaardige verschijnselen’. Zo kan een leerling op een dictee voor groep 5 ‘alles’ fout maken en op het dictee voor groep 4 (omdat 5 te moeilijk was) ‘alles’ goed. Dat heeft wellicht te maken met het wél volledig begrijpen van de stof voor groep 4 en het nog niet begrijpen van de stof voor groep 5. Met een DLE-schaal kom je dan in de problemen: waar zit de leerling nu? Met een deviatieschaal was je in een keer uit de brand geweest: E (de zwakste 10%).
Een uitzondering wordt overigens het 150-woorden dictee (onveranderlijke woorden), dat qua constructie op reken/wiskunde lijkt en één lange DLE-schaal krijgt.

Inspectie gebruikt DLE - LVS


In het in september 2006 gepubliceerde Analyse en waardering van opbrengsten primair onderwijs van de Inspectie van het Onderwijs lezen wij het volgende:


‘De hoofdinspecteur heeft bevestigd dat de inspectie de toetsen van het DLE-LVS van Boom test uitgevers kan gebruiken om de tussentijdse en eindopbrengsten vast te stellen.’

Daar zijn we blij mee! Omdat de toetsen van Boom test uitgevers puur voor de praktijk zijn ontwikkeld, werd er in de verantwoording minder uitvoerig stilgestaan bij de wijze waarop de toetsen zijn ontstaan. Hoewel aan de kwaliteit niet werd getwijfeld, voldeden ze daardoor niet aan de beschrijvingseisen van de COTAN. De Inspectie van het Onderwijs vindt echter dat toetsen daar in principe wél aan moeten voldoen. Boom test uitgevers ging de toetsen daarop herschrijven, zonder dat er aan de constructie, de inhoud, de wijze van afnemen en de normen iets veranderde. Nu op dit moment eerste toetsen door de COTAN als voldoende tot goed zijn beoordeeld (en dus tóch goed blijken te zijn), acht de Inspectie van het Onderwijs de tijd rijp om de rest het voordeel van de twijfel te geven. Het laten beoordelen van toetsen door de COTAN is een langdurig en moeizaam proces. De verwachting is dat de resterende toetsen in de loop van 2009 door de procedure zijn en eveneens als voldoende tot goed worden beoordeeld.

‘De inspectie acht het van belang dat scholen betrouwbare, valide en genormeerde toetsen gebruiken. Of dit toetsen zijn die het resultaat uitdrukken in deviatiescores of in didactische leeftijdsequivalenten is op zichzelf niet relevant.’

Daar zijn we blij mee! Lange tijd is de toetswereld gedomineerd door de ‘deviatiedenkers’. We bedoelen dat niet hatelijk, maar er werd vanuit die optiek niet al te positief geoordeeld over de alternatieve benadering van de DLE’s. Natuurlijk zijn er kanttekeningen te plaatsen bij DLE’s; men moet er verstandig mee omgaan. Aan de andere kant zijn ook de deviatieschalen niet vlekkeloos. Zo kan er in groep 8 tussen de zwakste én de beste E-leerling wel DRIE leerjaren niveauverschil bestaan (!). Wat zegt zo’n E dan nog? Dan komen de DLE's dichter bij 'de waarheid' ...

‘Nadrukkelijk moet worden vermeld dat de Drempeltest van Boom test uitgevers niet geschikt is om te oordelen over de eindopbrengsten, omdat de toets de schoolvorderingen onvoldoende in beeld brengt. Als de school naast de Drempeltest beschikt over DLE-toetsen voor rekenen/wiskunde en begrijpend lezen, kunnen de eindopbrengsten daarmee worden beoordeeld.’

Klopt! De Drempeltest zegt (nagenoeg) niets over het schoolvaardigheidniveau. De Drempeltest meet wat erin zit en niet wat eruit komt, zoals de Cito Eindtoets doet. Vaak zien we de Drempeltest dan ook gebruikt náást de Cito Eindtoets (of naast de toetsen van het LVS) om na te gaan of eruit gekomen is wat erin zit. Dan kun je pas écht iets zeggen over de opbrengst van het onderwijs. Alleen de school die eruit haalt wat erin zit, verdient een voldoende oordeel.

Zie ook: Kritiek op DLE's weerlegd

Scholen stellen zèlf hun LVS samen


Steeds meer scholen stellen zèlf een pakket aan toetsen samen waarmee zij hun leerlingen volgen. Sinds de toetsen van het Cito LVS over DLE-schalen be-schikken en de toetsen van het DLE-LVS over Cito-schalen, vormt de verwerking van de ruwe scores geen probleem meer: de school kan er voor kiezen vast te houden aan de Cito-registratie, maar kan ook álle scores middels DLE’s verwerken. De laatste mogelijkheid wordt overigens meer en meer toegepast.

Scholen hebben het gevoel met behulp van de DLE’s ‘dichter bij het kind’ te kunnen rapporteren over de vorderingen. Ook ouders blijken die manier van rapporteren op prijs te stellen. Hoewel met behulp van het Cito-LVS ook heel goed een rapportage ‘dichtbij het kind’ mogelijk is, beperkt de communicatie zich in de praktijk toch vaak tot het spreken over A-tjes en E-tjes.


Wat daarbij overigens opvalt is het feit dat er een merkwaardig misverstand is ontstaan over de C-leerling: die zou ‘normaal’/voldoende presteren, omdat de C in het midden staat van de rij A, B, C, D en E. Echter, de Cito-verdeling van zeer zwak (E) naar goed (A) loopt over 10, 15, 25, 25 en 25 procent van de populatie, waardoor de C-leerling behoort tot het twééde kwart, dus onder het gemiddelde … (!). Dat scholen voor het verwijzen van leerlingen naar het PrO en LWOO (wettelijk verplicht) DLE’s moeten aanleveren, heeft de toepassing van DLE’s natuurlijk ook bevorderd.


Nu bovenstaande ontwikkeling stevig doorzet, kiezen ook ander toetsenmakers ervoor DLE- en/of Cito-schalen toe te voegen aan hun testen. Een goed voorbeeld hiervan is de Dyslexie OpsporingTest, de DOT van uitgeverij Libbe Mulder. Waar de test aanvankelijk uitsluitend stanine-scores bevatte, werken de auteurs nu met grote haast aan het maken van DLE-schalen (en voor het gemak ook Cito-schalen) bij de test. Hierdoor wordt het toepassingsgebied van de test aanmerkelijk vergroot: hij kan dan niet alleen ingezet worden voor het opsporen van dyslectische leerlingen, maar tevens dienst doen als spellingtoets in het kader van een LVS. De auteurs schrijven daarvoor zelfs een aparte B-versie. Voor de scholen is deze ontwikkeling gunstig: met de DOT slaan ze dan twee vliegen in één klap …


Voor wat betreft de ‘gewone’ leerlingvolgsysteemtoetsen hebben de scholen ook een voordeel: ze kunnen een toets kiezen die het beste bij hun populatie of werkwijze past. Een voorbeeld zien we in de toetsen voor begrijpend lezen van Cito en Boom test uitgevers. De laatste zijn ‘lichter verteerbaar’, zodat meer aan de zwakke leerling wordt tegemoet gekomen. Afhankelijk van de schoolpopulatie kan de school dan een keuze maken. Tot slot is er nog de keuze tussen domeintoetsen (Cito) en cumulatietoetsen (Boom test uitgevers). Domeintoetsen gaan over een deel uit de leerlijn en cumulatietoetsen gaan van gemakkelijk naar moeilijk. Ook hier kan in het laatste geval weer tegemoet worden gekomen aan de zwakkere leerling: hij kan maken wat hij kan en loopt niet het risico alles fout te maken.


Zo kunnen scholen dus een keuze maken uit verschillende (soorten) toetsen afhankelijk van hun eigen schoolsituatie. Ze hoeven zich daarbij niet meer zorgen te maken over het feit of de toets wel in hun systeem past. Nagenoeg alle administratiepakketten kunnen de ingebrachte ruwe scores namelijk verwerken op een wijze die hen past (DLE’s of Cito).

Ontwikkelingperspectief VO op basis van DLE








Op verzoek projecteren we hiernaast
de werkwijze waarmee op basis van
de behaalde DLE een ontwikkelingsperspectief VO
kan worden geformuleerd.


(Klik op de afbeelding voor een vergroting)






Leerlingen verschillen. De een is slimmer dan de ander. De een leert sneller dan de ander. Daarom komen ze aan het eind van de rit (in groep 8) verschillend uit: van Praktijkonderwijs tot VWO.

Het heeft geen zin aan leerlingen te blijven dokteren, wanneer is komen vast te staan ‘dat er niet meer in zit’. De energie kan dan beter worden besteed aan aspecten waarmee de leerling wèl geholpen is (bijvoorbeeld sociale redzaamheid). Anderzijds kunnen leerlingen die over meer potentie beschikken, wellicht aanvullende aandacht krijgen.

Op basis van de geregistreerde resultaten rekent DLE-LVS het ontwikkelingsperspectief van de leerling uit: waar komt de leerling aan het einde van de rit uit, als het zo doorgaat? De gegevens daarvoor zijn ontleend aan het IPMON-Leerlingvolgsysteem (en het SAVU-Leerlingvolgsysteem).

De kernvraag in het kader van dit LVS is steeds: komt het gesignaleerde ontwikkelingsperspectief overeen met onze verwachtingen van de leerling? Stel dat een leerling een ontwikkelingsperspectief PR (Praktijkonderwijs) heeft en in de omgang met de leerling krijgt u de indruk dat er meer in zit. Dan is nader onderzoek gewenst. Blijkt na onderzoek echter dat het ontwikkelingsperspectief past bij de leerling, dan moet het doel zijn dat perspectief te realiseren. In het LVS zal namelijk blijken dat alle pogingen om de leerling ‘er-weer-bij’ te krijgen, doorgaans weinig resultaten opleveren.

De testen van Teije de Vos

Regelmatig bereiken ons vragen omtrent de testen en toetsen van Teije de Vos.
'Is er al een opvolger van ... , wat is de meest actuele versie, is de vorige versie nog te koop en bij wie, welke nieuwe staan er op stapel, zijn die al Cotan-goedgekeurd?', dat zijn dan zoal de vragen.  
In onderstaand overzicht proberen we antwoord te geven op die vragen.



(klik op de afbeelding voor een vergroting)

Lees ook:

Een sober leerling- en onderwijsvolgesysteem, dan kan en mag!



Beschrijvingen van de testen/toetsen die op dit moment te koop zijn:


Begrippen en Regels - DL - DLE





Dikwijls wordt gevraagd naar een kort-en-bondig overzicht van de begrippen en regels rond het gebruik van de didactische leeftijd en het didactisch leeftijdsequivalent.

(Klik op de afbeelding voor een vergroting)

Meten is niet àlles weten ...


Er worden in ons land bij het interpreteren van toetsuitslagen door mensen die beter zouden moeten weten helaas nog steeds een aantal fouten gemaakt, die vèrstrekkende gevolgen hebben.
Een lage of hoge score alléén is niet voldoende voor een oordeel, je moet ook weten waar en hoe je die score moet plaatsen.


Hieronder een drietal van die misverstanden.


‘Als je Cito C hebt, zit je goed,
want die C valt mooi in het midden’.

Mis! De schaal van het Cito-Leerlingvolgsysteem kent de volgende verdeling: E = de laagste 10% van de scores, D = de daarop volgende 15% van de scores (samen 25%), C = de daaropvolgende 25% van de scores (we zitten nu op de helft van de scores, dus de onderste/laagste 50%), B= is de daarop volgende 25% van de scores en A = de laatste/hoogste 25% van de scores (B en A zijn samen alle scores boven het midden). M.a.w. alle C-scores zitten onder (aan de lage kant) van het midden, dus niks voldoende. Overigens kàn een C-score wel een goed resultaat zijn en een B-score daarentegen een zwak resultaat; zie daarvoor het derde probleem.

‘U hebt te veel E- leerlingen;
de volgende keer moeten de E’s veranderd zijn in D’s …’

Onzin! We hebben het hier niet over bijvoorbeeld DLE's, die een vaardigheidsniveau (op de leerlijn) aangeven, maar over deviatiescores die een positie op de frequentieschaal van zwak naar goed aangeeft. Een zwakke leerling kan op een DLE-schaal de volgende keer verder zijn, maar op een frequentieschaal wordt dat heel moeilijk. Als je een E-leerling bent, behoor je tot de 10% zwaksten en 10% zwaksten zullen/moeten er op een frequentieschaal altijd zijn, ook al worden alle E’s veranderd in D’s (er komen dan weer 10% àndere E-leerlingen voor in de plaats). We geven een voorbeeld van een zwakke lezer.
Marietje leest op de SchoolVaardigheidsToets Technisch Lezen in april groep 4 helaas slechts 30 woordjes in de minuut. Dat is DLE 3 (15 maanden ‘achter’); op de frequentietabel van Cito is dat E. De school maakt zich zorgen en gaat keihard met Marietje aan de slag. Een jaar later is de score 95 woordjes in de minuut, 65 woordjes méér! Dat is DLE 15, een vooruitgang van maar liefst 12 maanden, waar 10 gemiddeld is! Een prestatie van formaat, die je van zo’n zwakke lezer eigenlijk niet mag verwachten. Even kijken waar die 95 woordjes op de Cito-schaal staan … een E ?!?!?! Ja helaas, zij hoort met deze score op dat moment nog steeds tot de 10% zwakst scorende leerlingen ... Wat vraag je wel niet van deze zwakke, doorgaans minder begunstigde, leerlingen als je ze van E naar D wilt brengen?!? Het onmogelijke, zouden we zeggen. Toch lopen er in ons land projecten die dit als doelstelling hebben … (!).

‘Een zeer zwakke school is een school die onvoldoende onderwijsresultaten (eindopbrengsten) realiseert …’
Dat valt nog te bezien! Een school die (ruim) onder het landelijk gemiddelde scoort, kan een meer dan voldoende opbrengst hebben. Scholen die daar boven zitten en veel leerlingen verwijzen naar HAVO en VWO kunnen een onvoldoende (eind)opbrengst hebben. Hoe zit dat? Nou, wanneer je alléén meet wat eruit komt (bijvoorbeeld m.b.v. de Eindtoets Basisonderwijs van het Cito), heb je slechts de helft gedaan van wat je zou moeten doen. Het uitgangspunt is immers, dat scholen eruit moeten halen wat erin zit. Prima!
Maar dan moet je ook méten wat erin zit. Waar niet veel inzit, kan namelijk niet veel uitkomen … En stel dat je onder het landelijk gemiddelde scoort (dat zal in één van de twee gevallen voorkomen: de ene helft zit eronder, de andere erboven) en je kunt aantonen dat je eruit gehaald hebt wat erin zit, dan ben je toch niet een zwakke school?!? Ja, op school zitten wellicht kinderen die iets minder dan gemiddeld in hun mars hebben, maar daarom kun je de school –als onderwijsinstituut- toch niet bestempelen als ‘zwak’?

De Master Frankeskoalle in Earnewâld hakt al een aantal jaren met dit bijltje en heeft daarbij de Inspectie van het Onderwijs weten te overtuigen: van leerlingen met meer mogelijkheden mag je meer verwachten (en andersom). Aan het woord is directeur Harm de Vlas:
“Wij werken al jaren met dle-schalen tot grote tevredenheid van school, ouders en voortgezet onderwijs.
Om te weten of we met de leerlingen ook hebben bereikt wat we kunnen bereiken, gebruiken we naast de dle-toetsen halverwege groep 8 de Drempeltest. Deze combinatie maakt het mogelijk om de eindopbrengsten goed te beoordelen, zowel van de individuele leerling als van de groep/school. We kunnen prima vaststellen of ‘we er hebben uitgehaald wat er in zit’.
Bovendien blijken deze gegevens betrouwbaar te zijn in het kader van advisering naar het voortgezet onderwijs.
Met de Inspectie van het Onderwijs is op onze school vastgesteld dat de advisering van onze school naar het voortgezet onderwijs en de praktijk in de eerstvolgende drie jaren v.o. nauwelijks van elkaar verschillen”.

Hoe werkt dat, aantonen dat je eruit gehaald hebt wat erin zit?
In het Toezichtkader Primair Onderwijs 2005 spreekt de Inspectie van het Onderwijs bij het onderwerp ‘Opbrengsten’ van resultaten van de leerlingen die ten minste liggen op het niveau dat op grond van de kenmerken van de leerlingenpopulatie mag worden verwacht.

In afwachting van het nieuwe (software)pakket adviseren wij op dit moment de volgende werkwijze.

De kenmerken van de leerlingenpopulatie worden bepaald met de Begin-, de Vervolg- (in de maak), de Tussen- en de Drempeltest. Dat gebeurt eens in de twee jaar in groep 2, 4, 6 en 7/8 omdat de kenmerken van de leerlingenpopulatie (het gaat hier om de potentie/de aanleg/de mogelijkheden van de leerlingen) een betrekkelijk stabiele factor is. De kenmerken worden onder meer uitgedrukt in Cito A t/m E (kan desgewenst ook in Cito I t/m V, een IQ of iets dergelijks).
De resultaten van de leerlingen worden in het kader van het leerlingvolgsysteem doorgaans twee maal per leerjaar gemeten (voor het laatst halverwege groep 8) met methode-onafhankelijke en landelijk genormeerde toetsen voor technisch lezen, hoofdrekenen, spellen, rekenen/wiskunde en begrijpend lezen.
De toetsen van het Cito en Eduforce (thans Boom) worden hiervoor het meest gebruikt en voor dit doel worden de resultaten uitgedrukt in Cito A t/m E.
Sinds de DLE-TESTen als SchoolVaardigheidsToetsen verschenen, kunnen de gebruikers op de normensite van Boom dankzij de nieuwste regressietechnieken op basis van de ingevoerde DL (didactische leeftijd) en de ruwe score àlle gewenste schalen (DLE, Cito A t/m E of I t/m V, AVI, T-scores, Decielen enz.) oproepen. Die schalen (ook die van het Cito) gelden, dankzij die nieuwe technieken, bij een afname in nagenoeg èlke onderwijsmaand.

Met bovenstaande gegevens valt vervolgens na te gaan of eruit gekomen is wat erin zit. Dat kan per vak op leerling-, groeps- en schoolniveau. Eenvoudig gezegd, moet een leerling met ‘kenmerk’ B ook een ‘resultaat’ B halen. De Begin-, de Vervolg-, de Tussen- en de Drempeltest geven een keurig overzicht van deze A t/m E-kenmerken.
U kunt aan de hand van deze gegevens (op uw eigen manier) nagaan in hoeverre er sprake is van een ‘match’. De eenvoudigste manier is, nagaan hoeveel procent van de leerlingen een resultaat heeft dat overeenkomt met of hoger is dan hetgeen verwacht mag worden. Je hebt dan het percentage leerlingen waar (op z’n minst) uit gehaald is wat erin zit. Voor een genuanceerder beeld moet je eigenlijk de leerlingen die niet lieten zien wat ze kunnen, ‘wegstrepen’ tegen de leerlingen die méér lieten zien dan ze kunnen. Bijvoorbeeld: van de 100 leerlingen halen 50 wat ze moeten halen, 25 halen minder, maar 25 halen méér. De conclusie mag dan zijn dat de school 100% opbrengst heeft. Veel scholen gebruiken op dit moment voor hun DLE-TESTen nog de Combischalen en voeren de berekeningen uit met behulp van het experimentele computerprogramma NIBOP. Dat kan beter. We werken aan een handiger oplossing, die binnenkort beschikbaar komt.
We willen die werkwijze uniform maken (iedereen moet het op dezelfde wijze doen) en bovendien proberen we tot een zekere norm te komen: het is aannemelijk dat scholen er –landelijk gezien - niet in alle gevallen in slagen eruit te halen wat erin zit. Misschien ligt het percentage landelijk op 92% … Wanneer uw school dan op 96% zit, mag u niet ontevreden zijn.

Artikel verschenen in Zorg Primair No. 5/2007

zondag 18 januari 2009

DLE - LVS


Het DLE-LVS is een leerling- en onderwijsvolgsysteem voor het primair onderwijs, o.m. uitgebracht op cd-rom, die eigenlijk bedoeld is als ‘tool’ voor de IB’er (zie noot 1). Het werd rond 2000 op de markt gebracht door uitgeverij Eduforce.  Het systeem kan heel goed als pen-en-papier-versie worden toegepast met behulp van de leerling- en groepsprofielen. En … het kan net zo gemakkelijk, in z’n geheel of gedeeltelijk, in de vele registratie- en volgprogramma’s worden ondergebracht. Te denken valt aan Esis, Tangram, LVS2000, Eduscope, Magister, Schoolfit, SOM, Winsas en dergelijke, maar ook aan bijvoorbeeld ParnasSys en Dotcomschool. De toepassing van het systeem kan worden aangepast aan de wensen van de school en/of het bestuur. Het kan worden ingezet op leerkracht-/groepsniveau, maar ook als 'tool' voor de IB’er (zorgcoördinator).
Bovendien biedt het systeem mogelijkheden voor kwaliteitsbewaking en opbrengstmeting op het niveau van de leerling, de groep en de school.

Functies

Het systeem maakt leerling-, groeps- en schooloverzichten. Met de overzichten kan niet alleen de voortgang van de leerling, maar ook de kwaliteit van het onderwijs in de groep en op school worden bewaakt. De schooloverzichten kunnen bovendien door het bovenschools management en/of het bestuur worden verzameld om ook op dat niveau te kunnen sturen op kwaliteit.

Het systeem kent de volgende functies:

brengt het vaardigheidsniveau van de leerling in beeld en vergelijkt dit
- met de resultaten van de vorige metingen bij de leerling
- met de resultaten van de groepsgenoten
- met de resultaten van de leerlingen in de vorige en de volgende groepen
- met de landelijke norm
- met de resultaten bij andere (instrumentele) vaardigheden

brengt het vaardigheidsniveau van de groep in beeld en vergelijkt dit
- met de resultaten van de vorige metingen bij de groep
- met de resultaten van de voorgaande en volgende groepen
- met de landelijke norm
- met de resultaten bij andere (instrumentele) vaardigheden

brengt het vaardigheidsniveau van de school in beeld en vergelijkt dit
- met de resultaten van de vorige metingen op de school
- met de landelijke norm
- met de resultaten bij andere (instrumentele) vaardigheden

brengt het leerrendement van de leerling in beeld en vergelijkt dit*
brengt het leerrendement van de groep in beeld en vergelijkt dit**
brengt het leerrendement van de school in beeld en vergelijkt dit***

brengt de leersnelheid van de leerling in beeld en vergelijkt dit*
brengt de leersnelheid van de groep in beeld en vergelijkt dit**
brengt de leersnelheid van de school in beeld en vergelijkt dit***

berekent de opbrengst van het onderwijs bij de leerling en vergelijkt dit*
berekent de opbrengst van het onderwijs bij de groep en vergelijkt dit**
berekent de opbrengst van het onderwijs bij de school en vergelijkt dit***

geeft voor de leerling een ontwikkelingsperspectief in termen van een haalbare vorm van VO
houdt rekening met de afwijking van de leeftijd van de leerling t.o.v. de gemiddelde kalenderleeftijd

*) vergelijken kan met vorige metingen, groepsgenoten, leerlingen in de vorige en de volgende groepen, de landelijke norm en met de resultaten bij andere (instrumentele) vaardigheden

**) vergelijken kan met vorige metingen, de vorige en de volgende groepen, de landelijke norm en met de resultaten bij andere (instrumentele) vaardigheden

***) vergelijken kan met vorige metingen, de landelijke norm (eventueel andere scholen) en met de resultaten bij andere (instrumentele) vaardigheden

Middelen


Bij het systeem werden aanvankelijk de onderstaande (methode-onafhankelijke) onderdelen/testen/instrumenten ontwikkeld (zie noot 2), die op basis van grote landelijke steekproeven zijn genormeerd (de meeste onderdelen kunnen als pen-en-papierversie worden toegepast, een enkel onderdeel heeft ook een ‘eigen’ computerprogramma voor de verwerking):

1. Houding/Gedrag (sociaal-emotionele ontwikkeling)
voor groep 1 t/m 8

2. OPSEO, ObservatiePakket voor de Sociaal-Emotionele Ontwikkeling
voor groep 1 t/m 8

3. Woordenschattest (taalontwikkeling)
voor groep1 [werd vervolgens Woordenschattest voor peuters en kleuters]

4. LVS 1-2, (functie-ontwikkeling)
voor groep 1 en 2

5. OPFO, ObservatiePakket voor de FunctieOntwikkeling
voor groep 1, 2 en 3

6. Voorwaarden- en kennistoets (taal/lezen en rekenen)
voor groep 2 en 3

7. DLE-TEST lezen klassikaal (technisch lezen)
voor groep 3 t/m 8

8. DLE-TEST lezen zinnen A en B (technisch lezen)
voor groep 3 t/m 8

9. DLE-TEST spellen zinnen A en B (zinnen met werkwoordsvormen)
voor groep 3 t/m 8

10. DLE-TEST hoofdrekenen (technisch rekenen)
voor groep 3 t/m 8

11. DLE-TEST rekenen/wiskunde (inzichtelijk rekenen)
voor groep 3 t/m 8

12. DLE-TEST begrijpend lezen A
voor groep 4 t/m 8

13. DLE-TEST begrijpend lezen B
voor groep 4 t/m 8

14. DLE BOEK, met daarin de DLE-schalen van alle in Nederland verkrijgbare testen

15. Combischalen, DLE- èn Citoschalen van testen uit beide systemen (op cd-rom)

16. NIBOP (zie noot 3), programma voor NIveauBewaking en OPbrengstmeting met DLE èn Cito (zie noot 4)
Al deze onderdelen zijn -naast enkele onderdelen die een relatie hebben met het systeem, zoals het PDO Rekenen- in 2006 overgenomen door Boom test uitgevers te Amsterdam en worden daar onder (meestal) een andere naam doorontwikkeld (zie noot 2). Kijk voor meer informatie bij Boom test uitgevers.

Voor een actueel overzicht van de stand van zaken kunt u ook in dit blog kijken op De testen van Teije de Vos. U vindt daar tevens aangegeven welke testen/toetsen inmiddels door de Cotan zijn goedgekeurd.
Zodra de nieuwe wetgeving van kracht is, volgt er in dit blog een beschrijving van hoe een leerling- en onderwijsvolgsysteem kan worden ingericht dat voldoet aan die nieuwe wettelijke eisen (en aan de wensen van de onderwijsinspectie). 
Er zal blijken dat het met véél minder kan en dat het bijgevolg stukken eenvoudiger wordt! 

Noten 
1) Het computerprogramma op cd-rom werd ontwikkeld door QPeer en is als zodanig niet meer te koop, omdat de content inmiddels nagenoeg volledig is ondergebracht in bijna alle op de markt zijnde administratieprogramma’s.
De profielen op A3-formaat, waarmee een registratie te realiseren was, die thans door nog geen enkel computerprogramma is geëvenaard, waren nog lange tijd te koop bij uitgeverij Eduforce, maar ook die verkoop is inmiddels gestaakt. Wel worden bij Pearson nog DLE-LVS profielen verkocht bij de T.T.R., de N.T.R. (technisch) en de N.T.R. (toepassend).

2) De meeste uitgaven zijn niet meer te koop. De nummers 7 t/m 13 verschenen/verschijnen in de verbeterde reeks SchoolVaardigheidsToetsen bij Boom test uitgevers te Amsterdam en zijn allemaal goedgekeurd door de Cotan en toegelaten door de inspectie. Nummer 14 (het DLE BOEK) is nog steeds een 'bestseller'. 


3) Nummer 16 is vervangen door RIO ('Komt eruit wat erin zit?') en werd uitgegeven door Eduforce, thans verkrijgbaar bij meesterharrie.nl

4) Voor de opbrengstmeting (en het bepalen van het ontwikkelingsperspectief) maakt het systeem gebruik van een reeks aanlegtesten: Begintest, Vervolgtest (i.o.), Tussentest en Drempeltest, die respectievelijk worden afgenomen in de tweede helft van groep 2, in groep 4, in groep 6 en in groep 7/8.


Links


Afbeeldingen
(klik op de afbeelding voor een vergroting)






Schermafdrukken van het computerprogramma DLE-LVS





Voor de liefhebbers drukken we hieronder vier pagina's af uit de reeks 'SWP op maat' waarin een directeur (zou nu ook de IB-er kunnen zijn) z'n gedachten laat gaan over het ingevulde groepsprofiel van groep 6 (hierboven). Het moet opvallen dat slechts één enkel A3-formulier, dat door de school heen met de groep mee gaat, zo ontzettend veel informatie in één oogopslag kan bevatten. Daar kan nog steeds geen computerprogramma tegenop! Let ook eens op het minimum aan administratie dat het bijhouden van dit formulier vraagt. En bovendien: het kost geen stroom, doet het altijd en je hebt het altijd bij de hand ...
Voor IPMON moet u lezen DLE-LVS (zie 'De geschiedenis van de DLE's')

      

Met de zoekfunctie (bovenaan) in dit blog 
kunt u alle hier gebruikte termen verder verkennen.
In 'Begrippen en Regels' worden ze verklaard. 

dinsdag 13 januari 2009

Vraag en Antwoord


In dit 'artikel' verzamel ik alle vragen en antwoorden uit verschillende rubrieken van de afgelopen tijd en heden.
Ze gaan allemaal over testen, toetsen en het didactisch leeftijdsequivalent, maar laten zich niet keurig ordenen per soort. 
U zult dus 'even' moeten scrollen ... 
Mist u een vraag? Stuur dan een mailtje. Ik voeg dan vraag en antwoord toe aan deze opsomming (als het ook voor anderen van belang kan zijn).

U kunt ook zoeken d.m.v. het zoekvenster 
linksboven op deze pagina:




Wat is een percentielscore?
                       Wat is een Cito I-V score?
                                              Wat is een Cito A-E score?
                                                                     Wat is een DLE score?
                                                                                            Wat is een AVI score?

Antwoord:
Er is gebleken dat erg veel bezoekers van dit 'artikel' op zoek zijn naar een heldere en beknopte uitleg van de verschillende normschalen waarmee in het basisonderwijs gewerkt wordt. We geven daarom op deze plek meteen een overzicht van de meest gebruikte schalen. Mist u een schaal? Dan horen we dat graag ...
De schalen zijn ontleend aan de Gebruiksaanwijzing Boom Testcentrum.


Door erop te klikken, kunt u ze vergroten.









*********************************************************************************
Ik hoor net dat al dat getoets helemaal niet zo nodig is!?! 
Waarom doet onze school dan bijna niet anders?

Antwoord:
Tja, waarom? Er is de laatste jaren het gevoel ontstaan dat het allemaal (van de onderwijsinspectie) moest. Maar zo veel moet er niet .... En vaak ook niet op de manier zoals de scholen het doen. Er zijn veel schadelijke effecten ontstaan door dat idee. Het is tijd om eens opnieuw naar het 'toetscircus' te gaan kijken. In dit blog vindt u daarover onder meer de onderstaande bijdragen:




********************************************************************************** Ontbrekende DLE of score, hoe los je dat op?
Hoe zit dat nu met die ontbrekende DLE's of scores op een schaal? 
Wat moet je kiezen als die getallen niet in de tabel staan? Wat vul je in?

Antwoord:
In de handleiding van de vierde druk van de Tempo Test Rekenen leggen we dat haarfijn uit.
We doen dat aan de hand van het Scoreformulier, omdat de genoemde 'problemen' zich ook daar voordoen, evenals bij eigenlijk alle DLE-schalen. We drukken het betreffende gedeelte uit de handleiding daarom hieronder af.

Hieronder de kern van het verhaal:

(Klik op de afbeelding voor een vergroting)

********************************************************************************
Eindnorm lezen groep 3
Wat wordt er in het algemeen als eindnorm gehanteerd voor het lezen aan het eind van groep 3? Bijvoorbeeld 80% AVI 2 als streefdoel?
Wat wordt er op andere scholen gedaan als blijkt dat bijvoorbeeld 20% de norm niet haalt?


Antwoord:

Aan het eind van groep 3 hebben de leerlingen (in DLE-termen) tien maanden onderwijs (DL 10) achter de rug. Van een ‘gemiddelde’ leerlingen mag je dan ook een niveau van DLE 10 verwachten. In het DLE BOEK (Boom test uitgevers) kun je vinden met welke score op de DMT, AVI, Brus, TTL, DLE-TEST lezen, Schoolvaardigheidstoets Technisch Lezen enzovoort dat overeenkomt. Met andere woorden, in het DLE BOEK vind je van alle testen welke score je aan het eind van groep 3 mag verwachten. Overigens vind je niet alleen de scores aan het eind van groep 3, maar van alle onderwijsmaanden.

Een leerling met een leerrendement van minder dan 50% (dat is dus bijvoorbeeld een DLE van 27 = niveau maart groep 5 bij een DL van 55 = januari groep 8) 'moet' naar het PrO. Aan het eind van groep 3 zou een leerling met een DLE van minder dan 5 uiteindelijk op het PrO uitkomen als dat niet verandert … Een leerling die precies DLE 10 haalt, heeft een leerrendement van 100% en kan later naar de Havo ... (als het zo blijft!). Een potentiële VWO-er ‘moet’ een leerrendement van 117% hebben.

Lees ook: De dood van AVI

*********************************************************************************
Didactische leeftijden van 0 tot 80?
Als ontwikkelaar van een leerlingvolgsysteem, kom ik veel in aanraking met scholen die met 'dle-toetsen' werken. Bij de berekening van het leerquotient krijg je in de lagere dl-waarden soms 'vreemde' uitschieters, omdat de didactische leeftijd loopt van 0 tot 60.
Wat is er op tegen om de didactische leeftijd tot 80 (en dus ook de dle's van de toetsen) te laten lopen, waarbij dan 20 overeenkomt met het begin van groep 3?
Is de huidige berekening van de didactische leeftijd slechts een erfenis uit het verleden (zeg maar van voor de basisschool, klassen 1 t/m 6), of zit er een diepere bedoeling achter?


Antwoord
:

Het getal van de DL (het aantal maanden onderwijs dat er is genoten vanaf het begin van klas 1, thans groep 3) is inderdaad gerelateerd aan de klasindeling van de lagere school. Aan het eind van klas 6 had een leerling dus 60 maanden onderwijs genoten. Dat zijn er tien per leerjaar, omdat juli en augustus niet meedoen i.v.m. de vakanties. Toen de kleuterschool en de lagere school steeds meer gingen samenwerken op weg naar de basisschool is er besloten deze indeling zo te laten, maar vanaf het begin van de basisschool te gaan tellen bij – 20. Nu wordt er zelfs met -30 gerekend, omdat de peuterspeelzaal steeds meer samenwerkt met de basisschool. Overigens stuiten we bij die onderwijsmaanden voor groep 3 wel op een probleem: de leerlingen hebben niet allemaal hetzelfde aantal maanden onderwijs genoten (ze komen op school als ze vier jaar zijn). Dat geldt na groep 3 ook, maar ondanks de bedoelingen van de basisschool is het op dit moment op de meeste scholen nog steeds zo, dat alle kinderen vanaf september groep 3 in principe hetzelfde onderwijs krijgen aangeboden.

De getallen tot 70 en 80 worden in een aantal situaties al gebruikt: voor VO-1 en VO-2 (kijk maar eens bij de OBD Noordwest-Holland (Lemon 414, LeerlingMonitor voor 4 – 14 jarigen). Ook een aantal testen hebben een DLE-schaal die doorloopt tot circa 70.
Uw voorstel ‘Wat is er op tegen om de didactische leeftijd tot 80 (en dus ook de dle's van de toetsen) te laten lopen, waarbij dan 20 overeenkomt met het begin van groep 3?’ lijkt dus in mijn ogen niet haalbaar. Bovendien zouden we dan nogal wat moeten aanpassen… Kent u het DLE BOEK? Al die honderden schalen zouden we dan moeten veranderen om nog maar te zwijgen over al die computerprogramma’s die op deze indeling zijn gebaseerd. En wat denkt u van de verwarring die zou ontstaan?

Overigens, zouden we dan niet beter meteen de 0 bij het begin van de peuterspeelzaal kunnen zetten? Begin groep 1 wordt dan 16 en begin groep 3 wordt 36. Eind groep 8 wordt 95 en eind VO-2 wordt dan 115 ...

Lees ook: Hoe maak je een DLE-schaal?

*********************************************************************************
Resultaat Drempeltest viel tegen
Mijn zoon heeft de Drempeltest gedaan en we zijn vorige week naar school geweest voor het resultaat. Het viel ons een beetje tegen en zelfs de leerkrachten hadden een hoger schoolniveau verwacht. Hoe kan dat? De resultaten van eigen testjes op school wijzen ook uit dat het niveau van mijn zoon hoger moet liggen.

Antwoord:

De Drempeltest meet iets anders dan de testen/toetsen op school. Daar wordt gemeten wat eruit komt; de Drempeltest meet wat erin zit. En… er hoeft niet altijd uit te komen wat erin zit. In dit geval lijkt er op school meer uit te komen dan erin zit. Is uw zoon erg gemotiveerd, plichtsgetrouw en ijverig? Dat kan (ook bij de leerkracht) wel eens een vertekend beeld opleveren. Let hierbij in het bijzonder op de uitslagen van de LMT over de persoonlijkheid van uw zoon. Andersom kan echter ook voorkomen. Pas nog (weer) meegemaakt: een meisjes dat op school beoordeeld werd als ‘laag VMBO’ blijkt bij de Drempeltest te beschikken over een potentie op gymnasiumniveau! Een niet ‘ontdekte’ (hoog)begaafde leerling dus ... Wanneer u vragen houdt, kunt u contact zoeken met iemand van bijvoorbeeld de onderwijsbegeleidingsdienst.

Lees ook: Klas overslaan (versnellen). Kijk uit!

*********************************************************************************
Wat zijn mijn rechten?
Van de huidige school van mijn zoon en dochter wil ik graag een kopie ontvangen van het leerlingvolgsysteem, dit i.v.m. verandering van school. Dit is niet mogelijk (protocol), wel is het besproken met de juf, maar ik heb het niet daadwerkelijk in kunnen zien. Wat zijn mijn rechten in deze?

Antwoord:

De school kan (hoort) u over deze kwestie (te) informeren. Wanneer u niet tevreden bent, kunt u contact zoeken met het bestuur en eventueel de klachtencommissie van de school. Voor achtergrondinformatie moet u voor dit soort vragen bij de Inspectie van het Onderwijs zijn.

Het antwoord op uw vraag is echter eenvoudig. De school is wettelijk verplicht een Onderwijskundig Rapport te maken wanneer uw kind de school verlaat. In dat rapport staan natuurlijk ook de gegevens van het LVS. Op grond van de WPO (Wet op de PersoonsRegistratie) hebt u het recht dat rapport in te zien. Ook op de nieuwe school die het Onderwijskundig Rapport ontvangt, hebt u dat recht. U kunt dus in feite altijd alles (in)zien over uw kind.

Een kopie wordt iets lastiger! Dat hangt erg af van het beleid dat de school dienaangaande hanteert. Het kan best zijn dat de school heeft besloten voor het verstrekken van de gegevens een ‘vertaling’ voor de ouders te maken. Die zou u dan kunnen ontvangen.

De reden voor dit beleid kan zijn, dat een school dikwijls gegevens noteert rond het volgens van een leerling die uitsluitend voor intern gebruik zijn. Wanneer een school alles zou moeten ‘afgeven’ wat zij noteert over uw kind, zou dat de interne communicatie ernstig kunnen schaden. De school zou er namelijk voor kunnen kiezen heel weinig of niets zwart op wit te zetten, omdat ‘iedereen’ er een kopie van kan vragen. U moet bedenken dat in sommige aantekeningen ook ervaringen met of een oordeel over de ouders kan staan...

*********************************************************************************
Toetsmateriaal VO-leerlingen
Als orthopedagoog heb ik moeite om aan geschikt (en genormeerd) toetsmateriaal voor VO-leerlingen te komen voor de gebieden begrijpend/studerend lezen, algemene taalkennis, woordenschat e.d. Zelfs op gebied van spelling is de markt dun gezaaid is mijn ervaring. Ik zoek met name diagnostisch materiaal omdat het signaleren vaak op de scholen zelf al gebeurt.

Antwoord:

U signaleert terecht een probleem: het meeste materiaal is ontwikkeld voor het basisonderwijs. In het VO komt het nu duidelijk op gang. Het is dan ook nog maar sinds kort dat deze materie daar in de belangstelling staat. Dat heeft te maken met een de oude gewoonte: als je niet mee kunt komen, blijft je zitten en als dat niet helpt, ga je 'gewoon' een trapje lager... U kunt het beste informeren bij de onderwijsbegeleidingsdienst bij u in de buurt.

*********************************************************************************
Toetsen rond voorwaarden
Welke toetsen kan ik gebruiken om te bekijken of een zwakke (Turkse) leerling voldoet aan de voorwaarden om naar groep 3 te gaan? CITO TVK en Ordenen is al afgenomen (E en E-score). Zou de UGT en Struiksma mogelijk zijn? Graag hoor ik uw suggesties.

Antwoord:

Er zijn vele middelen om na te gaan of de leerling voldoende toegerust is voor het volgen van onderwijs in groep 3. Van heel sober (LVS 1-2 van Boom test uitgevers) via een tussenvorm (OPFO van Boom) tot zeer gedetailleerd (NOK van Pearson). Misschien is de Eenvoudige Lees- en Rekenvoorwaardentoets (van Boom) in dit geval wel het handigste; dan pak je in elk geval de (technische) hoofdzaak. Je kunt ook de benadering van PRAVOO (Luc Koning) kiezen. Kortom, dit is niet in enkele woorden aan te geven.

Ik zou me beperken tot de taal/lees- en rekenvoorwaarden en de werkhouding (die vind je in elk geval stevig vertegenwoordigd in OPFO).

*********************************************************************************
De scores wijken nogal af…
De scores van de spellingtest wijken nogal af van hetgeen ik had verwacht; ze zijn veel lager (of hoger) dan ik dacht. In de methode doen ze het prima en bij de test scoren ze veel lager. Dit lijkt beslist niet realistisch, hoe kan dat? Bij een andere test voor spelling scoren ze wel ‘op niveau’.


Antwoord:

De eerste vraag die gesteld zou moeten worden, is, wie zijn ‘ze’? Alle leerlingen? Geldt de conclusie voor de hele groep? Of gaat het om een enkele uitschieter? Testmakers gaan uit van de (hele) grote getallen… Voor groepsonderzoek in het kader van een LVS vindt de COTAN dat er per groep ten minste 100 leerlingen in de steekproef moeten zitten. Voor beslissingen op individueel niveau (bijvoorbeeld verwijzing naar het SBO) moeten dat tenminste 300 zijn. In de DLE-TESTen van Boom test uitgevers is de kleinste groepsgrootte 423 (bij lezen zinnen A en B) en de grootste 948 (bij hoofdrekenen), gemiddeld zitten er circa 650 leerlingen per groep in de steekproef. Dat is in vergelijking met andere testen erg veel… Ondanks dat kunnen er zeker op individueel, maar ook op groepsniveau ‘gekke dingen’ gebeuren. De gebruiker moet daar rekening mee houden. Een test is geen meetlat! Het is altijd een schatting en dan ook nog op een bepaald moment. In de handleiding wordt daarvoor uitvoerig gewaarschuwd. En let op: de omstandigheden per school kunnen erg verschillen. Een praktijkvoorbeeld van de NTS (woorden): in de steekproef zaten twee scholen (openbaar en protestants-christelijk) in dezelfde wijk (zelfde ouderpopulatie). Het gemiddelde groepsniveau (dus de hele groep!) van groep 6 op de ene school lag een vol leerjaar boven de achteraf berekende norm, op de andere school lag dat gemiddelde groepsniveau van groep 6 een leerjaar lager dan de achteraf berekende norm. Dus, het verschil in niveau op de beide scholen bedroeg in groep 6 maar liefst twee leerjaren! Toch waren de omstandigheden ongeveer gelijk… Er was één verschil: de spellingmethode en de tijd, die werd besteed aan het spellingonderwijs.

Toch mooi dat je dan tenminste nog íets (min of meer objectiefs) hebt, om je mee te vergelijken…
Let wel, we praten hier over signaleringstoetsen.
‘Vreemde voorvallen’ en ‘gekke afwijkingen’ horen er gewoon bij. Dat geldt ook voor de vergelijking van een resultaat op een eerder afgenomen versie van de test met de huidige.
In sommige gevallen gaat een leerling (ogenschijnlijk) ‘achteruit’. Dat is natuurlijk zelden of nooit het geval. Het ligt in die gevallen dan ook niet aan de leerling, maar aan de test. Bij het IPMON (de voorganger van DLE-LVS) hebben we dan ook afgesproken dat een eens behaalde DLE gewoon blijft staan. Dat geldt nog steeds!
Hoe kan zoiets nu worden voorkomen? Het maken van een test is altijd een compromis. Om ‘uitschieters’ te voorkomen, zouden de leerlingen bij een te testen onderdeel ruim tweehonderd antwoorden moeten geven. Voor een dictee zou dat dus betekenen dat er ruim tweehonderd woorden in zouden moeten zitten. En dan ook nog woorden die er toe doen! Dus ‘de’, ‘het, en ‘een’ zouden we buiten beschouwing moeten laten. Dat is voor de praktijk niet haalbaar: het moet ook nog eens een keer worden nagekeken! Bovendien zou de testlast voor de leerling veel te groot worden. De dictees van de DLE-TEST spellen zinnen A en B zijn dan ook beperkt tot circa 60 woorden, waarvan circa 30 er toe doen. Bovendien is de test gefractioneerd: voor elke groep een stukje, hetgeen wil zeggen dat in het dictee maar een deel van de (in het algemeen in die groep aangeboden/behandelde) spellingproblemen aan de orde komt. Dan drukken we de scores ook nog eens uit in DLE’s, hetgeen veel ‘griezeliger’ is dan bijvoorbeeld de Cito-indeling (A = de 25% beste leerlingen). In het eerste geval zit je er sneller naast… Bij een indeling in de groep van de 25% beste leerlingen schiet je vaak raak. De 99-ste en de 76-ste van de honderd zijn beide A. Een afwijking valt daar dus minder snel op (lekker veilig voor de maker van de test…). Ook de COTAN vindt dat trouwens beter. Je uitspraak is meer ‘waar’ als je zegt dat de leerling tot het beste kwart van de groep behoort. De praktijk vraagt echter om meer detaillering: ‘Hoeveel is hij vooruit gegaan sinds de vorige keer?’

Boom test uitgevers streeft daarom naar het maken van cumulatieftesten (zoals hoofdrekenen en lezen zinnen A en B). Die hebben het voordeel dat ze

- van gemakkelijk naar moeilijk zijn opgebouwd
- de (zwakke) leerling niet frustreren (altijd te scoren)
- laten zien wat de leerling wèl kan en niet wat de leerling niet kan
- in één testbeurt meteen het eindniveau in beeld brengen
- bij een volgende afname een vooruitgang (kunnen) laten zien

Cito maakt domeintoetsen (een stukje uit de leerlijn dat aan de orde hoort te zijn in bijvoorbeeld de tweede helft van groep 6 [E6] wordt getoetst). Wanneer je daar als leerling nèt niet aan toe bent, maak je heel veel fout. De volgende keer weet je de inhoud van E6 wel, maar helaas… M7 is aan de beurt en maak je weer heel veel fout…

Om praktische redenen kunnen er helaas niet voor alle onderdelen cumulatieftesten worden gemaakt.
Een tussenoplossing is de gefractioneerde cumulatieftest (bijvoorbeeld rekenen/wiskunde). Ze hebben wel één lange DLE-schaal, maar kunnen in delen worden afgenomen.
Voor spellen en begrijpend lezen is het heel moeilijk om onze wensen te realiseren. We moeten daar helaas voor elke groep een apart (genormeerd) onderdeel maken. Je kunt kinderen uit groep 3 toch niet confronteren met woorden als accountant? Juist bij die testen zien we veel ‘afwijkingen’ en ‘merkwaardige verschijnselen’. Zo kan een leerling op een dictee voor groep 5 ‘alles’ fout maken en op het dictee voor groep 4 (omdat 5 te moeilijk was) ‘alles’ goed. Dat heeft wellicht te maken met het wél volledig begrijpen van de stof voor groep 4 en het nog niet begrijpen van de stof voor groep 5. Met een DLE-schaal kom je dan in de problemen: waar zit de leerling nu? Met een deviatieschaal was je in een keer uit de brand geweest: E (de zwakste 10%).

Een uitzondering is overigens het 150-woorden dictee (onveranderlijke woorden), dat qua constructie op rekenen/wiskunde lijkt (in ontwikkeling).

*********************************************************************************
Onze beste speller scoort slechts gemiddeld. Hoe kan dat?
Hoe kan het dat zelfs onze beste speller onder het gemiddelde scoort? Deugt die normering wel?


Antwoord:

Eigenlijk kunnen we hier het beste een vraag van een andere school tegenover zetten: 'Hoe kan het dat zelfs onze zwakste speller nog gemiddeld scoort? Deugt die normering wel?'.

*********************************************************************************
Een punt extra geeft maanden voorsprong…
Op sommige plekken in de DLE-schaal ga je met één punt meer goed, maar liefst drie maanden in niveau vooruit!


Antwoord:

Gelukkig zijn er ook schalen die beter in elkaar zitten. Ons streven is dat er gemiddeld drie scorepunten nodig zijn voor één DLE (een onderwijsmaand ‘verder’). Bij testen met relatief weinig scorepunten lukt dat niet. Zeker niet, wanneer we de schaal ook nog eens willen laten gelden voor de ‘belendende groepen’. In de handleidingen bij de testen wordt uitgelegd, hoe een DLE-schaal tot stand komt. Stel dat op een test met 35 opgaven de gemiddelde score in groep 5 ‘20’ is (dat is minimaal, want ze mogen niet gefrustreerd worden door veel fouten), in groep 6 ‘27’ en in groep 7 ‘31’ (een gemiddelde waarbij alle leerlingen alles goed hebben, bestaat niet).
Dan hebben we voor de schaal van 6 naar 7 maar 4 ruimtes om te overbruggen, terwijl er tien onderwijsmaanden zijn! Dat wordt lastig… We zien in die gevallen dezelfde score helaas bij meerdere DLE’s staan. Jammer, maar weinig aan te doen. Ook hier geven deviatieschalen weer de oplossing, maar zeggen veel minder.

Overigens, ook bij het Cito treffen we in extreme gevallen testen aan waarbij er maar 5 scorepunten beschikbaar zijn om de hele populatie te verdelen over A t/m E. Eén antwoord meer goed, is niet B, maar A…

Lees ook: Hoe maak je een DLE-schaal?

*********************************************************************************
Zelfde score bij meerdere DLE’s
Wat moet ik doen wanneer een score bij meerdere DLE’s staat?


Antwoord:

We hebben daarvoor een nieuwe regel: U kiest de DLE die het dichtst bij de DL staat. Dat is voor de praktijk de beste oplossing en het is voor de leerling het ‘eerlijkst’. Bovendien geeft dit het meest realistische beeld.

*********************************************************************************
Allemaal dezelfde scores
Aan het eind van de schaal staan allemaal dezelfde scores. Wat moet ik daarmee?


Antwoord:

Eigenlijk zou het antwoord moeten zijn: niets! Beter was geweest dat deel van de schaal maar niet af te drukken. De test is daar als het ware ‘uitgewerkt’. Zij differentieert niet meer. Je kunt dat vergelijken met het volgende. De leerlingen van uw groep moeten zich 100 meter verderop bij een hek melden en krijgen na uw fluitsignaal daarvoor een uur de tijd. Dat is onzin, want na een paar minuten zijn ze allemaal al bij het hek. Wachten heeft geen zin. Doortesten na een DL waarbij alle leerlingen (nagenoeg) alles goed maken, heeft ook geen zin. Waarom staat die schaal er dan, zult u vragen. Wel, dat heeft te maken met de systematiek: we geven steeds meerdere leerjaren weer. Dat kunnen we beter niet doen, het geeft verwarring en ‘gekke verschijnselen’. Je kunt daar namelijk met één punt meer dan een jaar vooruit gaan!?! In het DLE BOEK doen we dat dan ook niet.

*********************************************************************************
DLE-schaal langer maken
Waarom wordt de DLE-schaal niet langer gemaakt? Hij houdt nu op en de hoogste en laagste scores hebben geen DLE.


Antwoord:

In de handleidingen bij de DLE-TEST leest u hoe de schalen worden gemaakt. Daar staat ook iets over extrapoleren. Dat doen we met maximaal de helft van de ‘bekende’ scores. M.a.w. wanneer we ergens een gemiddelde hebben van 10 en tien maanden verder ook een van 20, dan kunnen we met ‘zekerheid’ de tussenliggende scores ‘vaststellen’ (in feite schatten). We kunnen daarvoor en daarna ook nog iets doen (we redeneren als het ware door en terug). Dat mag niet verder dan met de helft van wat we al weten. Dus in dit geval: 5 + 10 + 5 = 20 DLE’s. Wanneer we nóg verder gaan doorredeneren begeven we ons op zeer glad ijs!

Wanneer u bedoelt dat de hoogste score(s) (alles goed) en de laagste score(s) (alles fout) niet op de DLE-schaal staan, dan is ons antwoord het volgende. De DLE's zijn de gemiddelde scores in een bepaalde onderwijsmaand. In welke onderwijsmaand zou de groep gemiddeld alles fout of alles goed hebben, denkt u? Dat komt zelden voor. Dus, wanneer we op de DLE-schaal een score 0 (alles fout) zouden opnemen, wil dat zeggen dat in die onderwijsmaand alle leerlingen alles fout hebben ... Zo'n situatie doet zich zelden voor; andersom (alles goed) ook. Daarom zult u die extreme scores dan ook zelden op een DLE-schaal tegenkomen.

Lees ook: Hoe maak je een DLE-schaal?

*********************************************************************************
Alles goed, wat nu?
Ik heb een leerling die alles goed heeft. Die score staat niet in de DLE-schaal. Hoe kan dat?


Antwoord:

In de DLE-schaal staan bij de onderwijsmaanden de gemiddelde scores van de steekproef op dát moment. Een steekproef waarbij alle deelnemers alles goed hebben, bestaat (in principe) niet. M.a.w. wij weten niet waar die DLE zich bevindt. Theoretisch zouden we dat nog wel kunnen realiseren, maar dan moeten we de test voor bijvoorbeeld groep 5 ook in groep 8 afnemen met de bedoeling dat iedereen daar alles goed heeft. Zoiets heeft weinig zin.
Overigens, voor dit probleem staat in de handleiding bij de test een oplossing: schakelen.

*********************************************************************************
Alles fout, wat nu?

Ik heb een leerling die alles fout heeft. Die score staat niet in de DLE -schaal. Hoe kan dat?

Antwoord:

In de DLE-schaal staan bij de onderwijsmaanden de gemiddelde scores van de steekproef op dát moment. Een steekproef waarbij alle deelnemers alles fout hebben, bestaat (in principe) niet. M.a.w. wij weten niet waar die DLE zich bevindt. Theoretisch zouden we dat nog wel kunnen realiseren, maar dan moeten we de test voor bijvoorbeeld groep 8 ook in groep 5 afnemen met de bedoeling dat iedereen daar alles fout heeft. Dat doe je niet…
Overigens, voor dit probleem staat in de handleiding bij de test een oplossing: schakelen.

*********************************************************************************
De test deugt niet; we scoren te laag!
Hoe kan het dat de leerlingen in onze methode het goed doen en op de test slecht?


Antwoord:

Tsja… dat stemt tot nadenken! We hebben een aardig voorbeeld uit de praktijk m.b.t. de Tempo Test Rekenen. Een school in een goede wijk met een goede leerlingpopulatie zat met name in de onderbouw behoorlijk onder de norm. Paniek! De test deugt niet! Maar, andere testen (die wel de gewenste uitslagen gaven, waren er niet). Nadere bestudering bracht echter aan het licht dat de nieuwe rekenmethode van de school nagenoeg niets aan automatiseren/hoofdrekenen deed. De school voerde in elke groep twee keer per week een kwartiertje ‘handig rekenen’ in. Na drie maanden zat de hele club ver boven de norm! Men moet bedenken: de DLE-TESTen zijn methode-onafhankelijk!

*********************************************************************************
We zitten er boven!
Wij zitten met begrijpend lezen door de hele school ver boven de norm. Deugt die test wel?

Antwoord:

Gefeliciteerd, zou ik zeggen. We komen dezelfde vraag, maar dan andersom, net zo vaak tegen.

*********************************************************************************
Te hoog en te laag

Ik test een leerling met een niet-cumulatieve test en heb dus voor elke groep een aparte DLE-schaal. Nu scoort de leerling in de test voor groep 5 zo laag dat hij buiten de schaal valt en (wonder boven wonder!) in de test voor groep 4 scoort hij zo hoog dat hij ook daar buiten valt! Wat moet ik doen?

Antwoord:

Kies de DLE er middenin (van de overgang), dus DLE 20.

*********************************************************************************
Wat is nou je DL?
Waarom wordt een gedoubleerd jaar meegeteld bij de dle-meting? Je hebt dan automatisch een achterstand van een jaar, terwijl je gewoon meeleert met de rest van de klas. En als je op een aantal gebieden achterstand hebt t.o.v. de rest van de klas, nou, kijk dan maar uit want die DLE is gauw te laag! Dan zit je in groep 7, je werkt voor spelling en rekenen op niveau groep 6 en je wordt beoordeeld als zat je in groep 8. Terwijl je de stof van groep 8 nog nooit gehad hebt!!! Nou, dan heb je gauw een advies PrO te pakken, terwijl je best wel LWOO aankan. Je hebt wat extra zorg nodig, maar omdat je 12 bent, kan de basisschool je makkelijk lozen. Ik vind dit geen rechtvaardige beoordeling.


Antwoord:

Helemaal mee eens! Zo doen wij dat dus ook niet bij het IPMON en het DLE-LVS. Het kan nog erger: je bent nog geen zes en komt in groep 3 (je wordt eind september zes). Het valt tegen en je doet groep 3 nog een keer. Bij de tweede start ben je (bijna) even oud als de leerling die nog een jaartje in groep 2 bleef (die wordt half oktober zeven). En jij zou steeds die tien onderwijsmaanden aan de broek krijgen?!?
Overigens, een doublure meetellen is ook om andere redenen niet eerlijk: je doet (normaal gesproken) hetzelfde onderwijs nóg een jaar en je zou, door een hogere DL aangewreven te krijgen, worden afgerekend op een niveau waarvan je het onderwijs nooit hebt gehad?!?
Ook pedagogisch is het niet verantwoord: zo kan de leerling het natuurlijk nooit goed doen …
Nee, de DL is gelijk aan de onderwijsmaand waarin je vertoeft. Zit je in januari in groep 5? Dan is je DL 25. Niet meer en niet minder. In IPMON en DLE-LVS houden we wèl rekening met de kalenderleeftijd. We drukken dat uit in + en - t.o.v. de gemiddelde kalenderleeftijd per DL. Wanneer twee leerlingen op DL 25 een score halen van DLE 25, maar de ene leerling is tien maanden jonger dan de ander, dan is de prestatie van de jongere leerling natuurlijk wel beter... Heel precies kun je dat beoordelen wanneer je de leeftijden vergelijkt met de gemiddelde kalenderleeftijd op dat moment. Stel dat de een vijf maanden jonger is en de ander vijf maanden ouder... Dan valt het eerste mee en het tweede houdt niet over.

Lees ook: Afwijking op de DL
Lees ook: Moet je bij een zittenblijvers de Didactische Leeftijd doortellen?

*********************************************************************************
Toetsmomenten in het SBO
Ik ben sinds kort als IB-er werkzaam op een SBO-school.Graag zou ik uw advies willen over de beste standaardmomenten van toetsafname in het sbo.Wij maken gebruik van Cito-toetsen en vragen ons af of het net als in het BO zinnig is de momenten januari en mei/juni aan te houden.


Antwoord:

Psychometrisch gezien (als het over de zuiverheid/betrouwbaarheid van de te berekenen resultaten gaat) komen de beste toetsmomenten overeen met de momenten waarop de steekproef het werk heeft gemaakt in het kader van de normering van de test (die momenten staan in de handleiding aangegeven). Met andere woorden, wanneer een bepaalde test voor een bepaalde groep in de maand april is genormeerd, dan is dát de beste (de meest zuivere) afnamemaand.Omdat vanwege praktische overwegingen andere momenten ‘beter’ kunnen zijn, zijn onder meer de DLE’s uitgevonden. Ik denk dan bijvoorbeeld aan leerlingen die nog niet het (gemiddelde) niveau beheersen dat op het afnamemoment door de test wordt gevraagd, maar waarvan je toch graag wilt weten ‘waar-ze-zitten’. De mooiste constructie is de cumulatieftest met DLE’s. Zo’n test begint makkelijk en wordt steeds moeilijker, bovendien is die test ‘door-de-jaren-heen’ genormeerd. Een heel goed voorbeeld daarvan is de nieuwe DLE-TEST lezen zinnen A en B. Die kun je op elk moment afnemen in groep 3 t/m 8 (en zelfs nog eerder en later) en bij elk afnamemoment (elke maand) heb je een norm.Wanneer je in de handleiding van die test leest hoe de normen en de DLE’s tot stand kwamen, weet je precies wat je nog wel en beter niet kunt doen als het over het hanteren van die normen gaat. DLE-TESTen zijn gemaakt voor deze wijze van afnemen. De Cito-toetsen hebben ook een DLE-schaal, maar die moet je zoeken in het DLE BOEK. Bovendien zijn de Cito-toetsen niet cumulatief; het zijn domeintoetsen, die de leerstof van dát moment (bijvoorbeeld tweede helft groep 6) tot onderwerp hebben.

Daarom drukt Cito de resultaten ook liever uit in termen van een afwijking van het gemiddelde (hij behoort tot de 10% zwakste leerlingen, de E-leerling).

DLE-testen geven het niveau aan in de vorm van een plek in de ‘schoolloopbaan’ (zijn niveau komt overeen met datgene wat gemiddeld in de 36-ste onderwijsmaand wordt gepresteerd). Wanneer die leerling dan al in de 46-ste onderwijsmaand zit, zou je kunnen zeggen dat hij een jaar ‘achter’ is…Concreet antwoord op je vraag: afnemen volgens ‘de voorschriften’ kan wel, maar ze zullen veel fouten maken, omdat de stof in de test voor de meeste leerlingen te moeilijk zal zijn. Dat ontmoedigt én de leerlingen vallen waarschijnlijk voor het grootste deel in E… (en dat wist je waarschijnlijk al…). M.a.w. wat voor informatie levert het op?

Mijn advies voor het SBO: gebruik cumulatieftesten met DLE-schalen (van makkelijk naar moeilijk; de leerling raakt niet ontmoedigd en maakt wat hij kan; hij laat zien ‘waar-hij-zit’/hoe ver hij is). Bijkomend voordeel: cumulatieftesten zijn dikwijls herhaald afneembaar, waardoor de leerling de volgende keer kan laten zien hoeveel hij is vooruitgegaan…

*********************************************************************************
Welk niveau is goed?
Wat wordt er in het algemeen als eindnorm gehanteerd voor het lezen aan het eind van groep 3? Bijvoorbeeld 80% AVI 2 als streefdoel?Wat wordt er op andere scholen gedaan als blijkt dat bijvoorbeeld 20% de norm niet haalt? Op onze school wordt in groep 3 elke dag gelezen, we maken ook gebruik van het duolezen. In groep 4 proberen we de ‘achterstand’ op te vangen door het tutorlezen en speciale leesbegeleiding, maar we willen graag meer preventief werken.We hopen op reacties en tips. Bedankt alvast!

Antwoord:

Aan het eind van groep 3 hebben de leerlingen (in DLE-termen) tien maanden onderwijs (DL 10) achter de rug. Van een ‘gemiddelde’ leerling mag je dan ook een niveau van DLE 10 verwachten. In het DLE BOEK kun je vinden met welke score op de DMT, AVI, Brus, TTL, DLE-TEST lezen, enzovoort, dat overeenkomt. Met andere woorden, in het DLE BOEK vind je van alle testen welke score je aan het eind van groep 3 mag verwachten. Overigens vind je niet alleen de scores aan het eind van groep 3, maar ook van alle onderwijsmaanden.In ons DLE-LVS en bij de Drempeltest (nu ook de Tussentest en straks de Begintest) leveren wij ‘grenswaarden’ waarmee je kunt nagaan welk perspectief in termen van een positie in het VO hoort bij een bepaalde score. De RVC-VO doet dit ook (op last van OCW) bij de selectie van leerlingen voor het PrO en LWOO.

Zo ‘moet’ een leerling met een leerrendement van minder dan 50% (dat is dus bijvoorbeeld een DLE van 27 = niveau maart groep 5 bij een DL van 55 = januari groep 8) naar het PrO. Aan het eind van groep 3 zou een leerling meteen DLE van minder dan 5 uiteindelijk op het PrO uitkomen als dat niet verandert…

Een leerling die precies DLE 10 haalt, heeft een leerrendement van 100% en kan later naar de Havo… (als het zo blijft!). Een potentiële VWO-er moet’ een leerrendement van 117% hebben.
Wanneer u op www.boomtestuitgevers.nl de handleidingen van DLE-LVS, de Drempeltest en de Tussentest gaat downloaden, vindt u alle informatie. Daar vindt u ook dat het streven naar bijvoorbeeld 80% van de leerlingen ‘op-de-norm’ helemaal fout is… (!) Dat moet misschien wel 100% zijn en zelfs dát kan nog te weinig zijn. Anderzijds kan 60% ‘op-de-norm’ wel eens een heel goede prestatie zijn. Dit alles heeft te maken met de vraag: ‘Haalt de school eruit wat erin zit?’ Daarvoor moet u twee dingen weten: wat zit erin en wat komt eruit. Als er niet veel in zit, komt er ook niet veel uit.Zie daarvoor de schema’s bij het DLE-LVS over de potentie (te meten met de Drempeltest/Tussentest/Begintest) en het resultaat (te meten met uw LVS); de school die de minste leerlingen naar Havo/VWO stuurt, blijkt daar niettemin de beste te zijn…

*********************************************************************************
Wettelijk verplicht?
Ik las dat DLE's wettelijk verplicht zijn. Waar vind ik hier meer informatie over?

Antwoord:

Het beste kunt u kijken op de website van de landelijke RVC-VO: http://www.rvc-vo.nl/

*********************************************************************************
Ze scoren lager dan in de vorige groep!
In mijn groep denderen de scores op de TTR ineens naar beneden bij bijna alle leerlingen! Hoe kan dat?


Antwoord:

Is het mogelijk dat de leerkracht in de vorige groep zich niet precies aan de afnametijd heeft gehouden? Wanneer je er maar precies 1 minuut aan mag werken en je doet er tien seconden bij om ze wat tegemoet te komen (een hogere score bemoedigt natuurlijk wel en het staat naar de ouders toe ook leuk…). Helaas, de volgende leerkracht, die zich wél aan de regels houdt, moet het bezuren.

*********************************************************************************
Van ‘Aantal goed’ naar DLE’s in TANGRAM…
Op onze scholen gebruiken we (tot grote tevredenheid) onder meer de NTS van Teije de Vos. Wij voeren de gegevens in TANGRAM in. Op dit moment zijn de toetsen apart ingevoerd: NTS woorden 4, 5, 6, 7, 8 en zinnen 4, 5, 6, 7, 8.
Als ik het dictee zinnen 5/6 afneem en het kind scoort 55 goed geschreven woorden, wat is dan mijn DLE? Ik kan dat nergens uit de normtabel halen!Op onze scholen zitten genoeg kinderen die aan of buiten de rand van detoets scoren. Wij kregen van de helpdesk van TANGRAM het advies om niet meer de scores, maar de DLE’s in te voeren.
Dat lijkt ons inderdaad veel handiger: je hebt dan maar één toetsplaats voor spellen (eventueel onderverdeeld in woorden en zinnen) en dus één grafiek van een leerling door de jaren heen (in plaats van nu 2 x 6 = 12 !!!). Wij werken dus niet meer met ‘aantal goed’, maar voeren zelf direct de behaalde DLE in bij het onderdeel ‘Spellen’. Maar… dan moet ik natuurlijk wel gegevens hebben! Waar vind ik die?


Antwoord:

Dat advies is klasse! Invoeren van de DLE is natuurlijk veel beter. Nadeel is wel dat het programma voor jou niet meer de DLE zoekt bij de score. Voordeel is dat je die toetsdefinities ook niet allemaal hoeft in te kloppen. En… dat je een veel overzichtelijker geheel krijgt (met minder kans op fouten!).

Dat zoeken van die DLE kan overigens wel weer automatisch met het DLE-BOEK digitaal, dat in een hoekje met TANGRAM kan meedraaien…
Dan over die score. Bij sommige scores (waaronder 'alles goed') is doorgaans geen DLE te maken, omdat er geen steekproef te vinden is waarin iedereen alles goed heeft. Bij de DLE staat namelijk de g e m i d d e l d e score. En wanneer heeft een groep nu gemiddeld alles goed? Er is altijd wel iemand die een foutje maakt... Dus, die DLE is er niet.

Wat te doen wanneer een individuele leerling wél alles goed heeft? We hanteren dan de volgende regels:

Is een score hoger dan de hoogste aan een DLE gekoppelde score, ken dan de hoogste in de schaal voorkomende DLE toe. Als daartoe de mogelijkheid bestaat (bij pen/papier versies), zet er dan een > teken voor. Is een score lager dan de laagste aan een DLE gekoppelde score, ken dan de laagste in de schaal voorkomende DLE toe. Als daartoe de mogelijkheid bestaat (bij pen/papier versies), zet er dan een < teken voor

Een andere oplossing is het zogenaamde 'schakelen'. De toets bleek dus te makkelijk/moeilijk (de leerling had meer dan de hoogste/laagste score goed/fout). Men kan dan een moeilijker/makkelijker toets afnemen om toch weer in de schaal te scoren.

*********************************************************************************
Leerrendement en/of Leerachterstand of leersnelheid?
Wanneer ik het leerrendement wil berekenen, dan pas ik de volgende formule toe: dle (van nu) - dle (vorige keer) : dl (van nu) – dl (vorige keer). Ik ga dus altijd uit van een vorige score. Als ik echter in uw programma* de score van een leerling intoets die de toets pas voor de eerste keer maakt, dan krijg ik al meteen een leerrendement. Hoe is dat mogelijk?

*) bedoeld wordt het ‘DLE-BOEK digitaal’ van Boom test uitgevers (niet meer in de handel).


Antwoord:

U zegt het goed: je krijgt een leerrendement en niet een leersnelheid. Dát is namelijk wat u doet!
Ik heb even nagerekend wat u doet en dan krijg je inderdaad een getal dat de relatieve vooruitgang uitdrukt.

Eenvoudig gezegd doet u het volgende (als ik het goed begrijp): we zijn nu 5 maanden verder en het niveau is in die tijd 4 maanden vooruitgegaan, dus het ‘leerrendement (de vooruitgang)’, zoals u dat noemt, is 0,8 (80%). Dat geeft een goed beeld van de prestaties van de leerling, maar in feite spreken we hier van de leersnelheid. Deze valt alleen te berekenen wanneer we twéé DLE’s en twéé DL’s van hetzelfde moment hebben.

Met alleen één DLE en één DL (van hetzelfde moment) kunnen we ook iets, maar dan komen we op het leerrendement, waaraan wij dan ook nog het perspectief koppelen.

Echter, een ‘buitenstaander’ weet dan nog niet ‘waar de leerling zit’. Daarom past men in z’n algemeenheid een andere formule toe: (de op dit moment behaalde) DLE : (de huidige) DL. Bijvoorbeeld: een leerling haalt op dit moment een DLE van 15, terwijl de DL thans 20 is. We doen dan 15 : 20 = 0,75 (75%). De leerling beheerst dus 75% van hetgeen hij zou moeten beheersen. We weten dan meteen ‘waar hij zit’.
Het ministerie van OCW doet dat ook zo als het gaat over het verwijzen naar PrO en/of LWOO. Iemand met een leerrendement van 50% ‘moet’ naar het Pro; bij LWOO is dat 75%. Dit percentage kun je overigens al op elk moment in de schoolloopbaan berekenen (zie de informatie bij het DLE-LVS, te downloaden vanaf www.boomtestuitgevers.nl). Stel dat een leerling op DL 40 (eind groep 6) een DLE heeft van 20, dan ‘dreigt’ PrO…
Het ministerie spreekt overigens van Leerachterstand, maar dat is in dit geval eigenlijk het omgekeerde van Leerrendement. De rapportage van de Toelatingstoets van het Cito bevat ook DLE’s voor de leerling. Om de scores voor de RVC (verwijzing naar PrO en LWOO) te berekenen, bepaal je daar eerst wat de didactische leeftijd (DL) van de leerling is en pas je vervolgens voor de vier onderdelen de volgende formule toe: 1 - (DLE/DL).
In ons voorbeeld hierboven wordt de Leerachterstand dan 1 – (15 : 20) = 0,25. Het Leerrendement (wat heeft de leerling ‘opgepikt’) is het omgekeerde en dus 0,75 oftewel 75%.
Snap je het nog? Zie: Begrippen en Regels DL - DLE


******************************************************************************
Er is geen DLE bij mijn score?!?
Ik hoop dat u mij kunt helpen. Er is bij ons pas de Cito-rekentoets afgenomen in groep 3 en daarna heb ik de DLE's bepaald aan de hand van bladzijde 5-14 van het DLE BOEK. Een kind scoorde erg laag: toetsscore 17. Dat komt in de tabel niet eens voor! Deze begint bij DLE 6. Hoe kan ik nu bepalen op welk niveau hij zit? Hopelijk kunt u mijn vraag beantwoorden.


Antwoord:

De DLE’s bij een test worden bepaald op basis van de normen in de handleiding van die de test. Bij het bepalen van de DLE gaan we op zoek naar de gemiddelde score die in een bepaalde onderwijsmaand wordt gehaald.

Wanneer die test bij bepaalde maanden geen scores heeft, kunnen er helaas geen DLE’s worden bepaald. Dus, als er geen DLE is, staat er in de test bij die maand ook geen (gemiddelde) score. Men moet namelijk bedenken dat de (min of meer) extreme scores als gemiddelde niet voorkomen. Zo is er bijvoorbeeld geen steekproef te vinden waarin iedereen alles goed (of fout) heeft. Het houdt dus een keer op (naar boven en naar beneden). Er is nog wel de mogelijkheid om vanuit de bekende (berekende) scores te extrapoleren (zie daarover een eerder gegeven antwoord hiervoor), maar ook dat heeft z’n beperkingen.

Dus, als bij de score geen DLE staat, komt dat omdat de test voor die score geen normen heeft. Bij Cito kun je met de hoogste (tot alles goed) en de laagste (tot alles fout) scores nog wel uit de voeten met A (behorend tot de beste 25%) en E (behorend tot de zwakste 10%). De vraag blijft daar echter altijd ‘Hoe erg E ?’ of ‘Hoe goed A ?’. Wanneer een leerling met zijn score naar onder of boven ‘uit de schaal loopt’, zal men moeten ‘schakelen’ naar een makkelijker of moeilijker (onderdeel van de) test. Overigens kleven ook daaraan bezwaren. Stel dat een leerling ‘volgens de regels’ M7 van Cito rekenen/wiskunde zou moeten doen. Hij heeft echter een vaardigheidsniveau dat overeenkomt met medio groep 5. Je doet dan M5 en vindt een score die wel in de DLE-schaal valt. Je weet dan wel iets over zijn niveau, maar je moet je wel realiseren dat je een elfjarige hebt getest met materiaal dat bestemd (en genormeerd) is voor achtjarigen (!).
Beter is het dan om een cumulatieftest te kiezen zoals de DLE-TEST rekenen/wiskunde die een doorlopende DLE-schaal heeft. Je komt dan dichter bij de waarheid. In uw geval is er geen gemakkelijker test(onderdeel), dus u kunt niet naar beneden schakelen. Een andere rekentest afnemen is dan de enige oplossing, mits die –in dit geval- wél lager dan DLE 6 gaat. Bij de DLE-TEST rekenen/wiskunde is dat het geval.

Lees ook: Hoe maak je een DLE-schaal?

******************************************************************************
Wat zijn nou eigenlijk de regels voor DLE’s ?!?
Ik hoor de meest vreemde verhalen (ook van instanties!) over hoe je om moet gaan met DLE’s. Waar moeten we ons nu eigenlijk aan houden?


Antwoord:

Om aan de verwarring een einde te maken heeft drs. Teije de Vos (auteur van het DLE-LVS en van de voorloper daarvan, het IPMON dat in de tachtiger jaren van de vorige eeuw verscheen), de zaak nog eens op een rij gezet. We geven dat overzicht hieronder weer, waarbij soms naar de brochure van het DLE-LVS wordt vewezen (op te vragen bij de auteur). De regels zijn overigens sinds het verschijnen van de eerste leerlingvolgsystemen met DLE’s (het SAVU van Gerard Melis en het IPMON van Teije de Vos) niet veranderd!



BEGRIPPEN en REGELS
Didactische Leeftijd en Didactisch Leeftijds-Equivalent

Drs. Teije de Vos

DL = het aantal maanden onderwijs (uitgaande van tien onderwijsmaanden per leerjaar) dat de leerling vanaf begin groep 3 heeft gehad. Zie voor de maandnummering ‘Afwijking op de DL’.

REGEL: We negeren hierbij vertragingen en versnellingen (langdurige ziekte, doublures en klassen overslaan). Beter zou zijn te formuleren: “De DL van een leerling komt overeen met de onderwijsmaand waarin de leerling vertoeft.” Zit de leerling in januari groep 5? Dan is de DL 25 ongeacht vertragingen en versnellingen. We houden echter wél rekening met de kalenderleeftijd. Zie daarvoor ‘Afwijking op de DL’. Argumenten voor deze regel worden gegeven elders in deze blog’.

DLE = het niveau van de leerling, de groep of de school bij één of meerdere vaardigheidsgebieden (samen) uitgedrukt in onderwijsmaanden.

REGEL: Een eens behaalde DLE blijft staan. Argumenten voor deze regel worden gegeven elders in dit blog.

Vaardigheidsniveau* = wordt berekend door DLE – DL = aantal maanden ‘voor’ of ‘achter’ (t.o.v. het gemiddelde).

Leerrendement* = wordt berekend door (DLE : DL) x 100 = … %

Leersnelheid* = wordt berekend door (2e DLE – 1e DLE) : (2e DL – 1e DL) x 100 = … %

Opbrengst = antwoord op de vraag ‘Komt eruit wat erin zit?’. Kan berekend worden met NIBOP, dat Potentie en Resultaat met elkaar vergelijkt.

Potentie = de (leer)mogelijkheden (gemeten met de Begin-, de Vervolg-, de Tussen- en de Drempeltest) uitgedrukt in Cito A t/m E.

Resultaat = het vaardigheidsniveau uitgedrukt in Cito A t/m E.

Ontwikkelingsperspectief = prognose van een haalbare vorm van VO op basis van het leerrendement.

Afwijking = aantal maanden dat de leeftijd van de leerling afwijkt van de gemiddelde kalenderleeftijd op de DL (zie: 'Afwijking op de DL' in dit blog).

REGEL: Wanneer een score bij meerdere DLE’s staat, kiezen we de DLE die het dichtst bij de DL staat.

REGEL: Is een score hoger/lager dan de hoogste/laagste aan een DLE gekoppelde score, ken dan de hoogste/laagste in de schaal voorkomende DLE toe. Als daartoe de mogelijkheid bestaat (bij pen/papierversies) zet er dan een > of  < bij.

REGEL: Mocht in bovenstaand geval de leerling bij de moeilijker toets (bv. groep 6) te laag en bij de makkelijker toets (bv. groep 5) te hoog scoren, dan kennen we de DLE op de overgang van beide groepen toe (in dit geval 30).

*) Ten overvloede: de DLE in de formule is gemeten op de in de formule gehanteerde DL.

Voor een actueel overzicht zie: Begrippen en Regels DL en DLE


*********************************************************************************
Waarom is er geen foutenanalyse bij?
Ontbreken van een foutenanalyse. Test is toch al heel lang in gebruik? Is er al door een andere school een foutenanalyse ontworpen? Misschien is er een speciale reden dat er niets is. Het is tenslotte een test.


Antwoord:

Bij de testen/toetsen van Teije de Vos zijn geen foutenanalyses. De testen zijn namelijk ‘slechts’ bedoeld om het vaardigheidsniveau te bepalen: hoe ver is deze leerling in vergelijking met klasgenoten elders in het land? M.a.w. de testen/toetsen zijn niet diagnostisch bedoeld. Dat wil niet zeggen dat er geen diagnose mogelijk is. De Tempo Test Rekenen bijvoorbeeld, geeft de mogelijkheid na te gaan waar de leerling het meest ‘achter’ is (optellen, aftrekken, vermenigvuldigen of delen). Trouwens, de opvolger van de T.T.R., de TTA. (van Automatiseren) heeft daar nog weer een extra voorziening voor. Daar is zelf een computerprogramma bij om na te gaan met wèlk somtype (van bijvoorbeeld aftrekken) de leerling problemen heeft.
De lijn is dus eigenlijk het volgende: je gaat na waar de leerling zit. Als dat tot zorgen leidt, ga je pas diagnosticeren: hoe komt het dat de leerling ‘achter’ is? Er zijn dan vele wegen en middelen mogelijk. De oorzaak kan bijvoorbeeld ook zijn dat de leerling minder begaafd is. In dat geval is het niveau voor het kind ‘normaal’ en hoeven we helemaal niet te kijken waar de ‘rekenproblemen’ zitten …
Foutenanalyse hoort bovendien ook meer thuis binnen de methode: je legt iets uit en gaat na of de leerling het snapt. Daarop geef je remedial teaching of pas je het programma aan.
Als je dat bij een landelijk genormeerde test/toets zou doen, ben je niet meer methode-onafhankelijk bezig en verstoor je de betrouwbaarheid (je gaat werken voor de test). Voor een foutenanalysetoets is geen normering nodig: je zoekt niet naar het niveau (in vergelijking met een landelijke norm), maar naar de problemen.

*********************************************************************************
Is er ook een test voor taal?
Kunnen de vorderingen op het gebied van taal ook worden getoetst door een onafhankelijke test van dhr. Vos? ( Zijn er ook toetsen voor taal beschikbaar?)

Antwoord:

We verwijzen hiervoor naar het schema ‘De testen van Teije de Vos’.

*********************************************************************************
Jammer …
Jammer dat kinderen bij het onderdeel rekenen/wiskunde een blad (2 kantjes) moeten maken met sommen die zij nog niet aangeboden hebben gekregen. Sommigen proberen maar wat en scoren hier wel punten mee. Dit zegt echter niets over het beheersen van de desbetreffende vaardigheden. Voor andere kinderen werkt het uiterst frustrerend en helpen geruststellende woorden op dat moment meestal niet. Ik zie er het nut niet van in. Misschien kan dhr. Vos mij overtuigen.


Antwoord:

In de handleiding staat trouwens aangegeven dat de leerlingen NIET ‘… een blad (2 kantjes) moeten maken met sommen die zij nog niet aangeboden hebben gekregen.’ Ze mogen maken wat ze (denken te) kunnen. M.a.w. sommen die hen onbekend voorkomen, mogen ze ‘gewoon’ overslaan. Dat geldt in principe voor alles testen/toetsen van Teije de Vos, met name voor de cumulatieftoetsen: een kind laat zien wat hij wel kan en niet wat hij niet kan … Echter, sommige kinderen kunnen/weten echter mèèr dan zij op school geleerd hebben (!). Omdat het hier een methode-onafhankelijke test betreft, kunnen de opgaven niet worden afgestemd op hetgeen op school wel dan niet is aangeboden. Voor een betrouwbare normering moeten alle leerlingen in de steekproef hetzelfde werk doen en dat zal altijd een ‘grote gemene deler’ zijn (een doorsnee van de methodes). De testenmaker weet niet wat er op de betreffende school al wel dan niet aan de orde is geweest. Zo begint de ene school al aan het eind van groep 3 met de tafels en de andere pas begin groep 5 (!). De laatste school zal dan weer dingen doen die de andere nog niet deed. M.a.w. een methode-onafhankelijke test zal nooit afgestemd zij op een specifieke methode. ‘Ik zie er het nut niet van in.’ Klopt! Het heeft ook geen nut, maar het kan helaas niet anders.

*********************************************************************************
Begrijpende lezen, ik heb er een raar gevoel bij …
Begrijpend lezen wordt in groep 4 opgestart. Naar mijn idee zou januari een beter moment zijn om de test begrijpend lezen af te nemen in groep 4. Nu is het moment van toetsing oktober en zijn we nog te kort met de leerstof bezig. Het verrassende is echter dat een groot deel van de kinderen ver boven hun DL scoren. Dit heeft te maken met het aantal fouten dat je mag maken. Maak je ongeveer de helft van de opdrachten fout, dan kom je nog op een goede DLE uit. De uitslag van zo’n test zegt mij dus helemaal niets. Dan heb ik het nog niet eens gehad over de lay-out en de manier waarop de vragen worden gesteld. Soms lijkt het of er antwoorden moeten worden ingevuld op de stippellijn, maar moet er juist worden gekozen uit a,b,c of d. Dan de eerste vraag van test 1 begrijpend lezen groep 4: zet het verhaal in de goede volgorde; deze vraag roept al jaren verwarring op.

Antwoord:

Afhankelijk van de gehanteerde methode en werkwijze zal de school zelf moeten kiezen wanneer ze met het meten van het vaardigheidsniveau begrijpend lezen wil beginnen. In groep 4 is dat wel erg vroeg ... Een voor de hand liggend moment is medio groep 5. Het kan dan ook geen kwaad pas dan te starten met de eerste metingen. Het materiaal bestemd voor groep 4 laat men dan voor wat het is. Dat leerlingen in groep 4, wanneer de test daar toch wordt afgenomen, ver boven hun DL scoren, zal te maken hebben met het feit dat een deel van de scholen in de steekproef in groep 4 nauwelijks of geen aandacht besteedde aan begrijpend lezen. Wanneer een school dat dan wèl doet, zal de score al snel boven het landelijk gemiddelde uitkomen.
De lay-out is onderdeel van de moeilijkheidsgraad: teksten (in studieboeken) zijn soms ook lastig te doorgronden (wat moet ik nu waar invullen?). Wie dat evengoed (vlot) doorheeft, kan goed begrijpend lezen. In de nieuwe SVT begrijpend lezen (opvolger van de DLE-TEST) wordt de lay-out overigens wel iets ‘vriendelijker’.
‘Dan de eerste vraag van test 1 begrijpend lezen groep 4: zet het verhaal in de goede volgorde; deze vraag roept al jaren verwarring op.’ Op úw school, ja … Andere scholen besteden aan deze materie juist veel aandacht in hun methode en hebben met deze vraag geen problemen. We stuiten hier weer op het methode-onafhankelijke karakter van de test. ’t Is niet verstandig voor dit onderdeel extra te gaan oefenen, want dan zouden we de betrouwbaarheid verstoren. Op uw school kunnen ze weer iets goed, wat ze elders (nog) niet kunnen.

*********************************************************************************
Nieuwe testen?
Worden de testen ook wel eens geactualiseerd? Naar mijn idee is dat hard nodig.


Antwoord:

De reeks DLE-TESTen is ontstaan in de jaren 2000/2003. Dat is voor testen nou niet bepaald oud … De SVT-reeks is in ontwikkeling. Zie voor de plannen het schema: ‘De testen van Teije de Vos’.

*********************************************************************************
Scores variëren!
Hoe kan het, dat de scores bij een leerling zo kunnen variëren ( dan weer hoog, dan weer laag)?. (Hoe kan het dat kinderen terugvallen in dle?)


Antwoord:

Los van oorzaken in en om het kind (de test is een momentopname en stel dat het kind voor de test heel erg gepest is …), moeten we de oorzaak zoeken in het methode-onafhankelijke karakter van de test. Bij een volgende afname kunnen er toevallig zaken aan de orde komen die de betreffende leerling nog net niet geeft gehad of nog net niet onder de knie heeft. Je moet de resultaten dan ook over een lange termijn beoordelen en je niet laten leiden door dat ene moment. M.a.w. je moet de uitslagen niet te absoluut zien. ‘Gekke dingen’ vinden hun oorzaak meestal in de toevalligheden van het moment of in een mankement van de test.

*********************************************************************************
Hoe ontstaan de normen?
Hoe is de normering van de toetsen vastgesteld. Het gevoel overheerst, dat de kinderen veel fout mogen doen, om toch voldoende te scoren.


Antwoord:

Over de normering van de toetsen (wie zaten er in de steekproef, wanneer, hoeveel, waar; hoe is een en ander berekend en is dat betrouwbaar/valide?) vindt u alles in de handleiding. De toetsen voldoen ruimschoots aan de criteria die de Cotan aan dergelijke normbepalingen stelt.

‘Het gevoel overheerst, dat de kinderen veel fout mogen doen, om toch voldoende te scoren.’
Hier komen we op één van de moeilijkste onderdelen bij het maken van toetsen. Wanneer bijna alle kinderen alles goed maken, hebben we niets aan een methode-onafhankelijke toets die ons wil zeggen hoe goed het kind is. Er zullen hoog en laag scorende leerlingen moeten zijn om vast te kunnen stellen wie ‘voor’, ‘bij’ of ‘achter’ is. Voor de leerling die ‘achter’ is, zal de toets geen pretje zijn … Aan de andere kant moet de leerling die ‘voor’ is wel kunnen laten zien wat hij allemaal al kan. In de groep maken echter alle kinderen dezelfde toets. Daarom maakt een gemiddelde (‘normale’) leerling ongeveer tweederde goed. Tenminste, dat is de bedoeling van de toetsenmaker ... Dat pakt, na de proeven waarin dat is bepaald, in de uiteindelijke steekproef soms nog wel eens anders uit. De normen liggen dan iets anders dan wenselijk zou zijn. Zo willen we graag dat een hele zwakke leerling toch nog wel het een ander goed kan maken om zo’n leerling niet helemaal te ontmoedigen. Met name in de bovenbouw wordt dit heel erg lastig. In groep 8 bedraagt het verschil in niveau maar liefst vier (4) leerjaren! Om dan met al onze wensen de niveauverschillen te vangen in ca. dertig vragen?!? De toets langer/groter maken is ook geen optie: veel kinderen vinden het nu al zwaar en … het moet ook nog eens worden nagekeken! Lees over deze materie elders in dit document ook eens over het verschil tussen domein- en cumulatietoetsen. Bij de laatste soort kun je veel meer tegemoetkomen aan de grote verschillen tussen leerlingen.

*********************************************************************************
Leerlingvolgsysteem optimaliseren?
Op welke manier kunnen we ons leerlingvolgsysteem nog meer optimaliseren?


Antwoord:

Het lijkt verstandig het LVS te beperken tot de instrumentele vaardigheden (technisch lezen, hoofdrekenen en spellen; het technisch rekenen [het cijferen, basisrekenen of koopmansrekenen] hoort daar eigenlijk ook bij, maar dat is sinds de negentiger jaren erg uit de mode geraakt). Rekenen/wiskunde (realistisch rekenen) en begrijpend lezen kunnen er aan worden toegevoegd, maar dan moet men weten dat deze vaardigheden een sterke relatie hebben met de aanleg van de leerlingen (en daar kan de school niet zoveel aan doen).
Uitbreiding naar de opbrengstmeting (halen we eruit wat erin zit?) is sterk aan te bevelen.
Dat kan ook voorkomen dat er jaren aan kinderen wordt ‘gedokterd’ terwijl dat niet nodig is.

*********************************************************************************
Welke toetsen …
… zijn voor welk onderdeel het meest geschikt?


Antwoord:

Zie het schema: ‘De testen van Teije de Vos’.

*********************************************************************************
Niet zonder gevaar!
Wij communiceren de DLE uitslagen met de ouders. We hanteren hierbij het volgende principe:
De score kan minimaal de eerste score zijn van het leerjaar er onder en maximaal de laatste score van het leerjaar daar boven.
Dus een kind in groep 6 kan bij ons minimaal de eerste score halen van groep 5 en maximaal de laatste score van groep 7.
Hoe kijkt u tegen deze afspraak aan?


Antwoord:

Bovenstaande zou voor intern gebruik misschien nog kunnen als men zich er maar goed van bewust is, dat men zich hier op zeer glad ijs begeeft! Hoe komt het bijvoorbeeld aan het eind van de rit? Als het kind verwezen moet worden naar het PrO? De RVC-VO stelt, dat een leerling lager dan DLE 30 moet scoren om toegelaten te kunnen worden … Bij u kunnen ze nooit lager scoren dan DLE 41 (!). U kunt ook niets met de perspectieven die we aan bepaalde DLE’s (op bepaalde momenten) koppelen (zie elders in dit document). Er zijn nog meer bezwaren. Het doet me denken aan de school die bij de T.T.R. niet één minuut, maar één minuut en 15 seconden tijd gaf. Men kon niet leven met de lage scores … Kinderen die verhuisden naar een andere school vielen ineens heel erg terug in niveau. Dat kan u ook overkomen! En waarom? Een norm is een norm!
U kunt zich veel beter richten op de vraag: ‘Halen wij eruit wat erin zit?’ Als u daarin slaagt, ook al is het vaardigheidsniveau ver onder het landelijk gemiddelde, dan moet iedereen daarmee kunnen leven. 

Lees ook: ‘Meten is niet àlles weten.’

*********************************************************************************
DLE-TESTen makkelijker?
Onze inspecteur zegt dat de DLE-TESTen makkelijker zijn ... !?!

Antwoord:

N.a.v. deze opmerking van de inspectie hebben wij dit onderzocht.
De resultaten vatten wij hier kort samen.

De resultaten van de DLE-TEST Rekenen/Wiskunde (SVT Rekenen/Wiskunde) werden vergeleken met Cito Rekenen/Wiskunde, Schaal Rekenen Algemeen 2002.
Er werd vergeleken met zowel de M- als de E-versie, omdat de testen in feb/mrt (DL 6/7) werden afgenomen in de groepen 4, 6 en 8.
We vergelijken met DLE’s, omdat A/E geen verschil zou laten zien.

Conclusies (samengevat):

- In groep 4 geven SVT en Cito t.o.v. de DL een juist niveau aan
- In groep 4 geeft SVT t.o.v. Cito een halve DLE minder
- In groep 6 geeft SVT een juist niveau aan en Cito 3 DLE’s te weinig t.o.v. de DL
- In groep 6 geeft SVT t.o.v. Cito 4 DLE’s meer
- In groep 8 geeft SVT 2 DLE’s te weinig en Cito 1 DLE (of minder) t.o.v. de DL
- In groep 8 geeft SVT 1 DLE (of meer) minder t.o.v. Cito

T.o.v. Cito is de SVT in groep 4 iets moeilijker (een halve maand), in groep 6 makkelijker (vier maanden) en in groep 8 weer iets moelijker (één of meer maanden).
Dus, om nu te zeggen dat de SVT makkelijker is ... In groep 6 is dat zo, maar in groep 4 en 8 weer niet.
Wie belangstelling heeft voor de cijfers, kan een mailtje sturen.

Graag zouden wij van onze kant over de cijfers van de Inspectie van het Onderwijs beschikken om die eens naast de onze te leggen.

*********************************************************************************
Wat ziet u zelf als bezwaren tegen DLE’s?
Je hoort vaak dat je met DLE's moet oppassen, wat zijn de gevaren?

Antwoord:
Met de DLE’s is niks mis, het zijn vaak de testen die voor problemen zorgen.

Los van de leeftijd van de test (de test moet niet te oud zijn) zien we twee soorten waarbij we beter maar geen DLE-schaal kunnen maken:

1) Zoals bekend valt bij een test met één meetpunt geen DLE-schaal te maken, maar een test met slechts twee meetpunten, die vrij dicht op elkaar liggen, is ook niet echt handig. Wanneer er tussen die twee meetpunten tenminste één leerjaar zit (tien onderwijsmaanden), kunnen we er wel iets mee, maar de inzet is dan wel beperkt. In mijn ogen moet een test minimaal drie meetpunten hebben: in het jaar waarvoor de test bedoeld is en in het jaar ervóór en erna. Zo hebben we bij de SchoolVaardigheidsToets Begrijpend Lezen het werk voor groep 6 ook laten maken door groep 5 en groep 7. We kunnen dan –als we de schaal niet verlengen naar onderen en naar boven- in elk geval twee leerjaren overzien. Het mooiste is natuurlijk bijvoorbeeld de SchoolVaardigheidsToets Technisch Lezen met meetpunten in de groepen 3 t/m 8.

2) Wanneer de test niet met tenminste één scorepunt per onderwijsmaand omhoog gaat, wordt de DLE-schaal wel erg glibberig: een punt meer of minder gescoord scheelt meteen meerdere onderwijsmaanden in niveau. Eén scorepunt per maand is dus het minimum, mooier is wanneer dat er een stuk of drie of meer zijn.

Verder valt er te discussiëren over het verlengen van de schalen (extrapoleren). Mag dat en zo ja tot hoever? We hebben daar indertijd een regel voor afgesproken: dat mag met niet meer dan de helft van de afstand tussen twee meetpunten. Je begeeft je dan al op zeer glad ijs, omdat ook de DLE’s tussen de meetpunten geschat zijn. Met de nieuwe regressietechnieken is dat wel zo dicht mogelijk bij ‘de werkelijkheid’ gebeurd, maar toch, gemeten is het niet! Het beste is daarom, het niet te doen. Toch zijn er gevallen waarbij het voor indicatief gebruik zou kunnen, maar u moet heel goed weten wat u doet! Bovendien moet de schaal die u met (maximaal) een maand of drie verlengd, wel heel stevig en robuust zijn. Dus een schaal met minimaal drie meetpunten en een ‘scoreklim’ van minimaal twee à drie punten.

*********************************************************************************
SVT Hoofdrekenen
In de SVT Hoofdrekenen komen de keer- en deelsommen voor de gemiddelde leerling pas begin groep 6 aan de orde. Waarom zo laat?

Antwoord:
Klopt! We leggen op blz. 9 (1.3 Het rekenblad) van de handleiding uit waarom dat zo is.

Samengevat komt het hier op neer:
  • de toets is niet bedoeld om na te gaan of de leerling beheerst wat is aangeboden (of wat is onderwezen).
  • de aangeboden sommen doen er daarom niet zo toe, als ze maar geen sommen voor de neus krijgen 'die ze nog niet hebben gehad'; die kans bestaat namelijk bij de betere/snellere leerling als we de keer- en deelsommen eerder in de toets zouden aanbieden.
  • overigens krijgen die hele goede leerlingen -als ze de keer- en deelsommen beheersen- wél die sommen voor de neus ... (ze komen namelijk veel verder in de toets).
  • de hele zwakke leerling zal er daarentegen niet aan toe komen, omdat die al moeite genoeg heeft met plus en min.
  • het gaat hier dus om het tempo waarin de leerlingen de sommen (welke dat dan ook zijn) kunnen maken.
Voor het andere doel (nagaan wat de leerling wel en niet -in welk tempo- beheerst) en voor een analyse en diagnose daaromtrent is er de TempoTest Automatiseren, met aparte rekenbladen voor zowel plus, min, keer en deel. Die toets zou je moeten doen bij de leerlingen die onder het gemiddelde scoren.

De (boven)gemiddelde leerling heeft aan het eind van de rit (groep 8) alle vormen wel zo'n beetje gehad.
Daardoor discrimineert de toets dan ook tot en met het eind van de basisschool en zelfs tot in de leerjaren 1 en 2 van het VO, het VMBO en het MBO. Dat laatste blijkt niet onbelangrijk ... (!)

*********************************************************************************
Een leerling scoort een E op de Tussentest, maar B en A op de DLE-testen?!?
Ik vind dat vreemd. Wat moet ik nu geloven?

Antwoord:

Hmmmm … dat is inderdaad vreemd. Het eerste wat in mij opkomt is de vraag ‘Is die afname van de Tussentest wel goed verlopen?’ Heeft de leerling bepaalde dingen verwisseld op het antwoordformulier of heeft hij bijvoorbeeld een nare ervaring gehad vlak voor de afname (is hij gepest op het schoolplein of is er thuis iets ergs gebeurd)? Wat is trouwens uw eigen ervaring met de leerling? Komt hij op u over als een B/A-leerling? Verbaast het u heel erg en gelooft u de uitslag van de Tussentest niet? Delen uw collega’s die mening? Kennen die hem ook als een –op z’n minst- normaal begaafde leerling? En komen de resultaten op de schoolvaardigheidstoetsen overeen met wat u doorgaans in het ‘methodewerk’  ziet? Als het antwoord ‘Ja’ is, zou ik de uitslag van de Tussentest weggooien. ’t Is maar een hulpmiddel moet u weten en er is vast en zeker iets misgegaan. Wellicht kunt u in een later stadium de test nog eens overdoen.

Mocht het zo zijn dat u de leerling altijd al wel een beetje als een E-leerling heeft ervaren en dat de uitslagen bij de schoolvaardigheidstoetsen ontzettend meevallen, dan zou het nog waar kunnen zijn als het over technisch lezen en/of hoofdrekenen gaat. Sommige minder begaafde leerlingen slagen er soms wonderwel in deze ‘autonome vaardigheden’ als technisch lezen en automatiseren heel goed onder de knie te krijgen dankzij de inspanningen van de school. Er komt bij die vaardigheden namelijk minder inzicht aan te pas. Soms zien we dat verschijnsel ook bij de ‘weekdictees’: na stevig oefenen thuis, blijken ze verrassend goed te scoren bij het controledictee. Helaas blijken de spellingresultaten in andere/latere situaties (met soms iets afwijkende woorden) dan weer erg tegen te vallen …

Dat is anders bij begrijpend lezen en rekenen/wiskunde; mocht de ‘E-leerling’ daar ook hoog scoren (B/A) dan is er echt iets misgegaan met de Tussentest.

*********************************************************************************
Zijn er bij de TTA ook normen voor het Speciaal Basisonderwijs?
Ik zou graag een beetje meer spreiding willen zien; het is nu toch vaak allemaal E en als het meevalt soms D.

Antwoord:
Nee, die zijn er niet. Volgens de COTAN hoort het Speciaal Basisonderwijs tot het basisonderwijs en daarom is het Speciaal Basisonderwijs ook naar rato vertegenwoordigd in de steekproef. De invloed daarvan op de normering is natuurlijk zeer gering omdat er zo’n 2 à 3 procent van de leerlingen in het Speciaal Basisonderwijs zit. Dat er veel (allemaal) E’s worden gescoord, ligt voor de hand: E is de zwakste 10% van de populatie …

*********************************************************************************
Ik merk dat een enkele collega de T.T.R. op een andere manier afneemt dan in mijn handleiding staat. Bijvoorbeeld door de leerling te laten stoppen bij de som die hij niet kan maken en dus zou moeten overslaan ... Hoe zit het nu precies?

Antwoord:
Hieronder toon ik een deel van het 'Woord vooraf' uit de jongste versie van de T.T.R., de Tempo - Test - Rekenen (1992), vierde druk 2004. In het rode vak zie je bij het onderstreepte de mogelijke oorzaak van dit misverstand: de 'overslaanregel' uit de allereerste uitgave van de T.T.R. in 1987. Het kan zijn dat de collega's de oude versie afnemen (en dan zou het kloppen met de handleiding) óf ... dat ze de regel uit de oude versie toepassen bij de nieuwe versie (1992). Dat laatste is natuurlijk niet in de haak ... Je verstoort dan de normering, de betrouwbaarheid en de validiteit.


(klik op de afbeelding voor een vergroting)



*********************************************************************************
Er schijnt een artikel te zijn waarin de kritiek op DLE's wordt weerlegd.
Weet u in welk tijdschrift?

Antwoord:
Tijdschrift voor Remedial Teaching, jrg. 20-2012, nr. 4, blz. 30-33.

Lees ook: De geschiedenis van de DLE's

*********************************************************************************
We hebben een kind dat kleurenblind is. 
We hebben in de handleiding van de Drempeltest gelezen over de mogelijkheid van een vergrote test voor slechtzienden, maar hoe zit het nu met een kleurenblind kind?

Antwoord:
Kleuren spelen bij de Drempeltest geen rol: de Drempeltest bevat, naast letters (tekst) en cijfers (in zwart op wit), uitsluitend afbeeldingen in zwart op wit en hier en daar in grijs (in één geval in twee tinten grijs).

Kortom: kleurenblinden ervaren als gevolg van hun kleurenblindheid geen belemmering bij het maken van de Drempeltest en speciale voorzieningen zijn dan ook niet nodig.

*********************************************************************************
Oké, kleurenblindheid is dus geen probleem bij de Drempeltest, maar hoe zit het dan met die grijstinten?
Stel dat je moeite hebt om die van elkaar te onderscheiden?

Antwoord:
Ook grijstinten spelen bij de Drempeltest geen rol:
  • in alle gevallen is de gebruikte grijstint hetzelfde, behalve bij WP4 - vraag 2
  • bovendien gaat het niet om de tint, maar om de (ruimtelijke) positie van het getinte
  • bij WP4 - vraag 2 moet je de twee verschillend getinte (aaneengesloten) vakjes zien als een geheel, dus ook daar speelt het geen rol
  • m.a.w. je hoeft in de test nooit te kiezen tussen verschillende tinten grijs, tussen zwart en grijs of tussen zwart en wit; het heeft in die zin geen functie
Dus, geen probleem.

*********************************************************************************

Ik hoor ineens dat de veelgeprezen Tempo Test Rekenen helemaal geen COTANbeoordeling heeft !?! 
Hoe kan de test dan toch zo goed bevallen?

Antwoord:
De Cotan heeft de TTR wel degelijk -op eigen initiatief- beoordeeld in 1997. Op de punten Normen, Betrouwbaarheid en Begripsvaliditeit beoordeelde de COTAN de test als onvoldoende omdat deze aspecten in de handleiding onvoldoende werden beschreven. Dat klopt ook. De validiteit is niet nader onderzocht: niemand twijfelde eraan dat de test over hoofdrekenen (automatiseren) ging. De betrouwbaarheid is wel onderzocht, maar in de handleiding werd daarover niet gerapporteerd. Voor wat betreft de normering werden wel alle gegevens verstrekt, maar de bijna 5000 leerlingen in de steekproef woonden overwegend in het noorden van het land. Hoewel in de handleiding werd aangetoond dat de normen niet verschilden met die van de deelnemende scholen uit de rest van het land, vond de COTAN dat niet voldoende.
Omdat de test bij gebruikers in zeer goede aarde viel (ze vonden dat hij op zeer handige wijze deed wat hij moest doen, ze vonden hem betrouwbaar en ze vonden de normen kloppen) is er voor de auteur nooit aanleiding geweest de zaak nog eens dunnetjes over te doen en alle gewenste gegevens nog eens precies op papier te zetten. Dat de test goed was (om niet te zeggen uitstekend), was al voldoende gebleken. Daar komt bij dat vele anderen met de test aan de slag zijn geweest in allerhande onderzoeken. Daarbij bleek steeds weer dat normen, validiteit en betrouwbaarheid uitstekend waren. Zo deden Ghesquière en Ruijssenaars al in 1994 (twee jaar na verschijnen) een grootschalige normering voor Vlaanderen die voor de hele basisschool geldt. Normen, validiteit en betrouwbaarheid bleken bij dat onderzoek uitstekend!
Deze gegevens zijn echter nooit aan de COTAN gerapporteerd. Dus wanneer iemand naar het COTANoordeel vraagt, zal men nog steeds die onvoldoendes tegenkomen …

De conclusie moet dus zijn dat een test wel degelijk uitstekend kan zijn, maar bij de COTAN als onvoldoende te boek staat, omdat er over het onderzoek naar de kwaliteit van de test te weinig aan de COTAN is gerapporteerd.