Onderwerpen

zondag 9 december 2012

Sterke school? Dat valt nog te bezien!


Met RIO proberen wij vast te stellen of de school eruit heeft gehaald wat erin zit. Als dat niet lukt, kan het resultaat -ondanks een hoge score op de Eindtoets- tòch onvoldoende zijn ...
Oud-inspecteur Joop Smits heeft onderzoek gedaan en toont, langs een andere weg, hetzelfde aan.


Het gaat om het volgende.

  • Een hoge score op de Eindtoets wil nog niet zeggen dat je een goede school bent.
  • Een lage score op de Eindtoets wil nog niet zeggen dat je een slechte school bent.

(We gaan in dit geval gemakshalve voorbij aan andere factoren die van invloed zijn op de kwalitieit van het gegeven onderwijs, zoals het persoonlijk welbevinden van de leerlingen en andere maatschappelijk relevante zaken.)

Uit het rapport van Joop Smits:

'Een school heeft pas voldoende kwaliteit als hij niet alleen een goed eindniveau, maar ook toegevoegde waarde heeft.

Een kleurrijke school heeft bij aanvang van het onderwijs een gemiddelde leerachterstand van 7 maanden ten opzichte van hetgeen leerlingen gemiddeld behalen. In groep 8 is de leerachterstand nog slechts 2 maanden. Deze school loopt in groep 8 nog steeds achter in vergelijking tot het landelijk gemiddelde, maar heeft toch de oorspronkelijke leerachterstand ingelopen met 5 maanden.

Een ‘witte’ school met drie jaar achtereenvolgens zeer hoge Cito-eindresultaten heeft een eindniveau in groep 8 dat gemiddeld 5 maanden hoger ligt dan de landelijke norm. De leerlingen komen op deze school echter binnen met 9 maanden voorsprong. Ondanks het hoge eindniveau wordt de aanvankelijke voorsprong niet vastgehouden. Deze school heeft een achterblijvende leerwinst van 4 maanden.

Twee praktijkvoorbeelden die illustreren dat een kwalitatief goede school tenminste moet voldoen aan 2 criteria: 1. een goed ‘zuiver’ eindniveau èn 2. het realiseren van toegevoegde waarde. Beide scholen laten te veel talent onbenut.

De kleurrijke school heeft een enorme prestatie geleverd door een grote leerachterstand grotendeels in te lopen, maar levert nog steeds een te laag eindresultaat. En dat is maatschappelijk ongewenst.

De ‘witte’ school heeft een goed eindresultaat, maar heeft kinderen die van thuis uit al veel bagage mee krijgen, en houdt de aanvankelijke voorsprong niet vast. Deze school zou de ambitie moeten hebben om ook een eindniveau te halen met tenminste 9 maanden voorsprong. Dan pas heeft deze school een voldoende resultaat geleverd: uit de kinderen gehaald wat erin zit.'

Voor een ècht stevige conclusie ('is eruit gehaald wat erin zit?') zouden wij toch ook graag de aanleg/potentie van de leerlingen erbij betrekken ...

Klik hier voor het rapport van Joop Smits

vrijdag 23 november 2012

Leerlingvolgsysteem: dat wordt een stuk makkelijker!


’t Is al een tijdje stil geweest rond het verplichte leerlingvolgsysteem en de centrale eindtoets. 
Je mag verwachten dat er tegen het eind van het cursusjaar duidelijkheid is. 
Hierbij alvast een voorschot …


Wat zegt de (nieuwe) wet?
‘De scholen gebruiken een leerling- en onderwijsvolgsysteem waaruit de vorderingen in de kennis en vaardigheden blijken op het niveau van de leerling, de groep en de school. Het leerling- en onderwijsvolgsysteem bevat toetsen die kennis en vaardigheden van de leerling meten ten minste op het terrein van de Nederlandse taal en rekenen-wiskunde.

De toetsen voldoen aan het kwaliteitsoordeel van een door Onze Minister aangewezen onafhankelijke commissie betreffende inhoudelijke validiteit, betrouwbaarheid en deugdelijke normering.

Er wordt niet voorgeschreven met welk volgsysteem moet worden gewerkt, noch wordt de frequentie en de inhoud van de toetsing centraal voorgeschreven. Dit blijft behoren tot de inrichtingsvrijheid van scholen.
Gezien de functie van een leerling- en onderwijsvolgsysteem als diagnostisch hulpmiddel van de school om de onderwijspraktijk te verbeteren, laat de nu voorgestelde wettelijke verplichting veel inrichtingsvrijheid aan de scholen en hun besturen. Deze vrijheid heeft onder andere betrekking op de keuze voor een bepaald systeem, op de inrichting van dit systeem, op de momenten en wijze van toetsing van de leerlingen en op de keuze van welke tussentijdse toetsen worden gebruikt. Deze aspecten zijn én blijven voluit een zaak van de professionals in de school. Dit geldt ook voor de vrijheid van scholen om volgens de eigen pedagogisch-didactische en levensbeschouwelijk opvatting invulling te geven aan de wettelijke onderwijstaken.
Met dit wetsvoorstel regelt de regering dat scholen voor primair onderwijs gebruik maken van een leerling- en onderwijsvolgsysteem voor Nederlandse taal en rekenen-wiskunde. Scholen kiezen zelf welk leerling- en onderwijsvolgsysteem zij gebruiken en er komen geen centrale tussentijdse toetsen.

Aan het systeem wordt een aantal eisen gesteld, dat beperkt blijft tot de volgende basiselementen:
  • iedere school gebruikt een leerling- en onderwijsvolgsysteem voor het volgen van de ontwikkeling van alle leerlingen;

  • leerlingen worden regelmatig getoetst op ten minste de leergebieden Nederlandse taal en rekenen-wiskunde;
  • de toetsen zijn valide, betrouwbaar en methode-onafhankelijk genormeerd.

Door de eisen te beperken tot deze basiselementen wordt de vrijheid van inrichting gerespecteerd.’

Wat zegt de inspectie?
Het is niet uitgesloten dat de inspectie haar wensen op basis van de nieuwe wet aanpast, maar het zal zeker niet meer worden dan zij nu wenst:

‘De inspectie beoordeelt de resultaten tijdens de schoolperiode aan de hand van
toetsresultaten op de volgende toetsen:
  • Technisch Lezen (TL) in groep 3 en groep 4;
  • Rekenen en Wiskunde (RW) in groep 4 en groep 6;
  • Begrijpend Lezen (BL) in groep 6.

Deze toetsen representeren wezenlijke inhouden op cruciale momenten in de
basisschoolperiode:
  • In de groepen 3 en 4 dienen leerlingen op een zodanig niveau technisch te leren lezen dat zij met succes kunnen deelnemen aan alle overige onderdelen van het onderwijs.
  • In groep 4 staan de basisvaardigheden in het rekenonderwijs centraal.
  • In groep 6 wordt de overstap gemaakt naar complexere, wiskundige principes.
  • Verder moet in groep 6 het niveau van begrijpend lezen voldoende hoog zijn met het oog op het onderwijs in de zaakvakken. 

Uitgangspunt is dat de beoordeling is gebaseerd op de resultaten van alle leerlingen in hetzelfde leerjaar. Daarnaast moeten alle te waarderen toetsen in hetzelfde schooljaar zijn afgenomen.
Als de resultaten op meer dan de helft van deze toetsen voldoende zijn, is het
oordeel op de tussenresultaten positief.’ *

Wat is dus redelijk om te doen?
In de groepen 1 en 2 zou ik niet met genormeerde materialen willen werken, omdat het individueel of groepsgewijs normeren daarvan bij deze jonge kinderen veel problemen geeft. Het is moeilijk bij kinderen van deze leeftijd dezelfde afnamcondities te waarborgen. En wie laat je bijvoorbeeld bij een afname van het materiaal aan het eind van groep 1 (april) meedoen? Ook de kleuters die pas een maand of drie/vier op school zijn? En zo niet, waar leg je dàn de grens? M.a.w. zolang er bij het normeren -als je daarin al mocht slagen- en het afnemen wordt voorbijgegaan aan de kalenderleeftijd van de leerling, krijg je een vertekend beeld. Na groep 2 ontstaan er mogelijkheden omdat de leerlingen daar, hoewel ook sterk verschillend in leeftijd, wèl dezelfde onderwijstijd (vanaf begin groep 3) achter de rug hebben en redelijk groepgewijs te toetsen zijn.

Voor de groepen 1 en 2 zou ik daarom kiezen voor een observatie-instrument met criteriumvaardigheden: op de aangegeven leeftijden verwacht je dat de leerling de daarbij behorende ‘opdracht’ tot een goed einde kan brengen. Die te observeren vaardigheden zijn de voorwaarden op weg naar het met kans op succes leren lezen en rekenen. Een voorbeeld daarvan is LVS 1-2, met achter de hand OPFO voor de nadere diagnostiek, maar er zijn vele andere voorbeelden (soms door de school zelf samengesteld). Dit soort instrumenten, waarbij de nauwkeurig omschreven vaardigheden -meestal individueel- worden geobserveerd, kunnen vrij door de school worden gekozen, omdat zij niet hoeven te voldoen aan de in de wet omschreven voorwaarden van validiteit, betrouwbaarheid en methode-onafhankelijkheid. Het zijn immers (observatie)instrumenten in handen van vakkundige leerkrachten, die met kennis van zaken en rekening houdend met de geaardheid van de individuele leerling in interactie met die leerling proberen te achterhalen in hoeverre de vaardigheid wordt beheerst. Dat verdraagt zich niet met het hanteren van voor elke leerling gelijke en strikt omschreven afnameprocedures.

Gelet op de eisen van de inspectie zou toetsen volgens onderstaand schema voldoende zijn


(klik op de afbeelding voor een vergroting)

Let op: het gaat hier uitsluitend om het wettelijk verplicht rapporteren aan de inspectie van de stand van zaken m.b.t. bovenstaande inhouden. Het gaat daarbij om de niveaubepaling: hoe verhoudt het vaardigheidsniveau zich tot de landelijke norm? *

Voor het ‘voor-eigen-gebruik’ bewaken van het niveau is echter méér nodig, maar het afnemen van methode-onafhankelijke, landelijk genormeerde toetsen hoeft zeker niet vaker dan eens per jaar. Met de methode-gebonden toetsen houd de school de ontwikkeling immers al terdege in de gaten, zowel op individueel-, groeps- en schoolniveau. De op die wijze verzamelde gegevens zullen dan ook de voornaamste bron moeten zijn voor nadere analyse en eventuele hulpprogramma’s, remedial teaching of eigen leerlijnen. Met de jaarlijkse ‘groepsfoto’, gemaakt met de landelijk genormeerde toetsen, houdt u het vaardigheidsniveau van de school, de groep en de leerling voldoende in de gaten. Bovendien zult u zich vast niet beperken tot hetgeen in bovenstaand schema wordt gevraagd. U wilt ook weten hoe het met de spelling staat, met het hoofdrekenen (automatiseren) en met de sociaal-emotionele aspecten.
Wanneer u dat allemaal doet, krijgt u het nog druk genoeg! De vraag is nog, wannéér toetst u het vaardigheidsniveau? April/mei lijkt mij de beste periode.
Wat er vervolgens allemaal mogelijk is met de verzamelde gegevens, is o.m. aangegeven bij de beschrijving van het DLE-LVS in dit blog en vindt u onderhand ruimschoots terug in alle schooladministratieprogramma’s zoals ParnasSys, Esis, Dotcomschool (SchoolOAS) enz.


*) Zoals bekend ben ik er voorstander van het vaardigheidsniveau te vergelijken met de gemeten potentie/aanleg van de leerlingen om na te gaan of eruit gehaald is wat erin zit. Zie 'Zwakke School'

zaterdag 6 oktober 2012

Kritiek op DLE's weerlegd



In het septembernummer 2012 van het Tijdschrift voor Remedial Teaching is een artikel* gepubliceerd:
Nuttig normsysteem onterecht onder vuur.
In dit artikel bespreken DLE-deskundigen de voornaamste kritiekpunten op het gebruik van DLE’s. Zij betogen dat veel van deze kritiek onterecht is, omdat deze is gebaseerd op een verkeerde interpretatie van wat een DLE precies is. 


De auteurs, Gerard Melis, Paul Oosterveld en Johan Schokker rekenen in het artikel grondig af met alle onjuiste opvattingen over DLE’s en met alle foute beweringen die daar vervolgens uit voortvloeien.

Het grootste misverstand dat zij uit de weg ruimen is de opvatting dat DLE’s uitgaan van de veronderstelling dat scores op een toets in de tijd lineair toenemen en voor alle leerlingen eenzelfde verloop hebben.

Dat doen DLE’s namelijk helemaal niet! DLE’s zijn immers normscores en pretenderen daarom een beschrijving te geven van de norm en niet van het leertraject van de individuele leerling. Omdat een toets vaak op meerdere momenten in een schooljaar is genormeerd, ontstaan er –door middel van interpolatie- wel mogelijkheden om die normen weer te geven in de tijd, zodat je kunt aangeven welke score je op welk moment mag verwachten. Maar dat hoeft natuurlijk niet lineair te zijn. En dat alle leerlingen die ontwikkeling in eenzelfde tempo doormaken slaat ook nergens op.

Verder gaan ze in op de kritiek dat DLE’s soms bodem- en plafondeffecten kennen, waardoor aan het begin en aan het einde van de schaal kleine scoreverschillen aanzienlijke verschillen in DLE’s tot gevolg hebben.

Dat heeft echter niets met DLE’s te maken! Dat is namelijk een gebrek van de toets en geldt voor alle soorten normschalen die bij die toets worden gemaakt.

Ook besteden ze aandacht aan de merkwaardige bewering dat wanneer er bij een leerling een herhaalde leerachterstand van bijvoorbeeld 5 DLE’s wordt vastgesteld er de indruk kan ontstaan dat er geen vooruitgang wordt geboekt. Tsja, moet je dat nog bestrijden, zou ik zeggen. Volgens mij weet elke leerkracht wel dat dit niet zo is. Kijk maar even naar het onderstaande

DL
DLE
Leerachterstand
Leerrendement




15
10
5
66
20
15
5
75
25
20
5
80
30
25
5
83

De leerachterstand is inderdaad elke keer 5, maar het niveau gaat wel van 10 naar 25!
Bovendien stijgt het (totale) leerrendement van 66 naar 83; tussen de toetsen is dat zelfs 100%!

Zo geven de auteurs vele voorbeelden waaruit blijkt dat de kritiek op DLE’s voornamelijk gebaseerd is op verkeerde interpretaties en onjuiste aannames.

Boeiend zijn ook de voorbeelden waaruit blijkt dat het ontzettend verhelderend is meerdere normsoorten te gebruiken bij de beoordeling van de behaalde scores.
Zo kan bij de ene schaal de toestand ongewijzigd lijken, terwijl de andere een duidelijke verslechtering te zien geeft.

Kortom: het lezen van het artikel wordt van harte aanbevolen! Ook de uitgebreide versie, die in het DLE Boek zal worden opgenomen, is zeer verhelderend en neemt alle kritiek weg.

Zie ook: Geschiedenis van de DLE's

*) Tijdschrift voor Remedial Teaching, jrg. 20-2012, nr. 4, blz. 30-33): Nuttig normsysteem onterecht onder vuur

woensdag 3 oktober 2012

Einde aan oefenen met de Drempeltest?




Ondanks het feit dat er over het algemeen wel het besef  is dat oefenen voor een bepaalde intelligentietest niet verstandig is, zijn er toch velen die de verleiding niet kunnen weerstaan. Temeer, omdat dit oefenen op internet wordt aangeboden.




Omdat ik van de Drempeltest ben, houd ik dat aanbod op internet een beetje in de gaten.
Af en toe is er wel eens een contact met zo’n aanbieder, maar meestal resulteert dat niet in het staken van het aanbod.
Het beste is, om daar waar het kan en zinvol is, duidelijk te maken dat oefenen met de Drempeltest niet verstandig is.

En … het lijkt te helpen! Eén van de aanbieders is http://drempeltest.com en als je daar nu op klikt, zie je:



Heeft de aanbieder de moed opgegeven? Is het niet meer rendabel? Is er sprake van voortschrijdend inzicht? Is dit het gevolg van de acties tegen dit oefenen?
Dat laatste zou zomaar kunnen, want via Google vind je bij het aanbod voor het oefenen met de Drempeltest ook altijd meteen de waarschuwing dit niet te doen:



Laten we hopen dat deze trend zich voorzet. Voor de volledigheid geven we hieronder nog even de bezwaren tegen het oefenen met de Drempeltest.

De redenen om niet te oefenen met de Drempeltest op een rij:

- vertekend schooladvies
: de normen (vergelijkingsgegevens) van de Drempeltest zijn gebaseerd op leerlingen die allemaal onvoorbereid (d.w.z. zonder vooraf te oefenen) de Drempeltest hebben gemaakt. Als een leerling voorafgaand aan de testafname heeft geoefend met de Drempeltest of Drempeltest-achtige opgaven, kan dit uiteindelijk een vertekend schooladvies tot gevolg hebben. Het schooladvies is dan te hoog. Dit lijkt misschien positief, maar dat is het juist niet: met een te hoog advies zal de leerling niet op de juiste plek terechtkomen, wat voor het kind schadelijke gevolgen kan hebben.

- inzicht op basis van een nieuw soort opgaven: de Drempeltest is een aanlegtest/intelligentietest. Dit betekent dat de Drempeltest de mogelijke schoolprestaties meet, en niet de feitelijke schoolprestaties (die door schoolvorderingentoetsen worden gemeten). De Drempeltest meet dus wat een leerling in huis heeft. Als intelligentietest doet de Drempeltest vooral een beroep op inzicht. Het uitgangspunt is daarbij de leerling zoveel mogelijk een nieuw soort problemen en opgaven voor te leggen, opgaven die dus zo min mogelijk een beroep doen op aangeleerde kennis. Oefenen met soortgelijke opgaven staat dus haaks op dat uitgangspunt van de test en kan resulteren in een vertekend advies: de leerling wordt op een verkeerd niveau ingeschat en krijgt een te hoog schooladvies.

- oefenen tijdens testafname: voorafgaand aan elk onderdeel worden tijdens de testafname oefenvoorbeelden gemaakt en besproken. De leerlingen mogen dan ook nog vragen stellen. Pas als de vragen zijn beantwoord, wordt met de afname van het betreffende onderdeel begonnen en proberen de leerlingen in de daarvoor gestelde tijd zoveel mogelijk opgaven te maken. Het is dus helemaal niet nodig om te oefenen!

Kortom: oefenen met de Drempeltest kan uw kind een vertekend schooladvies opleveren. De uitslag van de Drempeltest en het op basis daarvan gegeven schooladvies zijn alleen betrouwbaar indien de leerling niet van tevoren heeft geoefend met de Drempeltest of Drempeltest-achtige opgaven.

vrijdag 29 juni 2012

DLE en Cito door één deur!


Cito heeft onlangs bekend gemaakt een alternatief leerlingrapport te bieden. Zij introduceert daarbij het ‘functioneringsniveau’ van een leerling. Het geeft aan met welke gemiddelde leerling in het reguliere basisonderwijs de vaardigheidsscore van de getoetste leerling te vergelijken is. Dit functioneringsniveau is alleen bedoeld om op een eenvoudigere wijze over de vaardigheidsscore van een leerling te communiceren.
 
Dat is nou precies wat ik als ‘DLE-er’ altijd heb gewild ... Wat mij betreft kunnen DLE en Cito nu door één deur!
Aan het slot van de flyer 'Cito en DLE, hoe zit het daarmee?' concludeert het Cito:
Onze keuze om niet te werken met DLE’s is zeer fundamenteel. Natuurlijk realiseren wij ons dat de vraag leeft bij school en ouders waar de leerling staat in zijn ontwikkeling. Het Cito Volgsysteem primair onderwijs biedt dat antwoord. Wilt u de achterstand of voorsprong van een leerling bepalen? Kijk dan naar de groei in vaardigheid, zoals weergegeven op het alternatieve leerlingrapport en naar het functioneringsniveau van de leerling. Het functioneringsniveau van een leerling geeft aan met welke gemiddelde leerling in het reguliere basisonderwijs de vaardigheidsscore van de getoetste leerling te vergelijken is. Dit functioneringsniveau is alleen bedoeld om op een eenvoudigere wijze over de vaardigheidsscore van een leerling te communiceren.
 Cito adviseert om geen conclusies te trekken, die enkel gebaseerd zijn op het functioneringsniveau. De vaardigheidsscore gecombineerd met uw kennis over welk onderwijsaanbod de leerling heeft gehad, geeft het meest betrouwbaar aan wat een leerling kan. Wilt u meer weten over de interpretatie van vaardigheidsscores? Lees dan onze flyer 'Toetsscore, vaardigheidsscore ... en dan?' en in de handleidingen van de Toetsen speciale leerlingen.
In die flyer geeft het Cito onderstaand voorbeeld met de bijbehorende tekst:
... Leerlingen met een achterstand behalen meestal een vaardigheidsniveau E of V. Deze niveau- aanduiding zegt niets over de groei die zij doormaken. Daarom staat in het alternatief leerlingrapport de ontwikkeling van de vaardigheidsscore in de tijd centraal. U ziet dan in één oogopslag of er sprake is van groei.
In figuur 2 ziet u een voorbeeld van een alternatief leerlingrapport. Uit de grafiek leest u eenvoudig af dat de rekenvaardigheid van Shelly zich wel ontwikkeld heeft, maar vanaf het schooljaar 2008-2009 beduidend langzamer dan gemiddeld. Zo behaalde ze in januari 2009 – toen ze in groep 4 zat – nog een gemiddelde vaardigheidsscore. Vanaf dat moment gaat haar ontwikkeling minder hard dan gemiddeld. Zo behaalt ze in eind groep 5, in juni 2010, een vaardigheidsscore die duidelijk onder het landelijke gemiddelde ligt.

Functioneringsniveau: score ten opzichte van het reguliere basisonderwijs
Zoals al eerder vermeld, is de niveauindeling A tot en met E of I tot en met V minder geschikt voor leerlingen met achterstand in het basisonderwijs, maar zeker ook in het speciaal (basis)onderwijs. Om de interpretatie van de toetsresultaten van deze leerlingen te vergemakkelijken, heeft Cito functioneringsniveaus geïntroduceerd. Een functioneringsniveau geeft aan met welke gemiddelde leerling in het reguliere basisonderwijs de vaardigheidsscore van de getoetste leerling te vergelijken is. In het Computerprogramma LOVS kunt u bij het alternatieve leerlingenrapport ervoor kiezen om het functioneringsniveau weer te geven. In het voorbeeld van figuur 2 hebben we dit ook gedaan.
In de linkerkolom van de tabel onder de grafiek leest u af dat Shelly halverwege groep 6 een vaardigheidsscore behaalt die te vergelijken is met de vaardigheidsscore van een gemiddelde leerling in het reguliere basisonderwijs medio groep 5. Overigens kunt u op basis van de functioneringsniveaus van Shelly ook constateren dat de toetsen die zij in groep 6 heeft gemaakt te moeilijk voor haar zijn. Cito adviseert om zeker bij leerlingen die een achterstand van een jaar of meer hebben, die toets te kiezen die het best past bij het niveau van de leerling en het onderwijs- aanbod. Via de vaardigheidsscore zijn de resultaten van deze leerling altijd te vergelijken met die van leerlingen die toetsen van een ander niveau hebben gemaakt.
Het functioneringsniveau is alleen bedoeld om op een eenvoudigere wijze over de vaardigheids- score van een leerling te communiceren. Cito adviseert om het onderwijsaanbod niet uitsluitend te baseren op het functioneringsniveau. De vaardigheidsscore gecombineerd met uw kennis over welk onderwijsaanbod de leerling heeft gehad, geeft het meest betrouwbare beeld over wat een leerling kan.