Digitaal toetsen, een kans die voor het grijpen ligt? deel 1

Eind jaren tachtig waren de eerste mogelijkheden op digitaal toetsgebied voorhanden. Het uit Amerika afkomstige programma Prep was een DOS-programmaatje waar een eenvoudige meerkeuzetoets mee kon worden gemaakt. Ook het Cito was druk bezig met een programma waarvoor je als school zelfs een databank met standaardvragen kon aanschaffen. Deze programma’s waren over het algemeen eenvoudig van opzet.
Na afloop zag je het percentage goede antwoorden en daarmee moest je het dan maar doen. Tegenwoordig zijn de mogelijkheden van digitaal toetsen een stuk uitgebreider. Maar wat zijn nou eigenlijk de voordelen van digitaal toetsen, welke programma’s kunnen scholen dan gebruiken en welk programma is het meest geschikt om schoolbreed digitaal te toetsen?

 

sla uw slag
Nu de computer in praktisch elke school is binnengedrongen, willen de meeste docenten de mogelijkheden optimaal benutten.
Het gebruik van educatieve software of het gebruik van op onderwijsgerichte websites is u wellicht al bekend. Het digitaliseren van toetsen lijkt nu de volgende stap. Geen onleesbaar gekriebel meer van leerlingen, geen overtollig papier meer dat uiteindelijk toch weer wordt weggegooid en toetsen worden kwalitatief een stuk beter.
Kwalitatief een stuk beter zult u zich afvragen, hoezo dan?
We zullen het u uitleggen: net als bij het maken van een niet digitale toets, kost het maken van een digitale toets tijd.
Echter, door het digitaliseren van toetsen wordt de wijze van toetsing onder een vergrootglas gelegd. Doordat een eenmaal gedigitaliseerde vraag nog vele malen gebruikt kan worden, zoekt een docent naar creatieve vraagstellingen die automatische verwerking mogelijk maken. Met andere woorden: een docent gaat meer tijd besteden aan het construeren van toets vragen en het samenstellen van evenwichtige toetsen. Daarmee is de tijd van het digitaliseren grotendeels besteed aan kwaliteitsverbetering van toetsen met als gevolg: betere toetsen!
voordelen per toetssoort
Ja, zult u nu zeggen. Er zijn toch meerdere toetsvormen die in het onderwijs gebruikt worden. Gelden alle genoemde voordelen dan voor al deze toetsen? Om dit te verduidelijken zullen we de vier toetsvormen die het onderwijs kent kort uitleggen. Ook worden de voordelen van digitaal toetsen per toets op een rijtje gezet.

instaptoets
Deze toets geeft de voorbereidende leeractiviteiten bij een thema of module vorm. Doel is te achterhalen welke. voorkennis bij een leerling aanwezig is zodat differentiatie mogelijk wordt.
Een aardig voorbeeld zijn instroomonderzoeken voor leerlingen uit jaar 1. Bij tekorten kan een aangepast programma komen. Ook is het mogelijk te kijken naar het niveau waarop de leerling zich
bevindt. Voor een goede uitvoering is veel tijd nodig; zowel voor het nakijken als voor het maken van een analyse van de toets resultaten.
Digitalisering kan juist die verwerking en analyse automatisch laten plaatsvinden.
diagnostische toetsen
Door een goede diagnose krijgt een leerling feedback over de resultaten van het leerproces. Na een diagnostische toets worden twee belangrijke vragen gesteld: aan welke leerdoelen voldoet de
leerling, en wat kan de leerling alsnog doen om aan de leerdoelen te voldoen? De feedback is individueel gericht, wat om organisatorische redenen nauwelijks mogelijk is in een klassikale les.
Mondelinge feedback levert in een klassikale les snel ordeproblemen op en schriftelijke feedback veroorzaakt bergen papier.
De voordelen van digitalisering zullen u ongetwijfeld duidelijk zijn.
adaptieve- of voortgangstoetsen
Bij deze toetsen worden de resultaten uitgedrukt in een beoordeling of cijfer. De feedback is minder ver uitgewerkt dan bij een diagnostische toets. Voortgang wordt vooral gemeten aan de
hand van cognitieve feiten. Nakijken van dit soort toetsen is een van de minst inspirerende en tijdrovende taken van het leraarschap.
Door het digitaliseren van voortgangstoetsen kan een docent een groter deel van zijn werktijd besteden aan zijn eigenlijke taak: het begeleiden van leerlingen.
absolverende toetsen of eindtoets
Hiermee worden eindtoetsen bedoeld of toetsen die deel uitmaken van het Programma van Toetsing en Afsluiting [PTA], ofwel het examen. In deze toetsen worden cognitieve feiten getest.
Daarnaast wordt bekeken of een leerling inzicht en vaardigheden in de te beheersen stof heeft opgedaan. Hierbij wordt er meer gebruikgemaakt van open vragen die niet eenvoudig digitaal
verwerkt kunnen worden. De meerwaarde van digitaal toetsen is daarom waarschijnlijk het laagst bij absolverende toetsen.

schoolbreed digitaal toetsen
Zoals u ziet bieden digitale toetsen niet voor elke toetsvorm een even grote meerwaarde. Dat is ook niet erg, doelstelling van dit artikel is juist de mogelijkheden te verkennen van digitale toetsen,
die juist wél een meerwaarde kunnen bieden voor het onderwijs.
Optimale situatie is dan dat niet elke afzonderlijke docent een apart programmaatje gebruikt, maar dat er juist een schoolbrede invoering van digitaal toetsen komt. Volgende vraag is dan natuurlijk:
welke programma’s voor schoolbreed digitaal toetsen zijn er beschikbaar?
Op dit moment zijn er eigenlijk drie mogelijkheden:

  1. Basale toetsprogrammatuur zoals het freeware programma Hotpotatoes en het programma Webtoets/Wintoets. Deze toetsprogramma ’s noemen we basaal omdat het onduidelijk is op
    welke databasestructuur deze programma’s gebaseerd zijn.
    Meer informatie over deze toetsprogramma ’s vindt u op http://web.uvic.ca/hrdlhalfbaked en op www.drn.nl/Wintoets.htm
  2. Toetsmodules in een aantal elektronische leeromgevingen zoals de toetsmodule van Blackboard. Basis van de toetsmodule is een gegevensbank die is geïntegreerd in de totale
    database van de elektronische leeromgeving. Meer informatie over deze toetsmodule vindt u op www.blackboard.com  of via de Kennisnetkringen op http://kringen.kennisnet.nl.
  3. Toetsservicesystemen, bijvoorbeeld Question Mark Perception.
    Deze programmatuur is opgebouwd uit een aparte database voor de ontwikkelde toetsvragen, en een aparte database voor het samenstellen van toetsen. Voor administratie en autorisatie, voor het vastleggen van de antwoorden en voor het vastleggen van verschillende soorten rapportages zijn allerlei opties aanwezig.
    Meer informatie over Question Mark Perception is te krijgen op www.stoas.n\lsmartsite.dws?id~2764&ct=24 of www.questionmark.com.

werkwijze
Hoe werken deze programma’s dan en wat zijn precies de overeenkomsten en verschillen van deze programma ‘s, zult u zich wellicht afvragen. Aan de hand van de punten die tijdens het maken van digitale toetsen aan de orde kunnen komen – de vragen, feedback, lay-out, eenheid van toetsontwikkeling en resultaatverwerking – wordt elk programma onder de loep genomen.

de vragen
Bij zowel WintoeIs als Hotpotatoes zijn diverse vraagvormen mogelijk. Echter, soort en het aantal verschilt per programma.
Een verschil tussen beide programma ’s is het aantal mogelijkheden wat u hebt. Hotpotatoes is voor het onderwijs gratis, Wintoets kost een paar honderd gulden. Met Wintoets kunt u diverse meerkeuzevragen, afbeeldingvragen, tekstvragen, vragen met een tabel erin of matchingvragen maken. Ook is het mogelijk om open vragen in de toets op te nemen. Via export naar html is het mogelijk om de vragen op internet te zetten. Ook kunt u allerlei geluid en plaatjes bij de vragen opnemen. Het programma is simpel van opzet en oogt eenvoudig. Bovendien bevat het allerlei exportfuncties naar o.a. Word, Hotpotatoes, Mediator en zelfs naar WebeT.
Hotpotatoes is waarschijnlijk het meest gebruikte toetsprogramma ter wereld dat u gratis kunt downloaden via http://web.uvic.ca/hrdJhotpot/index.htm.
Echter, voor de volledige functionaliteit van dit programma moet u zich wel registreren [ook gratis]. Hotpotatoes kent zes toetssoorten, die elk als een halfgare aardappel worden weergegeven. Er zijn mogelijkheden tot meerkeuzevragen, quizvragen, matchingvragen, gatenteksten en webbased
kruiswoordpuzzels. Ook bestaat de mogelijkheid om van losse, door elkaar geschudde woorden een zin te creëren. Hotpotatoes maakt webbased toetsen erg eenvoudig.
Bij de toets module van Blackboard zijn zeven verschillende vraagvormen mogelijk: open vragen, invul vragen, matrixvragen, meerkeuzevragen, multiple responsevragen, ordeningsvragen en
juist/onjuist vragen. Daarnaast kan de gebruiker geluidsfragmenten, tabellen, grafieken, plaatjes, filmpjes, kortom allerlei media bij de vragen opnemen. Het is mogelijk om met dezelfde vragen verschillende toetsen samen te stellen. Tevens is het mogelijk om enquêtes maken.

Bij Question Mark Perception zijn tien verschillende vraagvormen mogelijk: open vragen, invulvragen, hotspotvragen, matrixvragen, multiple choicevragen, multiple responsevragen, numerieke vragen, ordeningsvragen, tekst-matchvragen.
Daarnaast kan de gebruiker geluidsfragmenten, tabellen, grafieken, plaatjes, filmpjes, kortom allerlei media bij de vragen opnemen. Het is ook mogelijk om wiskundige formules in de vragen te gebruiken.
Met dezelfde vragen kunt u eenvoudig verschillende toetsen samenstellen. Alle vraagvormen zijn ook bruikbaar voor enquêtes.

feedback
Wintoets en Hotpotatoes hebben beiden een feedbackoptie; Wintoets noemt dat commentaar. Een aardige optie van Hotpotatoes is de mogelijkheid van autoresponse. Bij een goed of fout antwoord wordt er altijd een korte feedback gegenereerd.
De volgorde van de vragen is bij beide programma’s eenvoudig door elkaar te gooien. Bij Wintoets is het mogelijk een weging in te stellen, bij Hotpotatoes niet.
De toetsmodule van Blackboard kent een feedbackoptie per vraag.
De feedback over alle vragen wordt aan het eind van de toets weergegeven. De volgorde van de vragen wordt echter door de docent vastgelegd. Per vraag kan hij een aantal punten en een weging vaststellen. U kunt er ook voor ‘zorgen dat alleen binnen een bepaalde tijdsduur beschikbaar is voor afname.
Question Mark Perception kent alle bovengenoemde mogelijkheden en nog veel meer. Er kan feedback per vraag worden gegeven. Desgewenst zijn de vragen in eenheden af te werken en
is er per vraageenheid feedback. Er zijn drie mogelijkheden om de vragen in een toets ‘at random’ weer te geven:

  1. De antwoorden per vraag kunnen in een willekeurige volgorde worden weergegeven.
  2. De vragen binnen een eenheid of toets kunnen in een willekeurige volgorde worden weergegeven.
  3. Er kan willekeurig een aantal vragen over een bepaald onderwerp uit de database gekozen worden.

Per vraag kan de docent een aantal punten ter weging vaststellen die hij desnoods na afname van de toets kan veranderen.
Ook hier kan de toets gedurende een bepaalde tijdslimiet aan de leerlingen worden aangeboden. De toegang tot een toets wordt op studentnaam gegeven en is desgewenst een of meerdere keren
afte nemen.

lay-out
Toetssystemen verhogen hun toegankelijkheid door een eenvoudig, helder en herkenbaar uiterlijk. Dit geldt voor zowel degene die de toets moet invoeren, de docent of de beheerder als de leerling die de toets moet afnemen.
Het scherm van Wintoets is overzichtelijk en ontdaan van alle poespas. Er is sprake van een standaard lay-out. Hotpotatoes heeft een heldere, aantrekkelijke interface. U kunt ook kleuren en
achtergrondplaatjes instellen. Het webbased aanbieden van prachtige toetsen gaat erg eenvoudig.
Bij de toetsmodule van Blackboord zijn geen aparte lay-out mogelijkheden voor de toetsen beschikbaar. Blackboard biedt een eenvoudige standaard lay-out.
Bij Question Mark Perception kunnen een aantal school specifieke sjablonen worden ontwikkeld, waardoor de lay-out van de toetsen gebruiksvriendelijk oogt. Met de sjablonen is een verregaande
variatie in lay-out mogelijk. Een docent kan met behulp van wizards toetsvragen en toetsen ontwikkelen.
Question Mark Perception is volledig Nederlandstalig eenheid van toetsontwikkeling Zowel bij Wintoets als bij Hotpotatoes ligt het beheer van de toetsen, de toetsvragen en de autorisatie bij de individuele docent.
De docent zal alles moeten doen: de toets maken, administreren, beschikbaar stellen en laten afnemen. Als er een webbased toets is, kan die nog op internet worden geplaatst. Door het ontbreken van een afgeschermde database is fraude eenvoudig.
Hotpotatoes kent zelfs de zeer fraudegevoelige mogelijkheid om resultaten per mail naar een docent te sturen. Wintoets heeft wel een exportfunctie naar html [internetpagina’s], maar afname is evenals Hotpotatoes niet te beveiligen. Omdat een docent de spil is waar dit programma omheen is gebouwd, is er hier sprake van een docentgericht programma.

Dit ligt weer anders bij de’ toetsmodule van Blackboard; toetsen en toetsvragen worden per cursus gemaakt. Via een ‘Poolmanager’ is het mogelijk toetsvragen op onderwerp te verzamelen en te
exporteren naar andere cursussen. Aangezien een cursus meestal per docent beheerd wordt, is toetsuitwisseling niet vanzelfsprekend.
Het kost per docent of vaksectie moeite overzicht te krijgen over alle toetsvragen bij een bepaald onderwerp.
Het beheer van de toetsen, toetsvragen en de autorisatie ligt bij de individuele docent.
Juist op dit punt is Question Mark Perceplion sterk. Er zijn vele opties om beveiliging van toetsafname te regelen. Het programma kent een zeer degelijke databaseonderbouwing en beheertool.
Toetsvragen en toetsen worden door alle docenten per onderwerp in dezelfde toetsmatrix en database vastgelegd.
Daarmee wordt een basis gecreëerd voor schoolbrede toetsontwikkeling. Er is apart een functioneel beheerder nodig voor de administratie, autorisatie en het maken van lay-out en rapportagestandaarden.
Het programma is leerlinggericht, de leerling kan overal waar toegang tot internet is een toets afnemen. De administratie ligt niet bij de docent, die heeft bet uitbesteed en hoeft zich
alleen bezig te houden met zijn specialisme: toetsen maken.
We spreken hier dan ook veel meer van een leerlinggerichte applicatie.

resultaatverwerking en analyse
Wintoets kent in tegenstelling tot Hotpotatoes wel een beperkt analyse-instrument. Het aardigste deel daarvan is de cijferbepaling, voor de rest geeft het maar weinig informatie over de toets en zijn
makers.
Ook de toetsmodule van Blackboard geeft analysemogelijkheden van resultaten per student, per vraag en per toets. Deze analyse is echter alleen mogelijk binnen een cursus en niet over de cursussen heen. De toetsresultaten verdwijnen zodra de toets wordt gewijzigd, een cursus wordt verwijderd of als leerlingen uit een bepaalde cursus verdwijnen.
De analyseopties van Question Mark zijn het meest uitgebreid.
Er is een analyse mogelijk per student, per groep, per toets en per vraag. Deze analyse is gebaseerd op alle keren dat een toets of toets vraag gebruikt is
Daarnaast zijn er vele andere ‘soorten rapportages op maat samen te stellen.

welk programma is het meest geschikt?
Op grond van diverse onderzoeken van het Cito en de Rijksuniversiteit Leiden wordt op Question Mark Perception gewezen www.citogroep.nl/pok/kc/40121-CBTCriteria/results.html  en http://platform.leidenuniv.nl/rnemorandum%20ruis.html].
De goede eigenschappen van Question Mark Perception zijn: de eenheid van toetsontwikkeling, integratie met een leerlingvolgsysteem, resultaatverwerking en analyse.
Hotpotatoes. Wintoets en Blackboard bieden onvoldoende houvast voor een schoolbreed beleid voor digitaal toetsen. Immers toetsing is in deze programmatuur gebaseerd op het werk van de individuele
docent en analyseprogramma’s zijn onvoldoende schoolbreed in te zetten.
Volgende maand leest u meer over digitaal toetsen.

Genoemde links op een rijtje

Aad van der Drift, ict-coördinator Zernike College Groningen
Leen van Kaam, ict-consultant Stoas

vives januari 2001

This entry was posted in Vives and tagged , . Bookmark the permalink.

Comments are closed.