Handboek Toetsplaza/Nieuwe items&toetsen

Richtlijnen bij het opzetten en vullen van Thema vragenbanken. Deze richtlijnen kun je ook goed gebruiken om een eigen vragenbank op te zetten.

Handboek Toetsplaza

Benaming en Structuur van de bank

Redactieleden maken de structuur van itembanken. Hieronder staan de afspraken die we gemaakt hebben om ervoor te zorgen dat de structuur binnen de servers overzichtelijk blijft. Een hoofdtopic kan alleen worden aangemaakt door de projectleider, Onder een hoofdtopic worden subtopics aangemaakt. Binnen de eigen omgeving van een instelling kan onder het hoofdtopic iedere instelling zijn eigen structuur bouwen. Het is echter handig om zo veel mogelijk de structuur te handhaven zoals hieronder beschreven staat. Dan houd je je eigen omgeving overzichtelijk. Hierop wordt geen controle uitgeoefend.

Hoofdtopic wordt voluit geschreven, bijv.:

Thema PC

Subtopics nummeren, bijv.:

01 Basisbegrippen van informatietechnologie

02 Gebruik van de computer en beheer van bestanden

● Bij het subtopic waar de vragen uitkomen, ook de topicbeschrijving invullen. Dat is hetgeen de leerling ziet bij de assessmentuitkomst. Moet dus een goede, duidelijke omschrijving zijn. Als het nodig is om de topicuitkomsten op een bepaalde volgorde te krijgen, moeten de beschrijving ook genummerd zijn (anders krijg je alfabetische volgorde). Topicbeschrijving kan hetzelfde zijn als topicnaam. Bijvoorbeeld:

Topicnaam: 1.1.4 Computer prestaties Topicbeschrijving: 1.1.4 Computer prestaties

Wees consequent
Houd waar nodig rekening met het ad random trekken van vragen bij het maken van assessments.
Het kan nodig zijn om subsubtopics te maken per vraagtype.
Het kan nodig zijn om subsubtopics te maken per soortgelijke vragen (waar er bijv. maar 1 van in de toets mag komen).
Het kan nodig zijn om subsubtopics te maken per niveau.

De vragen

Wanneer je start met het maken van de vragen dan zijn er een aantal stappen die je moet doorlopen voordat je kunt beginnen met het maken van de vragen. Zet eerst de auteur goed, je weet dan welke auteur de vragen heeft gemaakt/geredigeerd. Dit instellen doe je bij “Auteur” (instellen onder Extra – Opties): Wanneer de vragen worden geredigeerd door het redactieteam dan wordt onder auteur ingevuld redactie gevolgd door het jaartal waarin de vragen worden geredigeerd. Redactie 20**

Coderingen Vragen Om vragen gemakkelijk op volgorde te zetten en om te kunnen zien waar welke vraag vandaan komt in een assesment is het belangrijk om een goede vraagcodering te hebben. De vraagcodering begint altijd met een verkorte benaming van het thema, gevolgd door subtopic en eindigt met een volgnummer en een korte term die iets zegt over de vraag. Het wordt afgeraden om het antwoord in de vraagcodering naar voren te laten komen.

T-Paard-beweging-11006 tolt t-pc-1.1.1-90002 betekenis PC

Benaming van afbeeldingen. Ook de afbeelding begint met de verkorte benaming van het Thema, gevolgd door subtopic.Deze waar nodig laten eindigen met een volgnummer (als er meerdere plaatjes van hetzelfde onderwerp zijn). Als bijv. een afbeelding eigenlijk te groot is, dan laat je de originele afbeeldingen intact. Je verkleint de afbeelding(bijvoorbeeld met irfanview) en slaat deze onder een andere naam op.

Originele: t-techniek-anemometer.jpg Gewijzigd: t-techniek-anemometer_400x300.jpg

meerkeuzevragen

afspraken rondom het maken van mc-vragen.

Bij vragen werken we met een tekst veld en een vragendeel. Op dit moment staat het tekstveld(plaatje)links en de vraag rechts daarvan. Indien er geen plaatje of tekst aanwezig is dan .( wordt nog ingevuld)..

Bij meerkeuzevragen wordt aan iedere choice een outcome gekoppeld. Dit is nodig om een analyse te kunnen maken. Standaard wordt dit op de goede manier door QMP gemaakt. Standaard werkt QMP met id 0 voor de eerste choice/outcome, 1. voor de tweede choice/outcome. etc.

Maken van een vraag: Tussen de inleiding en de vraag hoort een lege regel. Om de lege regel tussen de inleidende tekst en de vraag te krijgen geef je [2x shift-ENTER]. Het verdient de voorkeur om in verschillende tekstvelden te werken. Tussen de vraag en de choices zet qmp zelf een lege regel. Niet zelf ook nog een [ENTER] geven.

Redigeren vragen

Bij het redigeren is het belangrijk om de volgende onderdelen van een vraag te controleren.

Juiste vraagstelling (stam van de vraag)
Geen overbodige zaken, goede leesbaarheid
Goede vraaglayout
Lege regels waar nodig (leesbaarheid)
Ruimte tussen afbeelding en tekst
afleiders kort en duidelijk houden
waar nodig vetgedrukte woorden om ze 'uit' de tekst te lichten
afleiders shuffelen, behalve bij getallen en andere logische volgorde, zoals

A I is juist B II is juist C I en II zijn juist D I en II zijn onjuist

10 TIPS voor het construeren van MC vragen:

Tip I: Doe niet met meer als met minder hetzelfde resultaat bereikt kan worden. Doe dus niet ingewikkelder dan nodig is.
Tip II: De energie moet zich richten op de vraagbeantwoording, niet op verklaren van onduidelijk taalgebruik in de vraagformulering of extra tekstuele uitleg.
Tip III: Zorg dat binnen de toets steeds bij hetzelfde vraagtype voor dezelfde eenduidige en herkenbare formulering is gekozen

(b.v. bij de alternatieven). Zorg dat alle alternatieven even aannemelijk zijn. Sluiten alle alternatieven grammaticaal aan bij de stam van de vraag zelf?

Tip IV: Verwijs nooit naar een antwoord of gegeven uit een vorige vraag. Men moet de items onafhankelijk van elkaar kunnen beantwoorden.
Tip V: Gebruik geen (nergens) dubbele ontkenningen.
Tip VI: Gebruik alternatieven die “even lang” zijn.
Tip VII: Maak onderscheid tussen Gegevens, Beweringen en Stellingen en geef dit aan. Zorg dat twee stellingen die behoren tot dezelfde vraag hetzelfde kennisdomein afdekken.
Tip VIII: Breng afwisseling aan door diverse vraagtypen te gebruiken.
Tip IX: Maak onderscheid in de cognitieve niveaus van de vragen.
Tip X: Vermijd woordjes zoals : soms, vaak, af en toe, meestal, ooit. Iedereen verstaat hieronder weer iets anders.

uit: Kwaliteitsverbetering met MC toetsvragen Oktober 2002 Warnar Moll Hogeschool van Amsterdam, Afdeling Onderwijsresearch & Ontwikkeling (OrO)

Feedback

De feedback voor een goed beantwoord en foutief beantwoord item moeten verschillen, dus niet bij zowel goed gescoord als fout gescoord antwoord de volgende feedback:

“Het goede antwoord is een xxxxxx”

Geef bij het maken van de vraag dus duidelijk twee verschillende feedbacks voor zowel het goede als het foute antwoord.

goed antwoord	fout antwoord
“Goed.” of “Goed. Deze xxxxx is inderdaad yyyyy.”	“Fout. Deze xxxxx heeft als betekenis yyyyy.” of “Onjuist beantwoord. De naam van dit xxxxx is yyyyy.” of “Fout. Het juiste antwoord is xxxxx, omdat vvvvvvvv”

Bij de 'goede' feedback kan het dus volstaan met alleen “Goed” of “Goed” met een uitgebreidere feedback. Bij de 'foute' feedback wordt dus vaak ook aangegeven wat het goede antwoord is. Soms is het vanuit oogpunt van het leereffect niet verstandig om het goede antwoord te geven. In plaats daarvan wordt verwezen naar plaatsen waar de deelnemer alsnog het goede antwoord kan vinden.

Houdt voor de leesbaarheid een lege regel aan tussen goed en fout en de rest van de feedback. Dit verhoogt de leesbaarheid. Het is ook mogelijk om een afbeelding van het juiste antwoord toe te voegen (instellen als HTML). Bijvoorbeeld:

“De juiste combinaties zijn: <img src="%SERVER.GRAPHICS%01oe15-2E080-1-02-90033-namen.gif">”

laat de volgende feedback zien:
De juiste combinaties zijn:

Score afspraken

Uitgangspunten: Omdat we met een gezamenlijke opgavenbank werken moeten hier landelijke afspraken over worden gemaakt. De cesuur is uiteindelijk bepalend voor het resultaat van een toets. De cesuur kan door de afnemende partij zelf worden ingesteld. De wegingsfactor die aan een eindterm is gekoppeld bepaalt eigenlijk het aantal te behalen punten.

Aannames: het juiste vraagtype is gebruikt om een bepaalde eindterm te toetsen gebruik van het juiste vraagtype krijgt veel aandacht tijdens het begeleidingstraject aantal te behalen punten wordt bepaald door de denkhandeling die verricht moet worden, het aantal keuzes en de grootte van de eigen inbreng

Opmerkingen per vraagtype:

Vraagtype	Soort	Opmerkingen	aantal punten
Opstel vraag (essay)	open	Dit is een open vraag	10
Tekst-match	open	bepalend is hier het antwoordmodel hoe ver mag een leerling gaan in het fout typen (spellen) Advies: ga daar niet te ver in (afhankelijk van doelgroep). In principe moet het uitgangspunt hier zijn exacte weergave	10
Invulvraag (Fill in Blanks)	Open	aantal keuzemogelijkheden bepaalt de score	10 -12
Selectie vraag(pulldown-list)	gesloten	aantal keuzemogelijkheden bepaalt de score	10 -12
Matching	gesloten	aantal keuzemogelijkheden bepaalt de score. Zoveel mogelijk vraag in zijn geheel beoordelen.	10-12
Volgordevraag (Ranking)	gesloten	aantal keuzemogelijkheden bepaalt de score. Zoveel mogelijk vraag in zijn geheel beoordelen.
Hot Spot vraag	gesloten		10
Drag and drop	gesloten	aantal keuzemogelijkheden bepaalt de score	10 -12
Matrix	gesloten	Geen maximum aan het aantal opties Score per goede optie is afhankelijk van het aantal opt	10 -12
Meerkeuzevraag (Multiple choice)	gesloten	afhankelijk van het aantal keuze zo veel mogelijk 2 of 3 afleiders gebruiken (maximaal 4 alternatieven)	10
Meervoudig antwoord vraag(Multiple response)	gesloten	in de vraag altijd opnemen hoeveel goede antwoorden er gekozen moeten worden aantal keuzemogelijkheden bepaalt de score	10-12
Numerieke vraag	open	in tekst € opnemen Aangeven of bedrag met punt of comma weergegeven moet worden (wellicht wordt beide geaccepteerd)	10
Waar/Niet waar Ja/ Nee	Gesloten	Zo min mogelijk gebruiken en verwerken in een matrixvraag	5

Assessments

Wees consequent binnen het Thema

Binnen questionmark worden drie soorten assessments onderscheiden.

diagnostisch, aangegeven met “(D)” aan eind van assessmentnaam
formeel, aangegeven met “(F)” aan eind van assessmentnaam
controle en/of inzage, aangegeven met “(CP)” aan eind van assessmentnaam

Begin eerst weer met de naam van de auteur goed te zetten. Vervolgens start je met de naam van het assessment. Iedere naam begint met de verkorte naam van het thema en de naam van de toets. Vaak is dit de naam van een subtopic. Achter de naam komt het soort assessment tussen haakjes hieronder de tabel

hierboven de tabel

T-Boomverzorging 01 Assortiment blok 1 (D)

Bij “T-BIO-01-01 Celdeling 2B (D)” komen de vragen uit het subtopic “2B” binnen de structuur:

01 Anatomie en fysiologie mens

01 Cellen, weefsels, erfelijkheid

03 Celdeling: mitose en meiose

2B

Het voordeel van deze manier van naamgeving is dat de assessments overzichtelijk blijven en daarom gemakkelijk terug te vinden zijn. Met name bij veel subtopics is dit belangrijk.

Opbouw van het assessment

● Controleblok

	Assessment Settings (Control Block)	formatief diagnostisch	formeel examen	inzage assessment
Assessment	Mogelijke instellingen
	Assessment name	Met codering, bijv.: T-GR-02-08-20 Onderhoud gras N3 (D)	Met codering, bijv.: T-GR-02-08-20 Onderhoud gras N3 (F)	Met codering, bijv.: T-GR-02-08-20 Onderhoud gras N3 (I)
	Assessment description	Min of meer gelijk aan name, Leerlingvriendelijk, gelijk aan vraagbloklabel, bijv.: Onderhoud gras N3	Min of meer gelijk aan name, Leerlingvriendelijk, gelijk aan vraagbloklabel, bijv.: Onderhoud gras N3	gelijk aan assessmentname
	Assessment Type	Test	exam	Unset
	Anonymus results	-	-	-
	Record results in database	V	V	V
	Save what information	Full data	Full data	Summary data
	Assessment time limit	-	-	-
	Template file for assessment	T-xxxx	T-xxxx	AOC_redactie_xxx
	Save as you go	Off	Off	Off
Security
	Requires monitoring	-	Afhankelijk van	-
	Allow run from integration	V	-
	Require Questionmark Secure	-	Afhankelijk van	-
	Allow open access to assessment	V	-	-
	Set password to control scheduling	In beginsel NOOIT gebruiken	In beginsel NOOIT gebruiken	In beginsel NOOIT gebruiken

○ Tabblad Controle: Resultaten opslaan in database en Volledige gegevens. Gebruik het voor sjabloonbestand: het Thema sjabloon per thema ; als deze er nog niet is, vragen bij de projectleider

○ Tabblad Feedback: Einde van assessment en Alles

○ Tabblad Beveiliging: niets instellen

○ Tabblad Gerapporteerde topics: normaal gesproken niets veranderen

● Vragenblok

○ Tabblad Algemeen: bij Bloknaam de naam van de toets (de leerling ziet deze naam in de kop van de toets), met hoofdletter laten beginnen, bijv.: “Celdeling” voor bovenstaand voorbeeld van assessment “T-BIO-01-01 Celdeling 2B (D)” Vragen in blok mengen

○Tabblad Inleidende boodschap niet invullen

● Assessmentuitkomst

○ Tabblad Uitkomst: Achter 'Resultaten met label' dezelfde naam invullen als onder vragenblok, dus bv. “Celdeling” Scorebereik, bij gebruik van 1 assessmentuitkomst loopt deze van 0 tot 100 'Totale score op eindpagina weergegeven' aanvinken

○ Eventueel meerdere assessmentuitkomsten toevoegen en instellen.

(Bij een samengestelde toets, d.w.z. vragen komen uit verschillende topics, kan er voor gekozen worden om de topicuitkomsten te laten zien per topic. Dan moeten 'Topicfeedback op eindpagina weergeven' en Topicscores/uitkomsten op eindpagina weergegeven' worden aangevinkt. Gevolg is dat de Topicbeschrijvingen getoond worden met hun score (zie bij Benaming en Structuur van de Bank). Het kan in dit geval nodig zijn om bij Controleblok de Gerapporteerde topics iets fijner in te stellen.)

○ Tabblad Voorwaarden: niets instellen

○ Tabblad Feedback: zie hiernaast voor de juiste tekst

○ Tabblad Vertakkingen: niets invullen

Opbouw van het assessment bij formele toets De opbouw van een formele toets is grotendeels gelijk aan een diagnostische toets. Let op de volgende verschillen:

meerdere assessmentuitkomsten, d.w.z. meerdere scorebereiken (onvoldoende en voldoende), instelling afhankelijk van cesuur.
assessmentfeedback aanpassen aan assessmentuitkomst

Opbouw van het assessment bij controle/inzage toets De opbouw van een controle/inzage toets is grotendeels gelijk aan een diagnostische toets. Let op de volgende verschillen:

Controleblok

○ Controle: Resultaten opslaan in database NIET aanvinken

○ Sjabloonbestand: AOC_redactie_ave.template gebruiken

Vragenblok

○ Vragen NIET in blok mengen

○ naam is niet belangrijk

Assessmentuitkomst

○ niet belangrijk

MBO examens

Het is binnen toetsplaza naast de Creta toetsen ook andere officiele examens af te nemen. Voor gewasbescherming, heftruckrijden en trekkerrijden staan er examens klaar.

Je kunt ze gebruiken via: www.toetsplaza.nl/mboexamens

Afname van een theorie trekkerrijbewijs examen.

Voor het afnemen van een toets kan de leerling nadat hij voor trekkerrijden heeft gekozen het juiste trekkerexamen aanklikken. Dit examen moet wel van te voren worden klaargezet. De leerling moet dan inloggen met zijn inlogaccount. Nadat de leerling heeft ingelogd volgt nog een tweede inlogscherm. Hierbij moet de beheerder inloggen. Dit is een extra beveiliging.

Rapportage van een theorie trekkerrijbewijs examen.

Op toetsplaza ziet u onder Toetsen een groene balk Beschrijving staan. Wanneer u daar op klikt ziet u de diverse links naar de rapportage van de verschillende trekkerexamens. Hierbij logt u in met dezelfde beheerdersaccount die u gebruikt als beheerder. NA het inloggen kunt u de rapportages opvragen. Eventueel is het mogelijk om op datum te filteren. Ook een coachingsrapport opvragen behoort tot de mogelijkheden.

Leerlinginlog:

Inlog van leerlingen. Een leerlingen inlog is te verkrijgen via Toetsplaza. Vanuit toetsplaza gaat een bericht naar de qmp-coordinator en (eventueel) de examensecretaris van het aoc. Indien er geen qmp-coordinator is neem dan contact op met het expertise centrum.

Beheerdersaccount:

Inlog van beheerder. Een beheerder inlog is te verkrijgen via de qmp coordinator van de locatie. Indien er geen qmp-coordinator is neem dan contact op met het expertise centrum.

Na start van een toets krijgt de leerling eerst een info-scherm. Daarna een invulformulier. Daar moet worden ingevuld: Voornaam Achternaam Burger Service Nummer (BSN) Geboortedatum Geboorteplaats (Opmerking hierbij. Dit zijn verplichte invulvelden, d.w.z. er moet iets worden ingevuld. Als je niet wilt of kunt werken met BSN -> laat dan bijv. 99 invullen Het is belangrijk de leerlingen erop te wijzen dat m.n. voornaam en achternaam goed/correct/netjes wordt ingevuld. Want anders heeft de rapportage veel minder zin. En het is veel moeilijker om zaken terug te vinden als dit slordig gedaan is)

Rapportage

Aan einde van een toets krijgt de leerling een rapportagescherm te zien. Van deze rapportage is ook een pdf te maken. Hiervoor moet er op de knop PDF geklikt worden. Op deze rapportage zie je naast de behaalde punten ook een cijfer staan. Dit cijfer wordt geproduceerd aan de hand van de formele normeringstabel. De behaalde punten zijn opgeslagen in het systeem en kunnen altijd worden teruggevonden. MAAR het geproduceerde cijfer wordt echter NIET opgeslagen in het systeem. Het wordt WEL meegenomen in de pdf. Als je geen pdf laat maken, is het verstandig om het cijfer te noteren. Maar mocht het gebeuren dat je dat cijfer niet hebt genoteerd, kun je de punten dus wel altijd terughalen. En aan de hand van de normeringstabel alsnog het cijfer aflezen. De punten zijn een factor 10 meer dan bij de papieren toets. Bij papier is maximum te behalen 40 pt. Bij de digitale is dat 400. Voor de score en het cijfer maakt dat natuurlijk geen verschil.

Beheerdersaccount bij opstarten van toets (dus die 2e inlog)

er zijn een aantal manieren hoe je het best om kunt gaan met inloggen:

je kunt pc's opstarten en zelf als leerling inloggen en vervolgens als beheerder. Je zet dus als het ware de pc vast klaar voor toetsafname
je kunt leerlingen laten inloggen met de algemene leerlingaccounts, je geeft dan elke leerling een andere. Vervolgens ga je langs de leerlingen om de 2e inlog te doen. Bij deze manier is het belangrijk om die 2e inlog afgeschermd te doen zodat de leerling niet mee kan kijken.
je kunt de leerlingen zowel de leerlingaccount meedelen als de beheersers account. Maar dan moet je direct daarna het wachtwoord van het beheerdersaccount wijzigen.

(N.B. Het is trouwens altijd aan te raden om het wachtwoord van beheerdersaccount elke keer na een toets te wijzigen)

De eerste en tweede manieren zijn bij kleine aantallen leerlingen goed te doen. Bij een grote groep is de derde manier de makkelijkste

Wijzigen van wachtwoord Via: https://aoc03.qmark.nl/em/login.asp Na inloggen klik je op Home Bij Change My Password het wachtwoord wijzigen

Door deze manier van toetsafname staan de toetsen altijd gereed. Je hebt het dus vanaf dit moment geheel zelf in de hand. Meer dan klikken en inloggen hoef je niet te doen. Mochten er nog vragen zijn of opmerkingen --> laat het weten.