Fórum:Testy2/Oponentura

Nedílnou součástí přípravy testů je oponentura. Je rozdělena do několika fází, které se vždy zaměřují na specifickou oblast. Jejím cílem je odhalení nedostatků, které zpravidla testy ve své počáteční podobě obsahují. Provedení oponentury je totožné pro všechny formy zkoušení. Stejný postup tedy lze použít při elektronických i písemných variantách testování. Motivací k provádění revize je objektivní zajištění správnosti, optimalizace testu a odstranění subjektivních vlivů. I když bývá oponentura zpočátku časově a organizačně poněkud náročnější, její přínos je nepopiratelný a roste s významem testu. Po úspěšném zvládnutí všech níže uvedených revizí (obsahová revize, revize férovosti, redakční revize) by měl finální podobu jednotlivých úloh znovu projít autorský tým a všechny provedené změny odsouhlasit. Teprve potom přichází na řadu pilotní administrace testu na malé skupině studentů.

Oponentura, podobně jako příprava kompletní testové agendy, je založena na týmové spolupráci. Několik zainteresovaných odborníků nezávisle na sobě posuzuje vhodnost jednotlivých otázek a společnými silami se snaží o odstranění všech nedostatků, které by mohly při praktické realizaci vadit. Týmová spolupráce tedy hraje při oponování databanky úloh zcela klíčovou roli. Subjektivní pohled autora dané otázky může mnohdy negativně ovlivnit formulaci zadání, případně také nabízených odpovědí, a tedy i správnost celé otázky. Konstruktivní oponentura několika vyučujících zvyšuje především objektivitu otázek a významně tak přispívá ke zkvalitnění celého testu.

Celý proces oponentury testu lze rozdělit do tří fází, kterými oponenta provede formulář pro recenzenty úloh (podrobněji rozebrán dále v textu).

Obsahová revize

Jsou odpovědi správně a přesně formulované? Nejsou distraktory diskutabilní? 

Položky testu je třeba nejprve zkontrolovat po obsahové stránce. Tuto obsahovou revizi by měli provádět nejlépe ostatní spoluautoři, popřípadě pedagogové ze stejného oboru. Musíme zdůraznit, že u každého z typů otázek (s otevřenou odpovědí a s výběrem odpovědi) se provádí obsahová revize jiným způsobem. Cílem je vždy nalezení nesprávných nebo nepřesných formulací v zadání otázek; u položek s výběrem odpovědí se obdobně hledají nepřesnosti či chyby i v jednotlivých nabízených odpovědích.

V dosud nejrozšířenějších otázkách s mnohočetným výběrem odpovědí typu MTF se často chybuje při definici nesprávných odpovědí (distraktorů). Obecně se doporučuje kontrolovat zejména

• přesnost formulace zadání/kmene otázky,
• zda jsou jednotlivé distraktory v každé otázce formulovány tak, aby za žádných okolností, v žádné interpretaci ani v žádném uvažovaném případě nemohl být distraktor správnou odpovědí (platí právě pro nejvíce používanou verzi MTF),
• zda položky v testu odpovídají plánu testu (blueprint).

Zopakujme na tomto místě ještě jednou ukázku položky s problematicky zvolenými distraktory:

Cystická fibróza

1. je onemocnění s incidencí asi 1:2000
2. je letální zpravidla před dvacátým rokem věku
3. u mužů způsobuje neplodnost
4. je autozomálně recesivně dědičná

Jde o typický příklad nejednoznačné otázky (některé z distraktorů mohou být v určitém případě považovány na správnou odpověď). Na možnosti 1, 2 a 3 nelze jednoznačně odpovědět ani „ano“, ani „ne“; pouze 4. možnost je jednoznačná. Pokud bychom tuto otázku předložili skupině expertů, jejich odpovědi by se lišily. Incidence cystické fibrózy není 1:2000 ve všech etnických skupinách; recenzenti by pravděpodobně požadovali doplnění otázky. Problematická je také formulace „incidence je asi 1:2000“. Podobně sporné jsou i nabízené odpovědi 2. a 3.

V rámci revize obsahu je velmi vhodné, aby zadání otázek a nabízené odpovědi zkontrolovali jak spoluautoři celého testu, tak nezávislí odborníci, kteří nebyli zapojeni do jejich vytváření. Subjektivní postoj autora může být příčinou nejednoznačné, tedy nesprávně utvořené testové položky, jejíž použití by snížilo hodnotu testu. Formulace alternativních odpovědí (distraktorů) je pro většinu pedagogů jedna z nejobtížnějších činností při vytváření databanky položek. Je velmi náročné vhodně definovat nesprávné odpovědi tak, aby nebyly příliš zavádějící ani přehnaně snadné. Obecně by distraktory neměly být nesmyslnými tvrzeními nebo absurdními možnostmi, které testovaný automaticky vyloučí, ale naopak by jej měly donutit k zamyšlení a následné eliminaci po logickém zdůvodnění.

U jiných typů otázek mohou vyvstat jiné typy obsahových nedostatků. Otázky s jedinou nejlepší odpovědí (SBA) musí být revidovány tak, aby existovala shoda expertů o jednoznačně nejlepší odpovědi.

Revize férovosti

Testují otázky pouze požadovanou konkrétní znalost a nic jiného?

Obr. 5.1 Rovnost podmínek (zdroj http://teacherstraining.com.au/friday-funny-standardised-testing/)

Férovost bývá často spojována s rovností podmínek při řešení testu. Jak napovídá obrázek 5.1, pouhé zajištění rovných podmínek nemusí být dostačující. Jak tedy férovost testu a jeho položek posuzovat?

Každá položka by měla testovat právě požadovanou vědomost, znalost či schopnost a nic jiného. Pokud jsou k zodpovězení otázky nutné znalosti a dovednosti, které z jakéhokoli důvodu nebyly srovnatelně dostupné všem testovaným osobám, tedy pokud všichni testovaní neměli totožnou možnost požadované znalosti či dovednosti získat, není položka férová. Taková otázka je snazší pro skupinu studentů, kteří byli nějakým způsobem zvýhodněni, a naopak obtížnější pro druhou skupinu, která byla bez vlastního zavinění znevýhodněna. Příkladem může být nadbytečné používání odborných výrazů nebo složitých větných konstrukcí, které nemusí být pro všechny srozumitelné a především pochopitelné. Ačkoli chtěl autor otázky ověřit určitou znalost, současně v tomto případě nechtěně testuje jazykovou vybavenost a přehled v odborné terminologii. V této souvislosti může být další komplikací také testování pozornosti studentů prostřednictvím "chytáků v zadání", případně používání podobných zkratek nebo pojmů.

Položka by neměla zvýhodňovat žádnou skupinu podle věku, pohlaví, původu, společenského a ekonomického postavení, víry, rasy, mateřského jazyka, atd. Studenti z různých skupin se shodnou úrovní znalosti by měli na danou otázku odpovídat správně se stejnou pravděpodobností.

V testech SAT ve Spojených státech se vyskytla otázka, v níž měli dotazovaní najít dvojici pojmů, mezi nimiž je vztah shodný jako mezi pojmy „běžec“ a „maratón“. Správná odpověď byla „veslař“ a „regata“. Při analýze testů se ukázalo, že na tuto otázku odpovídali prokazatelně hůře černí studenti (22 % správných odpovědí), než jejich bílí kolegové (53 % správných odpovědí), ačkoli v jiných otázkách tomu tak nebylo. Otázka předpokládala „samozřejmou“ znalost sportu bohatých, která však nebyla v různých etnických skupinách populace distribuována rovnoměrně.

Základní doporučení a pravidla tvorby testových položek týkající se férovosti položek jsou obsažena v manuálu ETS Guideline for Fairness Review .

Neférovost položek lze často odhalit důkladnou revizí samotného zadání. Někdy ji však neodhalí ani zkušený autor. Lze ji také rozpoznat při analýze výsledků testu, kde se k této problematice vrátíme.

Redakční revize

Jsou otázky dostatečně srozumitelné, typograficky jednotné a bez typografických chyb? 

Redakční revize se může na první pohled jevit jako nepříliš časově náročná, nicméně v praxi to může být složitější. Je nutné projít všechny testové otázky a ověřit, zda jsou dostatečně čitelné, srozumitelné a formálně i typograficky jednotné. Složitá větná souvětí, dvojité zápory a krkolomná zadání otázek je vhodné přepracovat do jednodušší formy tak, aby student nemohl ve formulaci zabloudit. Zadání otázky i samotné odpovědi by měly být konstruovány co možná nejsrozumitelněji. Jednotnost a styl vytváření testových položek se liší podle autorů. V této fázi oponentury se provádí sjednocení jak po stránce terminologické, tak po stránce typografické. Nedílnou součástí jakýchkoli textů je gramatická správnost. To platí i pro vytváření testovacích položek. Eliminace veškerých gramaticky nesprávných či sporných výrazů dle pravidel pravopisu by měla být závěrečnou fází redakční revize.

Při redakční revizi můžeme odhalit i gramaticky nebo graficky návodné formulace otázek (tzv. sugestivní zadání):

Místem narození Jana Amose Komenského byl:

1. Uherský Brod
2. Nivnice
3. Komňa
4. Brno

Formuláře pro recenzenty úloh

Z praktického hlediska je výhodné vybavit recenzenty formuláři, které je oponenturou testové položky „provedou“. Tím, že recenzent odpovídá na jednotlivé otázky ve formuláři, musí se testovou položkou zabývat z různých pohledů. Není třeba striktně vyžadovat, aby každá testová položka zcela vyhověla ve všech sledovaných parametrech; oponent by však případné odchylky měl v každém konkrétním případě považovat za opodstatněné (což zpravidla napíše v komentáři). Příklad formuláře pro recenzenty úloh najdete níže, v přílohách je k dispozici k tisku a k editaci .

Tab. 5.1 Recenze otázky s jedinou nejlepší odpovědí

Zadání otázky
Recenzent
	Ano ✓  nebo   Ne ✗	Poznámky
Zkouší podstatnou znalost
Odpovídá tématu dle plánu testu
Zkouší aplikaci znalostí, nikoli jen vybavení izolovaných údajů
Odpovídá požadované úrovni znalostí
Zadání je jasně formulované
Zadání neobsahuje chytáky (např. dvojí zápor)
Správná odpověď odborníka napadne, i když nezná nabízené možnosti
Distraktory jsou homogenní
Formulace možností nenapovídá správnou odpověď
Žádná možnost není nepřiměřeně obtížná
Nemá podobu „které tvrzení je správné“ nebo „všechna tvrzení jsou správná kromě“
Neobsahuje slova „vždy“, „obvykle“, „zřídka“, „nikdy“ apod.
Právě jedna z nabídnutých možností je nejlepší
Nabídnuté možnosti jsou seřazené abecedně či v jiném logickém pořadí
Možnosti mají podobnou délku a obsah
Možnosti jsou kompatibilní s otázkou