Fórum:Testy/Cyklus přípravy testu

Obr. 2.1 Intuitivní schéma testového cyklu.

Podívejme se, co nás při přípravě, realizaci a vyhodnocení testů může potkat. Předpokládejme, že jsme se rozhodli otestovat znalost skupiny studentů pomocí písemného testu. Příprava písemného testu je náročnější než samotné ústní zkoušení; musíme tedy pro takové rozhodnutí mít nějaký důvod. Může to být potřeba vyzkoušet v omezeném čase velké množství studentů, či potřeba zajistit spolehlivé a reprodukovatelné hodnocení.

Nejjednodušší (tzv. nestandardizovaný) písemný test lze sestavit ad hoc, pouze na základě zkušeností vyučujícího. Není na tom nic špatného, pokud je účelem testu pouhé poskytnutí zpětné vazby studentům nebo vyučujícím. Má-li však být výstupem klasifikace nebo rozhodnutí se závažnějšími důsledky (např. rozhodování o postupu studenta do dalšího studia), měla by být přípravě testu věnována patřičná pozornost, aby bylo hodnocení validní, objektivní a reprodukovatelné.

Jak by měl vypadat cyklus přípravy testu? Jeho základní kroky odhadneme i intuitivně: Máme-li rozmyšlené zadání testu, můžeme podle něj test navrhnout. Vytvoříme otázky, které si během recenze necháme zkontrolovat kolegy. Poté můžeme test realizovat, studenty oznámkovat a statisticky zhodnotit i samotný test během jeho analýzy. Poučíme se, promítneme zpětnou vazbu do celého cyklu přípravy a můžeme se pustit do přípravy dalšího testu. Toto intuitivní schéma je na obrázku 2.1.

Projděme nyní jednotlivé kroky podrobněji. Ještě detailněji pak budou postupně popsány v následujících kapitolách. Zvídavý čtenář si může rovněž rozšířit obzory zhlédnutím šestiminutového videa o cyklu přípravy otázek vytvořeného společností Educational Testing Service (ETS) .

Zadání

Práce na testu by se měla odvíjet od ujasnění cílů. Definováním cílů výuky učitel vymezí rozsah učiva, co by měl student po absolvování kurzu umět a co je třeba otestovat.

Návrh a příprava testu

Návrh testu je dalším klíčovým bodem celého procesu. Je třeba stanovit, kolik otázek bude test obsahovat z každého tematického okruhu a jaké typy otázek se použijí. Zvlášť významná tato fáze je, pokud se test připravuje ve více variantách, které mají být vzájemně srovnatelné. Cíle výuky se promítnou do výběru otázek a poměru zastoupení jednotlivých témat v připravovaném testu. Podle anglického pojmenování dříve užívaných modrých kopií stavebních plánů se tomuto plánování testu říká blueprinting.

Samotná tvorba testových úloh patří k odborně i časově náročnějším etapám přípravy testu a je vhodné se na ni teoreticky připravit. V minulosti postupně vznikla celá řada formátů testových úloh, z nichž mnohé byly následně opět opouštěny a skončily na „pohřebišti testových formátů“ (viz Příloha 1). Pozornosti čtenáře doporučujeme formát otázek s jedinou nejlepší odpovědí (single-best answer, SBA), který je v současnosti jednou z nejpoužívanějších forem otázek s mnohočetným výběrem odpovědi (multiple-choice questions, MCQ).

Při tvorbě testu lze použít i otázky vytvořené dříve. Ty lze schraňovat v tzv. bance úloh. Otázky lze pak také sdílet s dalšími skupinami nebo institucemi.

Recenze testu

Má-li být test kvalitní, je nezbytnou součástí jeho přípravy i oponentura otázek, při níž se odstraní nahodilé chyby či omyly autorů testu, nejednoznačné či jinak problematické formulace apod. Při oponentuře otázek jsou položky předloženy k posouzení skupině odborníků (např. metodika přípravy testů programu Rogo doporučuje nejméně 5–9 osob), kteří podle připraveného formuláře procházejí testové úlohy a ověřují kvalitu jejich formulace.

Při opakované rutinní tvorbě testů je oponentura součástí samotné tvorby otázek před jejich zařazením do položkové banky.

Pro prověření chování položek i celého testu je vhodné test „pilotně“ vyzkoušet. Analýza výsledků pilotního testu může ukázat na (ne)schopnost položek rozlišovat studenty podle zvládnutí látky, ozřejmí jejich objektivní obtížnost a tak dále. Položky, jejichž psychometrické vlastnosti jsou známé, se nazývají kalibrované. Protože je pilotní testování organizačně náročné (musíme vždy zajistit skupinu testovaných kvalitativně srovnatelnou s cílovou skupinou, vytvořit jim přiměřenou motivaci atd.), používá se často jako pilotní testování až samotný první běh testu. Známý výsledek pilotního testu převedený do podoby kalibrovaných položek je podmínkou pro další efektivní používání nových testových úloh.

Důležitým krokem v této etapě je i nastavení meze, pod kterou nesmí znalost studenta klesnout, aby mohl být považován za úspěšného absolventa kurzu. Tedy např. frekventant kurzu první pomoci nesmí být považován za úspěšného absolventa, pokud nezvládne základní kardiopulmonální resuscitaci. Potřebujeme tedy nastavit jakési absolutní standardy a tento krok se proto nazývá absolutní standardizace.

Realizace testu

Jak jsme už uvedli, může mít písemný test podobu papírovou, nebo počítačovou. V obou případech je třeba zajistit vytvoření testových verzí, distribuci testů studentům a sběr jejich odpovědí. U testování, jehož výsledky mají významný dopad, musíme navíc zajistit férovost testu. S tím souvisí potřeba omezit možnost úniku testových otázek, zajistit identifikaci účastníků testu, dozor během testu a rovné podmínky testu pro všechny účastníky.

Klasifikace studentů

Oznámkování studentů je nejvýznamnějším výstupem testu. Při klasifikaci je možné porovnat počty bodů (celkové skóre) dosažené jednotlivými studenty a zjistit tak jejich relativní umístění. Pomocí expertního odhadu (např. Ebelovou nebo Angoffovou metodou) stanovíme hranici pro rozhodnutí „prošel“ nebo „neprošel“ (tzv. absolutní standardizace) a rozdělením intervalu úspěšnosti na potřebný počet dílů můžeme stanovit klasifikaci studentů v podobě klasifikačních stupňů – známek. K zajištění rovných podmínek účastníků přispívá anonymizace testů před úplným vyhodnocením (oznámkováním) testů.

Analýza výsledků testu

Test je nástroj a jako každý nástroj má konkrétní vlastnosti, které můžeme popsat. Chování testu a jeho položek můžeme hodnotit pomocí analýzy výsledků testu. U testu jako celku nás zajímá především jeho spolehlivost (reliabilita) a zda měří to, co by měřit měl (validita). U jednotlivých položek testu pak položkovou analýzou zkoumáme jejich obtížnost a citlivost s cílem vyloučit nevhodné (nebo prozrazené) položky z dalšího používání.

Optimální je zhodnotit kvalitu testu ještě před jeho ostrým nasazením v rámci pilotního testování. Vlastnosti testu je poté potřeba ověřit na cílové skupině testovaných při ostrém nasazení. Při opakovaném použití testu je užitečné porovnávat výsledky v jednotlivých bězích testu.

Zpětná vazba

Výsledky analýzy testu jsou součástí zpětné vazby, díky níž můžeme zlepšit jednotlivé kroky testového cyklu a připravit další, dokonalejší běh testu.

Po tomto myšlenkovém exkurzu můžeme schéma testovacího cyklu nakreslit podrobněji. Dostaneme tak schéma testového cyklu v souladu s doporučením AMEE , viz obr. 2.2. Poznamenejme, že začátek testového cyklu vyžaduje zkušenost učitele. V dalších krocích, počínaje pilotním testováním, již není účast zkušeného učitele podmínkou a při analýze a hodnocení testu je vhodné spolupracovat se statistikem.

Obr. 2.2 Schéma testového cyklu. (Upraveno podle )

V následujících kapitolách se budeme věnovat jednotlivým krokům testového cyklu podrobněji.