Fórum:Testy2/Adaptivní testování

Informační funkce položky nám může dát vhodné kritérium pro rozhodování, kterou položku použít pro testování studenta s danou úrovní znalostí. Z toho vychází tzv. adaptivním testování. Adaptivní testování (computerized adaptive testing, CAT) je metoda testování, při níž se výběr testovacích úloh přizpůsobuje schopnostem testované osoby. Protože test je tak testovanému doslova „ušitý na míru“, říká se této metodě též tailored testing.

Hlavní výhodou adaptivního testování je, že oproti „klasickému“ testu stačí položit podstatně menší počet otázek, a přitom získáme stejně přesný odhad znalosti studenta ^[1]. Nevýhodou naopak je, že studenti nedostávají stejné otázky a nelze je tedy přímo porovnávat. Z toho mimo jiné vyplývá, že předpokladem zavedení adaptivního testování je vytvoření banky testových úloh (BTÚ) a její naplnění kalibrovanými položkami.

Obr. 8.21 Schéma porovnávající klasické a adaptivní testování pomocí informačních funkcí položek. Položky (otázky) poskytují většinou dobré rozlišení studijního výkonu jen v části rozsahu testovaných znalostí (tam, kde má informační křivka dostatečně vysoké hodnoty). Pokud předem neznáme úroveň znalostí testovaného, musíme mu proto při klasickém testování položit otázky pokrývající celý rozsah úrovní znalostí.

V adaptivním testování je úroveň znalosti postupně odhadována v několika krocích a vystačíme proto s podstatně menším počtem otázek pro získání odhadu znalosti s potřebnou úrovní přesnosti.

Poznámka k obrázku: Informační funkce položky jsou zde pro názornost idealizovány, ve skutečnosti by se více překrývaly a byly by z hlediska obtížnosti méně specifické.

Vzhledem k tomu, že testovaní mohou mít velmi odlišné studijní výkony, není možné pro výběr položek vystačit s jejich klasickými popisy (obtížnost, citlivost, ...) a je třeba použít odhady vlastností položek založené na teorii odpovědi na položku (IRT).

Princip adaptivního testování spočívá v tom, že znalost studenta se na počátku odhadne, poté se postupně kladením dalších testových otázek (položek) zpřesňuje až do chvíle, kdy se podaří dosáhnout určité (předem stanovené) přesnosti odhadu úrovně znalosti.

Jak bylo naznačeno výše, předpokladem pro nasazení adaptivního testování je dostupnost dostatečně velké banky kalibrovaných položek (několik tisíc položek ^[2] se známými psychometrickými vlastnostmi). Například Breithauptová et al. ^[3] odhaduje, že na relativně malý závěrečný test se čtyřiceti položkami je třeba mít banku se dvěma tisíci kalibrovaných položek. Adaptivní testování tedy umožňuje na jednu stranu ušetřit čas (a náklady) při samotném testování, ale vyžaduje velkou počáteční investici na pořízení a naplnění položkové banky.

U položek je přitom zapotřebí nejen to, aby byly známé jejich psychometrické vlastnosti, ale také, aby jejich celková obtížnost byla „jednorozměrná“, tedy aby položky netestovaly (byť skrytě) více oblastí. Pokud například budeme testovat v chemii znalost poločasu rozpadu na početním příkladu, pak studenti s lepší znalostí matematiky budou otázku vnímat jako snazší, než jejich kolegové hůře vybavení touto dovedností. K podobnému jevu může vést použití cizojazyčných nebo latinských výrazů. Použitím úloh, jejichž obtížnost je složená z více „nezávislých vektorů“, autor bezděčně ztrácí kontrolu nad obtížností, neboť pro různě disponované jedince budou mít rozdílnou celkovou obtížnost. Použití takovýchto „vícerozměrných“ položek v testu může být problematické.

Adaptivní testování umožňuje nezatěžovat studenta nadbytečným množstvím otázek, které by pro něj byly buď příliš jednoduché, nebo příliš obtížné. Zodpovídá jen otázky, které jsou pro něj přiměřené, stráví testováním kratší dobu a snižuje se tak jeho celková testová frustrace.

*Tab. 8.4* Výhody a nevýhody adaptivního testování
Výhody adaptivního testování	Nevýhody adaptivního testování
zkrácení testu snížení testové frustrace pro většinu respondentů bezprostřední zpětná vazba snížení nákladů možnost jednoduchého a automatizovaného odstranění nefunkčních položek z položkové banky	nutnost rozsáhlé položkové banky nutnost kalibrace položek nemožnost přímo porovnat dva testované nemožnost vrátit se k předchozí položce nutnost formulovat položky, aby byly „jednorozměrné“

Další informace o adaptivním testování najde zájemce v knize Testování v psychologii ^[4], ve studii Filípkové a Byčkovského ^[1] nebo v článku ^[5].

Nástroje pro adaptivní testování[upravit | editovat zdroj]

Pro adaptivní testování existuje řada softwarových nástrojů, např. komerční FastTEST, který je dostupný jak ve verzi pro PC, tak jako webová aplikace. Z nekomerčních řešení stojí za zmínku např. otevřená testovací platforma Concerto ^[6] s modulem pro adaptivní testování catR, který byl vytvořen v prostředí R ^[7].

Mnoho zajímavých informací, přehled používaného software a příklady významných aplikací adaptivního testování najde zájemce na stránkách Mezinárodní asociace pro počítačové adaptivní testování IACAT (http://iacat.org/).

V domácím kontextu byl v Psychologickém ústavu AV ČR v Brně (2005) vytvořen vlastní původní software pro adaptivní testování CATO ^[8].

Na Masarykově univerzitě (v Centru jazykového vzdělávání) byl v rámci evropského projektu vytvořen systém Adaptivní test COMPACT, který slouží každý semestr tisícům studentů jako prerekvizita k výuce akademické angličtiny. Po dohodě s odpovědným pracovištěm mohou software využívat učitelé i jiných fakult v rámci MU a plnit jej testovými položkami své odbornosti. Zaškolení pedagogů je snadné, k praktickému využívání není třeba žádných zvláštních znalostí. Základní informace poskytuje manuál v publikaci ^[9].

↑ ^a ^b FILÍPKOVÁ, Zuzana a Petr BYČKOVSKÝ. Studie proveditelnosti počítačem adaptovaného testování v prostředí českých škol [online] . Systémový projekt Kvalita I: CERMAT, 2008. 26 s. Dostupné také z <http://www.esf-kvalita1.cz/Vystupy_projektu/1A1U2_Osobni%20portfolio%20zaka/cat/Studie_CAT_2008.pdf>. sv. [cit. 2012-11-08].
↑ GIERL, Mark J, Hollis LAI a Simon R TURNER. Using automatic item generation to create multiple-choice test items. Medical Education [online]. 2012, roč. -, vol. 46, no. 8, s. 757-765, dostupné také z <http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2923.2012.04289.x/full>. sv. DOI:. ISSN 1365-2923. PMID: 22803753.DOI: 10.1111/j.1365-2923.2012.04289.x.
↑ BREITHAUPT, Krista, Adelaide A ARIEL a Donovan R HARE. Assembling an inventory of multistage adaptive testing systems [online] . In van der Linden, Wim J.; Glas, Cees A.W. Elements of Adaptive Testing. 1. vydání. New York : Springer, 2010. s. 247-266. Dostupné také z <http://link.springer.com/chapter/10.1007%2F978-0-387-85461-8_13#page-2>. DOI:10.1007/978-0-387-85461-8_13. ISBN (Print) 978-0-387-85459-5, (Online) 978-0-387-85461-8
↑ Chybná citace: Chyba v tagu <ref>; citaci označené Testovani v psychologii není určen žádný text
↑ JELÍNEK, Martin, Petr KVĚTON a Denisa DENGLEROVÁ. Adaptivní testování - základní pojmy a principy. Československá psychologie. 2006, roč. 50, vol. -, no. 2, s. 163-173, ISSN (Print) 0009-062X; (Online) 1804-643.
↑ MAGIS, David. A small overview of available computer software to support computerized adaptive testing. Příspěvek na konferenci 15th biennal conference of the European Association for Research on Learning and Instruction. Mnichov. 27- - 31. srpen 2013. Dostupné také z <http://orbi.ulg.ac.be/handle/2268/145056>.
↑ MAGIS, David a Gilles RAICHE. Random Generation of Response Patterns under Computerized Adaptive Testing with the R Package catR. Journal of Statistical Software [online]. 2012, roč. -, vol. 48, no. 8, s. 1-31, dostupné také z <http://www.jstatsoft.org/v48/i08/paper>. ISSN 1548-7660.
↑ KVĚTON, Petr, Martin JELÍNEK a Denisa DENGLEROVÁ, et al. Software pro adaptivní testování: CAT v praxi. Československá psychologie. 2008, roč. 52, vol. -, no. 2, s. 145-154,
↑ VÁŇOVÁ, Tamara, Jiří PROCHÁZKA a Denisa DENGLEROVÁ. Adaptivní test COMPACT. 1. vydání. Brno : Masarykova univerzita, 2012. 99 s. ISBN 978-80-210-5742-5.

[Filipkova-1] FILÍPKOVÁ, Zuzana a Petr BYČKOVSKÝ. Studie proveditelnosti počítačem adaptovaného testování v prostředí českých škol [online] . Systémový projekt Kvalita I: CERMAT, 2008. 26 s. Dostupné také z <http://www.esf-kvalita1.cz/Vystupy_projektu/1A1U2_Osobni%20portfolio%20zaka/cat/Studie_CAT_2008.pdf>. sv. [cit. 2012-11-08].

[Gierl_2012-2] GIERL, Mark J, Hollis LAI a Simon R TURNER. Using automatic item generation to create multiple-choice test items. Medical Education [online]. 2012, roč. -, vol. 46, no. 8, s. 757-765, dostupné také z <http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2923.2012.04289.x/full>. sv. DOI:. ISSN 1365-2923. PMID: 22803753.DOI: 10.1111/j.1365-2923.2012.04289.x.

[Breithaupt2010-3] BREITHAUPT, Krista, Adelaide A ARIEL a Donovan R HARE. Assembling an inventory of multistage adaptive testing systems [online] . In van der Linden, Wim J.; Glas, Cees A.W. Elements of Adaptive Testing. 1. vydání. New York : Springer, 2010. s. 247-266. Dostupné také z <http://link.springer.com/chapter/10.1007%2F978-0-387-85461-8_13#page-2>. DOI:10.1007/978-0-387-85461-8_13. ISBN (Print) 978-0-387-85459-5, (Online) 978-0-387-85461-8

[Testovani_v_psychologii-4] Chybná citace: Chyba v tagu <ref>; citaci označené Testovani v psychologii není určen žádný text

[5] JELÍNEK, Martin, Petr KVĚTON a Denisa DENGLEROVÁ. Adaptivní testování - základní pojmy a principy. Československá psychologie. 2006, roč. 50, vol. -, no. 2, s. 163-173, ISSN (Print) 0009-062X; (Online) 1804-643.

[6] MAGIS, David. A small overview of available computer software to support computerized adaptive testing. Příspěvek na konferenci 15th biennal conference of the European Association for Research on Learning and Instruction. Mnichov. 27- - 31. srpen 2013. Dostupné také z <http://orbi.ulg.ac.be/handle/2268/145056>.

[7] MAGIS, David a Gilles RAICHE. Random Generation of Response Patterns under Computerized Adaptive Testing with the R Package catR. Journal of Statistical Software [online]. 2012, roč. -, vol. 48, no. 8, s. 1-31, dostupné také z <http://www.jstatsoft.org/v48/i08/paper>. ISSN 1548-7660.

[8] KVĚTON, Petr, Martin JELÍNEK a Denisa DENGLEROVÁ, et al. Software pro adaptivní testování: CAT v praxi. Československá psychologie. 2008, roč. 52, vol. -, no. 2, s. 145-154,

[9] VÁŇOVÁ, Tamara, Jiří PROCHÁZKA a Denisa DENGLEROVÁ. Adaptivní test COMPACT. 1. vydání. Brno : Masarykova univerzita, 2012. 99 s. ISBN 978-80-210-5742-5.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]