Uživatelka:Iannadecz/Pískoviště/editace

Testování při výuce medicíny

---

Konstrukce a analýza testů na lékařských fakultách

Terminologická poznámka pod čarou

Jak si čtenář zajisté povšimne, používá se v oboru testování řada specifických výrazů (svého druhu newspeak ), jejichž důsledné využití může lidem mimo obor čtení textu velmi zkomplikovat. Zkratky používané v oboru testování jsou proto uvedeny v přehledu na konci textu a odborné termíny jsou jednak odkázány v rejstříku, jednak jsou v textu opakovaně doprovázeny jejich srozumitelnějšími "překlady", a to i za cenu jistého zjednodušení, které laskavý odborník jistě promine.

Dedikace

Informační technologie jsou dnes přirozenou součástí výuky na vysoké škole. Na základě osobní důvěry a spolupráce mezi pracovníky lékařských fakult zodpovědnými za elektronickou podporu vzdělávání vznikl v roce 2006 projekt MEFANET (MEdical FAculties NETwork). Tato vzdělávací síť dnes sdružuje všechny lékařské a zdravotnické fakulty v České republice a na Slovensku a zastřešuje kontinuální rozvoj výuky s pomocí moderních informačních a komunikačních technologií. Jedním z klíčových přínosů je efektivní sdílení elektronických učebních materiálů. Spektrum podpory vzdělávání však zasahuje do mnoha oblastí a nejaktuálněji k nim patří i téma konstrukce a analýzy testů. Metody hodnocení znalostí studentů patří v akademickém světě k velmi diskutovaným tématům. Nejde jen o to zkoušet studenty co možná nejefektivněji, ale také spravedlivě, prokazatelně a nezaujatě. MEFANET proto vítá příležitost podpořit rozšíření nových metodik testování a dlouhodobě zaštiťuje úsilí o rozvoj této oblasti jako celku. Inovativní výsledky, pod které jsou podepsáni autoři z řad pedagogů zainteresovaných fakult, jsou prezentovány na odborném fóru ve formě příspěvků na každoročně organizované konferenci MEFANET, dále na pracovních workshopech pořádaných na jednotlivých fakultách a konečně také v podobě souborných publikací. Tato kniha představuje souhrn zásadních poznatků a doporučení, která lze v praxi využít při tvorbě komplexní testovací agendy při výuce medicíny. Vzhledem ke své struktuře a rozsahu je text vhodný pro širokou akademickou veřejnost. Zejména pak pro vyučující, kteří se chtějí průřezově seznámit s problematikou konstrukce testů a celkově se v procesu přípravy testů lépe zorientovat. Na své si však přijdou i odborníci, kteří naopak chtějí získat detailní informace spojené s konkrétními fázemi testovacího cyklu.

Jaké otázky vám tato kniha pomůže zodpovědět?

[ ✎ upravit vložený článek ]

• Zkoušet ústně, nebo písemně?

kapitola 1.3 Jak zkoušet

• Zkoušeli bychom písemně, ale nemáme testové otázky.

kapitola 4 Typy otázek a jejich vytváření

• Zkoušeli bychom písemně, ale nemáme čas a sílu to zavést.

kapitoly 2 Cyklus přípravy testu, 9 Realizace testů

• Zkoušíme písemně, ale nevíme, jestli dobře.

kapitola 8 Analýza výsledků a hodnocení kvality testu

• Zkoušíme písemně, ale chceme to dělat lépe.

kapitoly 3 Plánování testu, 5 Oponentura otázek, 7 Standardizace a normování testu

• Jsou naše testy příliš obtížné nebo snadné?

kapitoly 8.1 Popis a grafické zobrazení výsledků, 8.3.1 Obtížnost položky

• Jak poznám špatnou otázku?

kapitoly 5 Oponentura otázek, 6 Pilotování testu, 8.3 Položková analýza

• Jak poznám, že test byl studentům předem znám?

kapitoly 8.1 Popis a grafické zobrazení výsledků, 9.1 Zabezpečení testů

• Jak správně nastavím klasifikační stupnici?

kapitola 7.6 Klasifikace studentů

• Jsou (počítačové) testy vhodné pro všechny studenty a všechny předměty?

kapitoly 1.3 Jak zkoušet, 11.4 Testování handicapovaných studentů

• Rádi bychom testovali moderněji, ale nemáme vhodný software.

kapitola 9.2 Počítačové testování

Dříve než začnete

[ ✎ upravit vložený článek ]

Hodnocení studentů je běžnou součástí práce vysokoškolského pedagoga. Může se zdát, že na něm není nic složitého. Jak ale vyzkoušet velké množství studentů v krátkém čase? Nebo jak prokázat objektivitu a reprodukovatelnost zkoušení? V životě pedagoga tak přicházejí chvíle, kdy je třeba vykročit ze zaběhnutého rámce a vydat se na dobrodružnou cestu neznámým terénem testování. Ačkoli se tato cesta může zpočátku jevit jako džungle pojmů, standardů a houští statistických metod, nemusí být zcela neschůdná. Pojďme se společně do této džungle vypravit.

Než se ale vydáme na cestu, měli bychom si odpovědět na otázky proč, jak, co a s kým chceme vlastně zkoušet.

Proč

[ ✎ upravit vložený článek ]

Velmi často zkoušíme, abychom zjistili, zda student dostatečně zvládl náplň daného předmětu, případně zda může či nemůže postoupit do dalšího stupně studia. Tento typ zkoušení se označuje jako výstupní neboli sumativní a jeho primárním výstupem je hodnocení výkonu studenta (splnil/nesplnil, známka, počet bodů či umístění v rámci testované skupiny).

Různé formy zkoušení však také mohou sloužit jako zdroj zpětné vazby pro učitele či studenty. Například nás může zajímat, nakolik studenti v průběhu výuky vstřebávají a chápou předkládaný obsah, či které oblasti jim činí největší potíže a kde tedy jako učitelé musíme přidat. Můžeme také studenty testovat proto, aby oni sami našli svoje slabé stránky a mohli na nich zapracovat. Tomuto typu zkoušení se říká průběžné, nebo též formativní.

V rámci jednoho předmětu, kurzu či ročníku je možné a vhodné tyto dva typy zkoušení kombinovat, zejména na začátku studia a u rozsáhlejších předmětů. Účel zkoušení nám také pomůže určit požadovanou úroveň znalostí – jinak přísní budeme u jednoho z mnoha průběžných testů a jinak u závěrečné zkoušky, která může rozhodnout o ukončení studia.

Co

[ ✎ upravit vložený článek ]

Jednou z nejdůležitějších otázek, které je vhodné zodpovědět, je, co přesně chceme zkoušet. Jednoduchá odpověď by mohla znít, že v biochemii budeme zkoušet biochemii a v patologii – co jiného než patologii. Z hlediska plánování formy zkoušení se však vyplatí na věc podívat detailněji.

V průběhu výuky na vysoké škole se učitelé snaží studentům předávat směs znalostí, dovedností a postojů namixovaných v různých poměrech podle konkrétního předmětu. V biochemii se tak studenti učí intermediáty Krebsova cyklu (znalosti), chemické výpočty, a třeba i základy experimentální práce v laboratorním praktiku (dovednosti, případně i správné postoje k poctivému nakládání s experimentálními daty). V kurzech komunikace či etiky získávají dovednosti nutné k dobré komunikaci s pacienty, svými rodinnými příslušníky nebo kolegy, osvojují si profesionální postoje nutné k řešení složitých situací a jistě získají i teoretické poznatky o komunikačních technikách a etických systémech. Zásadní otázkou tedy je, co vše musí studenti prokazatelně zvládnout, aby daný předmět absolvovali, a co tedy budeme chtít zkoušet. Obvykle to nebude celý obsah kurzu, ale jen jeho centrální část. „Co se považuje za důležité“ by se mělo odvíjet od představy, jak má vypadat absolvent celého studia, a od potřeb dalších navazujících předmětů.

[ ✎ upravit vložený článek ]

Úrovně znalostí a dovedností

Stejně jako musíme být schopní definovat obsahovou náplň zkoušky či testu, je také třeba přesně odpovědět na otázku, jakou úroveň znalostí nebo dovedností chceme testovat. Zkoušíme-li určité odborné téma, můžeme po studentovi požadovat, aby prokázal

• Znalost (student zná; v anglicky psané literatuře knowledge, úroveň knows)

Zkoušíme diagnostiku plicní embolie. Za znalost považujeme, že student má nastudované teoretické údaje o plicní embolii, zná nejčastější zdroje embolizace, rizikové faktory, patofyziologii změn, k nimž embolie vede atd.

• Porozumění (student ví jak; competence, knows how). Zkoušený dokáže znalosti z předchozí úrovně zapojit do kontextu.

Dokáže určit, jaké výsledky zobrazovacích metod jsou kompatibilní s diagnózou plicní embolie, jaké jsou očekávané výsledky jednotlivých laboratorních a klinických vyšetření apod.

• Dovednost (dokáže ukázat jak; performance, shows how). Dovednost je již komplexní, zkoušený se „sám vyzná“ a kombinuje široké spektrum znalostí a schopností, kterých často nabyl v různých předmětech a částech studia.

Určí diagnózu nebo vysloví podezření na plicní embolii na základě předloženého popisu konkrétního případu, rentgenových snímků a výsledků laboratorních vyšetření.

• Činnost (v praxi provádí správně veškeré potřebné úkony; action, does). Této úrovně by měl dosáhnout např. kandidát u státní závěrečné zkoušky nebo u atestace.

Dokáže v praxi od pacienta odebrat anamnézu, fyzikálně jej vyšetřit, správně zajistit, ordinovat adekvátní vyšetření, interpretovat jejich výsledky, ordinovat správnou léčbu atd.

	Tip: Citát: Konfucius (4. stol. př.n.l.)
	„Co slyším, zapomenu. Co vidím, si zapamatuji. Co vyzkouším, tomu porozumím.“

Tip: Citát: Konfucius (4. stol. př.n.l.)

V teoretických předmětech se od studenta lékařství bude vyžadovat pouze znalost a porozumění. Student jiného oboru, který se připravuje na dráhu vědeckého pracovníka, by ale měl ve stejném „teoretickém“ předmětu dosáhnout všech úrovní dovedností.

Znalosti a porozumění medika získané v teoretických předmětech by nicméně měly být aplikovány později v klinických oborech. Mohou tedy být podkladem pro dovednosti a činnosti zkoušené ve vyšším ročníku v rámci jiné části studia.

Výše uvedené čtyři úrovně znalostí a dovedností se používají při výuce medicíny; často se schematicky znázorňují jako tzv. Millerova pyramida (viz obr. 1.1). Toto pojetí vychází z obecnějšího konceptu, tzv. Bloomovy taxonomie výukových cílů .

Obr. 1.1 Millerova pyramida úrovní znalostí a dovedností umožňuje přehledně zobrazit úrovně vhodné pro písemné testování.
Písemné testování (stejně jako např. testování pomocí počítače) lze použít pro hodnocení znalostí a porozumění. Vyšší úrovně dovedností je třeba zkoušet jinými způsoby. (Upraveno podle ).

Jak

[ ✎ upravit vložený článek ]

Pokud máme jasno v tom, jaké znalosti, dovednosti či postoje chceme zkoušet, můžeme přemýšlet o vhodných formách zkoušení. Zhruba je můžeme rozdělit na ústní a písemné. V tomto textu jako svébytnou skupinu vyčleníme ještě praktické zkoušení, které hraje v medicíně velmi významnou roli. Každá z uvedených tří forem má své výhody a nevýhody.

Písemné či počítačové zkoušení je velmi vhodné pro hodnocení velkého množství studentů a velkého rozsahu látky. Jeho hlavní síla spočívá v hodnocení znalostí od přehledového zkoušení velkých souborů faktů, přes porozumění jejich souvislostem až po simulované řešení problémů či klinických situací. Principiální výhodou je jeho zpětná přezkoumatelnost a velké možnosti statistické analýzy výsledků. Z metodického hlediska je do značné míry lhostejné, zda se zkoušení provádí na papíře nebo elektronicky na počítači; v dalším textu tedy nebudeme tyto dvě možnosti rozlišovat. O písemných a elektronických formách zkoušení budou detailně pojednávat následující kapitoly.

Ústní zkoušení je vhodnější na zjišťování schopnosti řešit problémy, zejména ty hůře strukturované, a tedy podobné reálným situacím. Nevýhody ústního zkoušení zahrnují především velkou časovou a personální náročnost, problematickou standardizaci, obtížnost srovnání jednotlivých zkušebních komisí a termínů a nemožnost zpětného přezkoumání. Výhodou je naopak možnost eliminovat případné nedorozumění v pochopení zadání otázky či odpovědi na ni vzájemnou komunikací studenta a pedagoga.

Praktické zkoušení budeme v tomto textu považovat za specifickou problematiku, které se budeme věnovat jen okrajově. Praktické zkoušení hraje významnou úlohu zejména v klinické části medicínského studia. Mělo by být zásadní součástí závěrečných zkoušek a později i zkoušek konaných např. v rámci specializačního vzdělávání. Praktická zkouška má často několik součástí, při nichž se hodnotí výkon zkoušeného při určité činnosti. Často ale zkoušený odpovídá i na otázky, takže i praktická zkouška mívá prvky písemného či ústního zkoušení. Více informací o praktickém zkoušení naleznete v příloze.

Konkrétní formu zkoušení zvolíme podle toho, co chceme zkoušet, jaký je rozsah zkoušené látky, kolik studentů je třeba ohodnotit, jaké k tomu máme personální či technické podmínky a jak spravedlivě či přesně potřebujeme v dané situaci zkoušet. Pět studentů pravděpodobně vyzkoušíme mnohem rychleji ústně než písemně, pokud započteme čas nutný na přípravu kvalitního testu. Naopak někdy můžeme být nuceni použít písemné zkoušení z praktických důvodů (nedostatečné personální zajištění), i když v daném případě nemusí jít o optimální formu.

Obecně se dá říci, že písemné či počítačové testování je vhodné pouze pro zkoušení znalostí a porozumění. Vyšší úrovně dovedností je třeba hodnotit principiálně jinými metodami (tedy již zmíněným praktickým zkoušením). Jistě není třeba zdůrazňovat, že znalosti a porozumění jsou nutnou, nikoliv však postačující úrovní pro úspěšného absolventa mnoha částí studia; písemné testování tak nutně nemůže být jedinou metodou hodnocení, v určité fázi na něj musí navazovat jiné přístupy.

Moderní technologie a využití počítačů hrají stále větší roli ve vzdělávání, a v medicínském vzdělávání zvlášť. Počítačová podpora hodnocení studentů se rozvíjí již půl století, prakticky od nástupu optického rozpoznávání papírových dotazníků. Jsou čtyři pádné důvody, proč počítačové testování studentů používat: efektivnost, průkaznost, spolehlivost a přesnost. ,

Tab. 1.1 Srovnání písemného a ústního zkoušení

	Písemné a počítačové zkoušení	Ústní zkoušení
Výhody	Rychlá administrace při velkém počtu studentů Menší potřebný počet zkoušejících (výhoda při velkém počtu studentů) Rychlé zpracování výsledků Objektivita Archivovatelnost	Snazší příprava Lze testovat i zapojování poznatků a komplexnější dovednosti Vhodné pro malé počty studentů Zkoušený získává okamžitou zpětnou vazbu Možnost eliminace nedorozumění v zadání
Nevýhody	Větší nároky na přípravnou fázi Nevhodné pro zkoušení komplexních dovedností a činností Zkoušený dostává zpětnou vazbu o výkonu až s časovým odstupem po zkušebním aktu (netýká se automaticky vyhodnocovaných počítačových testů, kdy student obdrží zpětnou vazbu okamžitě) Malá efektivita při malém počtu studentů Chybí osobní kontakt (v některých případech naopak výhodou)	Nízká míra objektivity, špatná standardizovatelnost Větší riziko lidské chyby Obtížná přezkoumatelnost

V dalším textu se budeme věnovat téměř výhradně písemnému testování. Mnoho postupů pro práci s písemnými testy se ale obdobně používá i pro kvalitně vedené ústní zkoušení.

S kým

[ ✎ upravit vložený článek ]

Předpokladem efektivního a relevantního zkoušení je jeho dobrá organizace. U předmětů s větším rozsahem, významem v rámci studijního programu a s velkým počtem studentů je prakticky nezbytné vytvořit tým, který se bude organizaci zkoušení systematicky věnovat, a to včetně zpětné kontroly jeho kvality.

Výhody zkušebního týmu jsou zřejmé: rozloží se nápor práce a umožní se účinná kontrola kvality a vzájemná podpora. Týmová spolupráce je také nezbytná pro standardizaci testů (viz kapitola 8 Standardizace a normování testu). Některé zahraniční univerzity do zkušebních týmů zařazují i externí členy z jiných institucí, čímž posilují nestrannost komisí a zajišťují srovnatelnost zkušebních standardů mezi jednotlivými vzdělávacími institucemi.

Tip: Kvalitní testování nezajistí jednotlivec – sestavte aspoň malý tým

Čím větší je význam hodnocení testů či zkoušení pro průběh a výsledky studia, tím větší pozornost musí být věnovaná kvalitě testů. Test, který by vyhovoval nárokům např. pro udělení atestace, nemůže v dostatečné kvalitě připravit jednotlivec - už proto, že některé kroky (např. recenze otázek) něco takového z principu vylučují. Tým, který se o přípravu a zpracování testů stará, nemusí být rozsáhlý - ale je třeba jej sestavit.

Tip: Kvalitní testování nezajistí jednotlivec – sestavte aspoň malý tým

Cyklus přípravy testu

[ ✎ upravit vložený článek ]

Obr. 2.1 Intuitivní schéma testového cyklu.

Podívejme se, co nás při přípravě, realizaci a vyhodnocení testů může potkat. Předpokládejme, že jsme se rozhodli otestovat znalost skupiny studentů pomocí písemného testu. Příprava písemného testu je náročnější než samotné ústní zkoušení; musíme tedy pro takové rozhodnutí mít nějaký důvod. Může to být potřeba vyzkoušet v omezeném čase velké množství studentů, či potřeba zajistit spolehlivé a reprodukovatelné hodnocení.

Nejjednodušší (tzv. nestandardizovaný) písemný test lze sestavit ad hoc, pouze na základě zkušeností vyučujícího. Není na tom nic špatného, pokud je účelem testu pouhé poskytnutí zpětné vazby studentům nebo vyučujícím. Má-li však být výstupem klasifikace nebo rozhodnutí se závažnějšími důsledky (např. rozhodování o postupu studenta do dalšího studia), měla by být přípravě testu věnována patřičná pozornost, aby bylo hodnocení validní, objektivní a reprodukovatelné.

Jak by měl vypadat cyklus přípravy testu? Jeho základní kroky odhadneme i intuitivně: Máme-li rozmyšlené zadání testu, můžeme podle něj test navrhnout. Vytvoříme otázky, které si během recenze necháme zkontrolovat kolegy. Poté můžeme test realizovat, studenty oznámkovat a statisticky zhodnotit i samotný test během jeho analýzy. Poučíme se, promítneme zpětnou vazbu do celého cyklu přípravy a můžeme se pustit do přípravy dalšího testu. Toto intuitivní schéma je na obrázku 2.1.

Projděme nyní jednotlivé kroky podrobněji. Ještě detailněji pak budou postupně popsány v následujících kapitolách. Zvídavý čtenář si může rovněž rozšířit obzory zhlédnutím šestiminutového videa o cyklu přípravy otázek vytvořeného společností Educational Testing Service (ETS) .

Zadání

Práce na testu by se měla odvíjet od ujasnění cílů. Definováním cílů výuky učitel vymezí rozsah učiva, co by měl student po absolvování kurzu umět a co je třeba otestovat.

Návrh a příprava testu

Návrh testu je dalším klíčovým bodem celého procesu. Je třeba stanovit, kolik otázek bude test obsahovat z každého tematického okruhu a jaké typy otázek se použijí. Zvlášť významná tato fáze je, pokud se test připravuje ve více variantách, které mají být vzájemně srovnatelné. Cíle výuky se promítnou do výběru otázek a poměru zastoupení jednotlivých témat v připravovaném testu. Podle anglického pojmenování dříve užívaných modrých kopií stavebních plánů se tomuto plánování testu říká blueprinting.

Samotná tvorba testových úloh patří k odborně i časově náročnějším etapám přípravy testu a je vhodné se na ni teoreticky připravit. V minulosti postupně vznikla celá řada formátů testových úloh, z nichž mnohé byly následně opět opouštěny a skončily na „pohřebišti testových formátů“ (viz Příloha 1). Pozornosti čtenáře doporučujeme formát otázek s jedinou nejlepší odpovědí (single-best answer, SBA), který je v současnosti jednou z nejpoužívanějších forem otázek s mnohočetným výběrem odpovědi (multiple-choice questions, MCQ).

Při tvorbě testu lze použít i otázky vytvořené dříve. Ty lze schraňovat v tzv. bance úloh. Otázky lze pak také sdílet s dalšími skupinami nebo institucemi.

Recenze testu

Má-li být test kvalitní, je nezbytnou součástí jeho přípravy i oponentura otázek, při níž se odstraní nahodilé chyby či omyly autorů testu, nejednoznačné či jinak problematické formulace apod. Při oponentuře otázek jsou položky předloženy k posouzení skupině odborníků (např. metodika přípravy testů programu Rogo doporučuje nejméně 5–9 osob), kteří podle připraveného formuláře procházejí testové úlohy a ověřují kvalitu jejich formulace.

Při opakované rutinní tvorbě testů je oponentura součástí samotné tvorby otázek před jejich zařazením do položkové banky.

Pro prověření chování položek i celého testu je vhodné test „pilotně“ vyzkoušet. Analýza výsledků pilotního testu může ukázat na (ne)schopnost položek rozlišovat studenty podle zvládnutí látky, ozřejmí jejich objektivní obtížnost a tak dále. Položky, jejichž psychometrické vlastnosti jsou známé, se nazývají kalibrované. Protože je pilotní testování organizačně náročné (musíme vždy zajistit skupinu testovaných kvalitativně srovnatelnou s cílovou skupinou, vytvořit jim přiměřenou motivaci atd.), používá se často jako pilotní testování až samotný první běh testu. Známý výsledek pilotního testu převedený do podoby kalibrovaných položek je podmínkou pro další efektivní používání nových testových úloh.

Důležitým krokem v této etapě je i nastavení meze, pod kterou nesmí znalost studenta klesnout, aby mohl být považován za úspěšného absolventa kurzu. Tedy např. frekventant kurzu první pomoci nesmí být považován za úspěšného absolventa, pokud nezvládne základní kardiopulmonální resuscitaci. Potřebujeme tedy nastavit jakési absolutní standardy a tento krok se proto nazývá absolutní standardizace.

Realizace testu

Jak jsme už uvedli, může mít písemný test podobu papírovou, nebo počítačovou. V obou případech je třeba zajistit vytvoření testových verzí, distribuci testů studentům a sběr jejich odpovědí. U testování, jehož výsledky mají významný dopad, musíme navíc zajistit férovost testu. S tím souvisí potřeba omezit možnost úniku testových otázek, zajistit identifikaci účastníků testu, dozor během testu a rovné podmínky testu pro všechny účastníky.

Klasifikace studentů

Oznámkování studentů je nejvýznamnějším výstupem testu. Při klasifikaci je možné porovnat počty bodů (celkové skóre) dosažené jednotlivými studenty a zjistit tak jejich relativní umístění. Pomocí expertního odhadu (např. Ebelovou nebo Angoffovou metodou) stanovíme hranici pro rozhodnutí „prošel“ nebo „neprošel“ (tzv. absolutní standardizace) a rozdělením intervalu úspěšnosti na potřebný počet dílů můžeme stanovit klasifikaci studentů v podobě klasifikačních stupňů – známek. K zajištění rovných podmínek účastníků přispívá anonymizace testů před úplným vyhodnocením (oznámkováním) testů.

Analýza výsledků testu

Test je nástroj a jako každý nástroj má konkrétní vlastnosti, které můžeme popsat. Chování testu a jeho položek můžeme hodnotit pomocí analýzy výsledků testu. U testu jako celku nás zajímá především jeho spolehlivost (reliabilita) a zda měří to, co by měřit měl (validita). U jednotlivých položek testu pak položkovou analýzou zkoumáme jejich obtížnost a citlivost s cílem vyloučit nevhodné (nebo prozrazené) položky z dalšího používání.

Optimální je zhodnotit kvalitu testu ještě před jeho ostrým nasazením v rámci pilotního testování. Vlastnosti testu je poté potřeba ověřit na cílové skupině testovaných při ostrém nasazení. Při opakovaném použití testu je užitečné porovnávat výsledky v jednotlivých bězích testu.

Zpětná vazba

Výsledky analýzy testu jsou součástí zpětné vazby, díky níž můžeme zlepšit jednotlivé kroky testového cyklu a připravit další, dokonalejší běh testu.

Po tomto myšlenkovém exkurzu můžeme schéma testovacího cyklu nakreslit podrobněji. Dostaneme tak schéma testového cyklu v souladu s doporučením AMEE , viz obr. 2.2. Poznamenejme, že začátek testového cyklu vyžaduje zkušenost učitele. V dalších krocích, počínaje pilotním testováním, již není účast zkušeného učitele podmínkou a při analýze a hodnocení testu je vhodné spolupracovat se statistikem.

Obr. 2.2 Schéma testového cyklu. (Upraveno podle )

V následujících kapitolách se budeme věnovat jednotlivým krokům testového cyklu podrobněji.

Plánování testu (blueprinting)

[ ✎ upravit vložený článek ]

Účelem plánování testu (anglicky blueprinting) je definovat obsah testu a skladbu použitých metod a forem zkoušení.

V této fázi přípravy testu tedy hledáme odpověď na otázky

• co přesně se bude zkoušet,
• jak velký podíl testu se bude věnovat kterému tématu,
• jakým typem úloh se bude zkoušet určitý typ znalostí či dovedností.

Jinými slovy, při plánování testu se snažíme navrhnout, kolik bude test obsahovat položek ze kterého okruhu a jakého typu tyto položky budou. Zvažujeme přitom význam jednotlivých témat v rámci celého předmětu. Pečlivým naplánováním testu se vyhneme situacím, kdy se po většinu kurzu výuka věnuje určitým problémům, které učitelé považují za zvlášť důležité, v testu se však k těmto tématům objeví jen málo otázek a zbytek se zabývá jinými okruhy. Testovaní jsou pak zaskočeni a výsledky obvykle neodpovídají ani názoru vyučujících. Naopak dobrý plán testování umožní objektivně a srovnatelně klasifikovat i několik skupin studentů pomocí různých variant testů.

Připomeňme na tomto místě, že klíčovou informací pro plánování testu by mělo být, co má absolvent umět (tj. „cíle výuky“, learning objectives). Tomu by měl odpovídat jak obsah a rozsah kurzu, tak i obsah a rozsah testu. V praxi se obsah a rozsah znalostí a dovedností vyučovaných, zkoušených a žádoucích vždy poněkud liší. Při plánování testu bychom tedy měli vycházet z cílů výuky, je však třeba přihlížet i ke skutečné náplni kurzu. Výsledky testu se samozřejmě mohou a mají stát zpětnou vazbou pro zdokonalování kurzu v dalších bězích.

Obr. 3.1 Cíle výuky, skutečně vyučovaná látka a obsah a rozsah testu se v praxi vždy poněkud liší. Velkým rozdílům mezi cíli výuky, skutečně probranou látkou a náplní testu má zabránit plánování testu. V dobře naplánovaném testu jsou všechna požadovaná a vyučovaná témata zastoupena proporcionálně, test je vyrovnaný. Nevznikají nežádoucí „překvapení“ vyplývající z toho, že studenti jsou testovaní z něčeho jiného, než očekávali.

Plán testu se nejčastěji vytváří jako dvourozměrná mapa či tabulka . Řádky tabulky odpovídají zpravidla obsahovým celkům, které se mají zkoušet. Sloupce odpovídají kontextu nebo aspektu dané problematiky. Do jednotlivých políček se zaznamenává plánovaný počet úloh, případně typ úloh či způsob zkoušení. Není nutné vyplnit všechna políčka tabulky, nicméně plán testu by měl být vyvážený – neměl by zůstat prázdný nebo téměř prázdný řádek ani sloupec. Pomocí takto sestavené mapy lze snadno dosáhnout toho, že počet otázek věnovaných určitému tématu odpovídá jeho významu a že se adekvátně zkoušejí všechny aspekty určitého problému.

Ukažme si příklad plánování testu z lékařské chemie. Nejprve vytvoříme tabulku, jejíž řádky budou odpovídat tématům podle sylabu předmětu a sloupce běžnému členění výkladu k těmto tématům:

Tab. 3.1 Příklad plánu testu – krok 1

	Struktura	Fyzikálně-chemické vlastnosti	Reaktivita	Medicínský význam
Přechodné prvky
Nepřechodné prvky
Anorganické sloučeniny kyslíku
Anorganické sloučeniny dusíku a síry
Alifatické uhlovodíky
Cyklické a heterocyklické sloučeniny
atd.

Nyní do jednotlivých políček doplníme počet úloh, které by se měly pro danou kombinaci řádku a sloupce objevit v testu. Snažíme se přitom, aby tyto počty odpovídaly významu látky v rámci předmětu. Není třeba vyplnit všechna políčka, v celé tabulce by ale neměly vznikat větší nevyplněné oblasti.

Tab. 3.2 Příklad plánu testu – krok 2

	Struktura	Fyzikálně-chemické vlastnosti	Reaktivita	Medicínský význam
Přechodné prvky	-	0-1 úloha	2 úlohy	1 úloha
Nepřechodné prvky	-	0-1 úloha	2 úlohy	1 úloha
Anorganické sloučeniny kyslíku	2 úlohy	1 úloha	1 úloha	-
Anorganické sloučeniny dusíku a síry	2 úlohy	1 úloha	1 úloha	0-1 úloha
Alifatické uhlovodíky	2 úlohy	1 úloha	0-1 úloha	2 úlohy
Cyklické a heterocyklické sloučeniny	2 úlohy	2 úlohy	2 úlohy	2 úlohy
atd.

Nakonec zvolíme vhodné typy testových úloh. V tomto případě bude test složený jednak z úloh, v nichž student volí jedinou nejlepší odpověď (single best answer, SBA), a jednak z úloh s krátkou tvořenou odpovědí (short answer question, SAQ) – v nich můžeme po studentovi vyžadovat např. nakreslení chemického vzorce nebo napsání chemické rovnice.

Tab. 3.3 Příklad plánu testu – krok 3

	Struktura	Fyzikálně-chemické vlastnosti	Reaktivita	Medicínský význam
Přechodné prvky	-	0-1 SBA	2 SBA	1 SAQ
Nepřechodné prvky	-	0-1 SBA	2 SBA	1 SAQ
Anorganické sloučeniny kyslíku	1 SBA 1 SAQ	1 SBA	1 SAQ	-
Anorganické sloučeniny dusíku a síry	1 SBA 1 SAQ	1 SBA	1 SAQ	0-1 SAQ
Alifatické uhlovodíky	2 SAQ	1 SBA	0-1 SAQ	2 SBA
Cyklické a heterocyklické sloučeniny	2 SAQ	2 SBA	1 SBA 1 SAQ	2 SBA
atd.

Typy otázek a jejich vytváření

Otázky s mnohočetným výběrem odpovědí (MCQ)

[ ✎ upravit vložený článek ]

Nejrozšířenější formou otázek v písemných testech jsou otázky s mnohočetným výběrem odpovědí (multiple choice questions, MCQ). Zkoušený vybírá jednu či více odpovědí z nabídnutého seznamu možností. Velkou předností těchto typů úloh je objektivita hodnocení – testy je možné bodovat i automatizovaně, získaný počet bodů nezávisí na subjektivním posouzení hodnotitelem.

Dosud bylo zkonstruováno a pojmenováno několik desítek podtypů otázek typu MCQ, ale jen několik z nich se rozšířilo. V této kapitole se proto budeme podrobněji věnovat jen zlomku popsaných podtypů formátu MCQ. Některé další typy jsou popsány v Příloze 1.

Poznamenejme, že terminologie otázek s mnohočetným výběrem odpovědí není jednotná. V této publikaci se důsledně držíme názvosloví popsaného v následujícím textu. Termín multiple choice questions, MCQ, však bývá v jiných textech často používán pro podskupinu, kterou zde vymezujeme úžeji jako multiple true/false questions, MTF.

.

Otázky s mnohočetným výběrem odpovědi typu „ano / ne“ (MTF)

[ ✎ upravit vložený článek ]

V literatuře se tyto položky dnes nejčastěji označují jako „multiple true/false“ (MTF; podle amerického National Board of Medical Examiners typ X). Jedná se o vůbec nejpoužívanější testový formát, a jak ukážeme dále, jde o formát nadužívaný. Položka začíná „kmenem“ se zadáním otázky a následuje několik možností (obvykle čtyři až šest). Testovaný má označit jednu či více správných odpovědí.

Katalyzátor

1. způsobí, že reakce probíhá jiným mechanismem
2. způsobí, že v průběhu reakce vznikají jiné meziprodukty
3. stejnou měrou urychlí dopřednou i vratnou reakci
4. zvýší rovnovážnou konstantu reakce

V praxi se setkáme s řadou variant těchto položek: liší se minimálním a maximálním počtem správných odpovědí (žádná správná až všechny správné; právě jedna správná; nejméně jedna správná) a různými způsoby bodování. Celá řada studií se věnovala otázce, jaký způsob hodnocení tohoto typu úloh dává nejlepší výsledky; víceméně můžeme konstatovat, že rozdíly nejsou nikterak přesvědčivé (např. ).

V každém případě platí, že každou položku MTF můžeme rozepsat do několika otázek s odpovědí ano/ne.

Výše uvedenou položku můžeme přepsat jako sadu čtyř samostatných tvrzení:

• Katalyzátor způsobí, že reakce probíhá jiným mechanismem ANO/NE
• Katalyzátor způsobí, že v průběhu reakce vznikají jiné meziprodukty ANO/NE
• Katalyzátor stejnou měrou urychlí dopřednou i vratnou reakci ANO/NE
• Katalyzátor zvýší rovnovážnou konstantu reakce ANO/NE

Odlišnost bývá (nikoli však nutně) v různém způsobu hodnocení: většina způsobů hodnocení MTF shrnuje odpovědi na dílčí otázky do jednoho souhrnného výsledku, což bývá přísnější, než hodnotí-li se každá z nabídnutých odpovědí samostatně. Jak jsme ale už uvedli výše, rozdíl nebývá v praxi významný.

V posledních dvaceti letech se tento typ položek dočkal značné kritiky . V zásadě se dá říci, že je poměrně obtížné sestavit větší počet těchto položek tak, aby byly jednoznačné a současně nebyly příliš snadné.

V praxi se často stává, že odpověď považovaná za „správnou“ za určitých podmínek neplatí. Odpovídá-li pak na stejnou otázku několik recenzentů, často zvolí různá řešení – podle toho, zda jako správnou označí striktně jen možnost, která platí bez výjimky vždy, nebo např. možnost, která platí ve více než 95 % případů, více než 60 % případů apod. Jinými slovy, individuálně se liší vnímání toho, s jakou pravděpodobností musí nabídnutá odpověď platit, aby byla označena jako správná. Opravdu jednoznačně zadané otázky zase mnohdy bývají pro vysokoškolské testování příliš snadné.

Cystická fibróza

1. je onemocnění s incidencí asi 1:2000
2. je letální zpravidla před dvacátým rokem věku
3. u mužů způsobuje neplodnost
4. je autozomálně recesivně dědičná

Tato otázka je problematická, neboť na možnosti 1, 2 a 3 nelze jednoznačně odpovědět ani „ano“, ani „ne“; pouze 4. možnost je jednoznačná. Pokud bychom tuto otázku předložili skupině expertů, jejich odpovědi by se lišily. Incidence cystické fibrózy není 1:2000 ve všech etnických skupinách; recenzenti by pravděpodobně požadovali doplnění otázky. Problematická je také formulace „incidence je asi 1:2000“. Podobně sporné jsou i odpovědi na 2. a 3. nabízenou možnost.

Defekt septa síní bývá u dětí spojen s

1. systolickým šelestem
2. plicní hypertenzí
3. Fallotovou tetralogií
4. cyanózou

I tato, na první pohled „nezávadná“ otázka, je sporná. Odpovědi se totiž liší podle závažnosti vady, věku pacienta a podle toho, zda onemocnění bylo či nebylo léčeno. Při tomto zadání si testovaný vytvoří určitý předpoklad a z něj při volbě odpovědí vychází. Položíme-li otázku několika zkoušeným (popřípadě expertům – recenzentům), bude každý vycházet z jiných předpokladů a odpoví jinak. Výsledek testu obsahujícího MTF tedy neodráží pouze znalost testované látky, ale i těžko odhadnutelné psychické pochody související s interpretací otázky a nabízených možností. (Upraveno podle )

Další nevýhodou MTF položek je, že často testují pouze vybavení izolovaného údaje.

	Tip: Otázky s mnohočetným výběrem odpovědi typu „ano/ne“ (MTF) přinášejí řadu těžko odhadnutelných problémů. Je-li to možné, nepoužívejte je.
	Některé instituce, jež zabezpečují zkoušení lékařů a studentů medicíny (např. americký National Board of Medical Examiners), zcela přestaly otázky tohoto typu používat . Náhradou jsou nejčastěji otázky s jedinou nejlepší odpovědí (SBA).

Tip: Otázky s mnohočetným výběrem odpovědi typu „ano/ne“ (MTF) přinášejí řadu těžko odhadnutelných problémů. Je-li to možné, nepoužívejte je.

Otázky s jedinou nejlepší odpovědí (SBA)

[ ✎ upravit vložený článek ]

Otázky s jedinou nejlepší odpovědí (single best answer, SBA; podle amerického National Board of Medical Examiners typ A) na první pohled připomínají výběrové otázky MTF s jednou správnou odpovědí – tedy formát široké veřejnosti dobře známý např. z testů pro získání řidičského průkazu. Liší se od nich zdánlivou drobností: z nabízených možností může být i několik správných; jedna možnost je ale výrazně lepší, než všechny ostatní, a testovaný má právě tuto jedinou nejlepší odpověď označit. Další důležitý rozdíl spočívá v tom, jakou hloubku znalostí testujeme. U otázek MTF se často jedná o jednoduché spojení dvou termínů (např. porfyrie – hem, viz níže uvedený příklad), zatímco u otázek SBA je k úspěchu potřeba zapojit znalostí více.

32letý muž přichází pro 4 dny trvající, postupně progredující slabost končetin. Dosud byl zdráv, před 10 dny však prodělal infekci horních cest dýchacích. Je afebrilní, arteriální tlak má 130/80 mmHg, tepovou frekvenci 94/min. Dýchání je mělké s frekvencí 42/min. V orientačním neurologickém nálezu dominuje symetrická slabost mimických svalů a svalů horních i dolních končetin. Čití je intaktní. Hluboké šlachové reflexy nelze vybavit. Zánikové jevy jsou negativní.

Která z následujících diagnóz je nejpravděpodobnější?

1. akutní diseminovaná encefalomyelitida
2. syndrom Guillain-Barré
3. myasthenia gravis
4. poliomyelitis
5. polymyositis

Povšimněte si, že žádná z navrhovaných diagnóz není v daném případě zcela vyloučena. Přesto je varianta č. 2 výrazně lepší odpovědí na otázku, než všechny ostatní. Pokud tuto otázku předložíme skupině expertů, na odpovědi 2 se všichni shodnou. (Upraveno podle )

Otázky s jedinou nejlepší odpovědí se dnes považují za jeden z nejlepších nástrojů pro písemné testování v medicíně. Ukazuje se, že jsou časově nejefektivnější ze všech používaných formátů . Vyhodnocování odpovědí je snadné a dobře automatizovatelné. Pro zpracování výsledného hodnocení testu není třeba používat žádných složitějších metod (např. vážení odpovědí, korekce na hádání odpovědí apod.).

Skutečnost, že v tomto testovém formátu nemusejí být správné odpovědi ani distraktory („nesprávné“ možnosti) platné či naopak neplatné bez výjimky ve všech případech, odpovídá reálnému životu. Otázky s jedinou nejlepší odpovědí umožňují komplexnější testování znalostí a porozumění než mnohé jiné formáty. To je jejich velká přednost ve srovnání např. s MTF, které testují spíš izolované znalosti .

Ukažme si rozdíl mezi „klasicky“ konstruovanou výběrovou otázkou s jednou správnou odpovědí (tedy v našem textu spadající do kategorie otázek MTF) a otázkou s jedinou nejlepší odpovědí (SBA): sestavíme oba typy otázek tak, aby se „ptaly na totéž“.

Příklad otázky ve formátu MTF s jednou správnou odpovědí

Akutní intermitentní porfyrie je důsledkem defektu biosyntézy

1. kolagenu
2. kortikosteroidů
3. mastných kyselin
4. glukózy
5. hemu
6. tyroxinu

Na otázku odpoví správně studenti, kteří si pamatují, že akutní intermitentní porfyrie nějak souvisí s metabolismem hemu. Tuto izolovanou znalost (tedy spojení termínů porfyrie a hem) bude mít i mnoho slabších studentů; distraktory (tj. nesprávné možnosti) jsou navíc poměrně snadno odhalitelné.

Samotná znalost izolované informace ovšem příliš nepomůže při diagnostice onemocnění v praxi. Student potřebuje mnohem více dalších znalostí a dovedností, ty však jednoduché výběrové otázky tohoto typu nemohou postihnout.

Příklad tématicky stejné otázky ve formátu s jedinou nejlepší odpovědí (SBA)

Dosud zdravý 33letý muž přichází pro epizody slabosti a silných křečovitých bolestí břicha. Obtíže se začaly objevovat asi před půl rokem. Podobné epizody se vyskytovaly i v širším příbuzenstvu (teta a bratranec). Během epizody bolestí má vzedmuté břicho, peristaltika je obleněná. V neurologickém nálezu dominuje slabost svalů obou paží.

Příčinou obtíží je pravděpodobně defekt některé biosyntetické dráhy. Které?

1. pro kortikosteroidy
2. pro mastné kyseliny
3. pro glukózu
4. pro hem
5. pro tyroxin

Povšimněme si, že otázka ve formátu SBA má stejné nabídnuté odpovědi, ale kmen otázky je nyní v podobě klinického medailónku (kazuistiky), který uvádí nejvýznamnější anamnestická data a klinické nálezy. Povšimněme si rovněž, že termín akutní intermitentní porfyrie není vůbec zmíněn. Zkoušený musí sám k této diagnóze na základě klinického medailónku dospět; současně by měl vědět, že toto onemocnění je způsobené poruchou syntézy hemu.

Otázka ve tvaru SBA vede studenta k zapojení komplexnějších schopností než jednoduché výběrové otázky, které testují pouze izolované znalosti. (Upraveno podle )

Jakkoli lze otázky s jedinou nejlepší odpovědí považovat za jeden z nejmodernějších testových formátů, nejsou v medicíně ničím novým. Americký National Board of Medical Examiners označuje tyto otázky podle pořadí jako „typ A“ a používá je od r. 1951.

Tip: Většina testů by měla být postavena převážně na otázkách s jedinou nejlepší odpovědí.

Otázky s jedinou nejlepší odpovědí (SBA) jsou nejefektivnějším a současně velmi spolehlivým formátem pro písemné testy. Jejich tvorba zabere o něco více času, než sestavení u nás rozšířenějších otázek typu MTF, to je však bohatě vyváženo jejich jednoznačností a tím i větší spolehlivostí testu. Do testu lze zařadit více otázek SBA než MTF, neboť k jejich zodpovězení je třeba méně času . Obecně lze doporučit, aby se otázky s jedinou nejlepší odpovědí (SBA) používaly namísto otázek MTF.

Tip: Většina testů by měla být postavena převážně na otázkách s jedinou nejlepší odpovědí.

 Podrobnější informace naleznete na stránce Vytváření otázek s jedinou nejlepší odpovědí.

Rozšířené přiřazovací otázky (EMQ)

[ ✎ upravit vložený článek ]

Rozšířené přiřazovací otázky (extended-matching questions, EMQ; podle amerického National Board of Medical Examiners typ R) patří k nově zaváděným testovým formátům. Společně s otázkami s jedinou nejlepší odpovědí (SBA) se dnes EMQ doporučují jako jeden z hlavních prostředků pro písemné testy. Původně se používaly pro testování klinických znalostí a dovedností, dnes však nacházejí stále větší uplatnění i v teoretických předmětech.

Kmen rozšířených přiřazovacích otázek bývá poměrně dlouhý – zpravidla jej tvoří klinický medailónek nebo scénář. Testovaný vybírá jedinou nejlepší odpověď z většího množství nabízených možností. Otázky, které se týkají stejné oblasti, zpravidla využívají jednu společnou sadu možných odpovědí.

• Okruh: Bolesti břicha – diagnostika

• Otázka: Vyberte nejpravděpodobnější diagnózu pro každý z níže uvedených případů

• Nabídnuté odpovědi:

Možnosti:
A. Aneurysma abdominální aorty         K. Nefrolitiáza
B. Appendicitis                        L. Mesenteriální lymfadenitida
C. Obstrukční ileus                    M. Trombóza mezenteriální arterie
D. Cholecystitida                      N. Ruptura ovariální cysty
E. Karcinom tlustého střeva            O. Pankreatitida
F. Zácpa                               P. Pelvic inflammatory disease
G. Divertikulitida                     Q. Peptický vřed
H. Mimoděložní těhotenství  – ruptura  R. Perforovaný peptický vřed
I. Endometrióza                        S. Pyelonefritida
J. Kýla                                T. Torze ovaria

• Kmen otázky: 25letá žena přichází pro náhle vzniklou bolest v pravém dolním břišním kvadrantu, která se postupně zhoršuje. Pociťuje nauseu, ale nezvrací. Před začátkem bolesti byla zdráva. Při vyšetření je v pravém dolním kvadrantu hmatná hluboko uložená rezistence, která je palpačně citlivá. Peristaltika je zachována. Per vaginam je vpravo hmatná tuhá rezistence o průměru asi 7 cm. Hematokrit je 32 %, počet leukocytů v periferní krvi je 18 tisíc / mm³. Aktivita amylázy v séru je v referenčních mezích, zkouška na okultní krvácení do stolice je negativní.

Odpověď:

Položka může mít více kmenů otázky (scénářů) ke stejné sadě nabídnutých odpovědí.

 Podrobnější informace naleznete na stránce Fórum:Testy/EMQ.

Otázky typu „vyber N“

[ ✎ upravit vložený článek ]

Otázky typu „vyber N odpovědí“ (anglicky pick N) jsou podobné otázkám s jedinou nejlepší odpovědí (SBA) nebo rozšířeným přiřazovacím otázkám (EMQ). Liší se v tom, že zkoušený má z nabídnutého seznamu možných odpovědí vybrat dvě až pět možností.

U 50letého muže se postupně začíná objevovat zmatenost, dezorientace a porucha krátkodobé paměti. Má parézu levé dolní končetiny. V krevním nátěru je mikrocytóza a bazofilní tečkování erytrocytů. Vyberte dvě nejpravděpodobnější příčiny:

A. Diabetická polyneuropatie          F. Roztroušená skleróza
B. Huntingtonova choroba              G. Parkinsonova choroba
C. Laterální míšní syndrom            H. Gliom pontu
D. Encefalopatie při otravě olovem    I. Tabes dorsalis
E. Meduloblastom                      J. Wernickeova encefalopatie

Pokud by v tomto případě měl zkoušený vybrat jedinou nejlepší odpověď, byla by otázka sporná: nejpravděpodobnější je diagnóza B, avšak dosti pravděpodobná je i možnost H. Další navrhované možnosti jsou výrazně horší odpovědí. Má-li zkoušený zvolit dvě možnosti, je řešení poměrně jednoznačné.

Často se tento typ používá při zkoušení volby postupu v určité situaci, kdy se např. ordinuje několik vyšetření současně, nebo se provádí několik léčebných opatření najednou či téměř najednou.

V zadání je třeba definovat očekávaný počet odpovědí. Tím se z otázky typu mnohočetného výběru ano/ne stane otázka typu výběru nejlepší odpovědi.

Úlohy s otevřenou odpovědí

[ ✎ upravit vložený článek ]

Testovaná osoba odpovídá volně psaným textem. Pro hodnocení úloh s otevřenou odpovědí je obtížné použít automatizované postupy – odpovědi zpravidla musí být čteny a bodovány vyškoleným hodnotitelem nebo zkoušejícím. Na druhou stranu tento typ úloh umožňuje komplexnější posouzení testovaných schopností.

Otázky s krátkou tvořenou odpovědí (SAQ)

[ ✎ upravit vložený článek ]

Otázky s krátkou tvořenou odpovědí (short-answer questions, SAQ) patří v praxi mezi nejpoužívanější formát úloh, ať už při písemném nebo ústním zkoušení. Používají se i v průběhu seminářů, stáží a přednášek. Tvoří je otázka, na kterou lze odpovědět jedním nebo několika málo slovy. Na otázku často existuje několik správných odpovědí.

• Jaký je poslechový nález u tohoto pacienta?

• Kterou zkouškou prokážete v moči přítomnost bílkoviny?

Variantami tohoto typu úloh je například doplnění popisků u anatomického schématu, doplnění chemické rovnice, matematický výpočet, doplnění chybějících slov v jazykovém testu a mnoho dalších.

Vlastnosti otázek s krátkou tvořenou odpovědí, pokud jde o jejich použití v testech a spolehlivost hodnocení, jsou někde mezi výběrovými otázkami a eseji (viz dále) . Hodnocení otázek s krátkou odpovědí je obtížnější než u výběrových otázek, ale spolehlivější než u eseje. Ve srovnání s výběrovými otázkami je jistou výhodou otevřenost odpovědi (testovaný nemůže odpověď uhádnout), v zásadě ale tento typ otázek testuje stejné úrovně znalostí a dovedností, jako výběrové otázky . Stejně jako u výběrových otázek zde platí, že otázky s krátkou odpovědí nejsou vhodné pro testování komplexnějších znalostí, hlubšího porozumění problému a pochopení složitějších vztahů. Pokud ovšem studenti vědí, že budou testováni otázkami s krátkou odpovědí (a nikoliv výběrovými otázkami), lépe se naučí faktografické údaje .

 Podrobnější informace naleznete na stránce Vytváření otázek s krátkou odpovědí pro písemné testy a jejich hodnocení.

Esej

[ ✎ upravit vložený článek ]

Zkoušení psaním eseje má mnoho vlastností podobných ústním zkouškám. Hodnocení výkonu je do značné míry subjektivní; písemná forma ovšem umožňuje zachovat záznam o zkoušce a v případě potřeby se k němu vrátit, popřípadě opakovat bodování jiným hodnotitelem. Zadáním je obvykle otázka nebo (častěji) soubor otázek, které mají být v eseji pojednané, případně jde o široce zadané téma. V některých případech může testovaná osoba používat určené, nebo i libovolné informační zdroje. Pro psaní eseje je vždy stanoven čas a může být vymezen i rozsah odpovědi.

 Podrobnější informace naleznete na stránce Fórum:Testy/Esej/Podrobnosti.

Modifikovaný esej (MEQ)

[ ✎ upravit vložený článek ]

Modifikovaný esej (modified assay question, MEQ) se ve světě používá např. pro zkoušení při postgraduálním vzdělávání v oblasti praktického lékařství. Pomocí tohoto typu úloh lze posoudit analytické uvažování, interpretaci nálezů a klinické rozhodování. V pregraduálním vzdělávání se naopak tento typ úloh příliš neosvědčuje.

Otázka začíná krátkým klinickým scénářem nebo charakteristikou. Následují otázky, na které uchazeč odpovídá několika větami.

38letá pacientka, povoláním učitelka na základní škole, byla přijata na všeobecné interní oddělení pro únavu a tachykardii k dalšímu vyšetření.

• Jaké jsou tři nejpravděpodobnější příčiny jejích obtíží?
• Napište pět otázek, které položíte pacientce a které vám pomohou mezi zvažovanými příčinami rozhodnout.

 Podrobnější informace naleznete na stránce Fórum:Testy/MEQ/podrobnosti.

Hlavní doporučení pro volbu typu otázek

[ ✎ upravit vložený článek ]

Každý test musí být sestaven podle potřeb konkrétního kurzu; při konstrukci je vždy vhodné použít postupy popsané v kapitole 3 věnované plánování testu. Pokud jde o volbu typu položek testu, lze vycházet z následujících doporučení:

• V kontextu vysoké školy je většinou nejvýhodnější založit test na otázkách s jedinou nejlepší odpovědí (SBA).
• Testy pro menší skupiny studentů je možné doplnit o otevřené otázky. Efektivní je především použití otázek s krátkou tvořenou odpovědí (SAQ). V testech pro malé skupiny studentů, u kterých se nepředpokládá opakované použití, může být tento typ otázek nejvýhodnější.
• Další formáty jsou vhodné jako doplněk nebo ve specifických situacích:
  • V testech orientovaných na klinické uvažování je možné použít rozšířené přiřazovací otázky (EMQ), popřípadě otázky s výběrem několika odpovědí (pick N).
  • Pro zkoušení hlubšího porozumění problematice může být výhodné použít modifikovanou esej (MEQ) nebo i eseje. Je však třeba počítat se značnými časovými i odbornými nároky na hodnocení testů.

V každém případě je třeba připomenout, že písemné testování je vhodné pro zkoušení znalostí a porozumění (viz kapitola 1 Dříve než začnete). Komplexnější dovednosti a činnosti je třeba zkoušet prakticky. Písemné testování může být vhodným předstupněm, který ověří, zda student vůbec má základní předpoklady k tomu, aby praktickou zkoušku, která je časově i organizačně náročnější, splnil.

Oponentura otázek

[ ✎ upravit vložený článek ]

Nedílnou součástí přípravy testů je oponentura. Je rozdělena do několika fází, které se vždy zaměřují na specifickou oblast. Jejím cílem je odhalení nedostatků, které zpravidla testy ve své počáteční podobě obsahují. Provedení oponentury je totožné pro všechny formy zkoušení. Stejný postup tedy lze použít při elektronických i písemných variantách testování. Motivací k provádění revize je objektivní zajištění správnosti, optimalizace testu a odstranění subjektivních vlivů. I když bývá oponentura zpočátku časově a organizačně poněkud náročnější, její přínos je nepopiratelný a roste s významem testu. Po úspěšném zvládnutí všech níže uvedených revizí (obsahová revize, revize férovosti, redakční revize) by měl finální podobu jednotlivých úloh znovu projít autorský tým a všechny provedené změny odsouhlasit. Teprve potom přichází na řadu pilotní administrace testu na malé skupině studentů.

Oponentura, podobně jako příprava kompletní testové agendy, je založena na týmové spolupráci. Několik zainteresovaných odborníků nezávisle na sobě posuzuje vhodnost jednotlivých otázek a společnými silami se snaží o odstranění všech nedostatků, které by mohly při praktické realizaci vadit. Týmová spolupráce tedy hraje při oponování databanky úloh zcela klíčovou roli. Subjektivní pohled autora dané otázky může mnohdy negativně ovlivnit formulaci zadání, případně také nabízených odpovědí, a tedy i správnost celé otázky. Konstruktivní oponentura několika vyučujících zvyšuje především objektivitu otázek a významně tak přispívá ke zkvalitnění celého testu.

Celý proces oponentury testu lze rozdělit do tří fází, kterými oponenta provede formulář pro recenzenty úloh (podrobněji rozebrán dále v textu).

Obsahová revize

Jsou odpovědi správně a přesně formulované? Nejsou distraktory diskutabilní? 

Položky testu je třeba nejprve zkontrolovat po obsahové stránce. Tuto obsahovou revizi by měli provádět nejlépe ostatní spoluautoři, popřípadě pedagogové ze stejného oboru. Musíme zdůraznit, že u každého z typů otázek (s otevřenou odpovědí a s výběrem odpovědi) se provádí obsahová revize jiným způsobem. Cílem je vždy nalezení nesprávných nebo nepřesných formulací v zadání otázek; u položek s výběrem odpovědí se obdobně hledají nepřesnosti či chyby i v jednotlivých nabízených odpovědích.

V dosud nejrozšířenějších otázkách s mnohočetným výběrem odpovědí typu MTF se často chybuje při definici nesprávných odpovědí (distraktorů). Obecně se doporučuje kontrolovat zejména

• přesnost formulace zadání/kmene otázky,
• zda jsou jednotlivé distraktory v každé otázce formulovány tak, aby za žádných okolností, v žádné interpretaci ani v žádném uvažovaném případě nemohl být distraktor správnou odpovědí (platí právě pro nejvíce používanou verzi MTF),
• zda položky v testu odpovídají plánu testu (blueprint).

Zopakujme na tomto místě ještě jednou ukázku položky s problematicky zvolenými distraktory:

Cystická fibróza

1. je onemocnění s incidencí asi 1:2000
2. je letální zpravidla před dvacátým rokem věku
3. u mužů způsobuje neplodnost
4. je autozomálně recesivně dědičná

Jde o typický příklad nejednoznačné otázky (některé z distraktorů mohou být v určitém případě považovány na správnou odpověď). Na možnosti 1, 2 a 3 nelze jednoznačně odpovědět ani „ano“, ani „ne“; pouze 4. možnost je jednoznačná. Pokud bychom tuto otázku předložili skupině expertů, jejich odpovědi by se lišily. Incidence cystické fibrózy není 1:2000 ve všech etnických skupinách; recenzenti by pravděpodobně požadovali doplnění otázky. Problematická je také formulace „incidence je asi 1:2000“. Podobně sporné jsou i nabízené odpovědi 2. a 3.

V rámci revize obsahu je velmi vhodné, aby zadání otázek a nabízené odpovědi zkontrolovali jak spoluautoři celého testu, tak nezávislí odborníci, kteří nebyli zapojeni do jejich vytváření. Subjektivní postoj autora může být příčinou nejednoznačné, tedy nesprávně utvořené testové položky, jejíž použití by snížilo hodnotu testu. Formulace alternativních odpovědí (distraktorů) je pro většinu pedagogů jedna z nejobtížnějších činností při vytváření databanky položek. Je velmi náročné vhodně definovat nesprávné odpovědi tak, aby nebyly příliš zavádějící ani přehnaně snadné. Obecně by distraktory neměly být nesmyslnými tvrzeními nebo absurdními možnostmi, které testovaný automaticky vyloučí, ale naopak by jej měly donutit k zamyšlení a následné eliminaci po logickém zdůvodnění.

U jiných typů otázek mohou vyvstat jiné typy obsahových nedostatků. Otázky s jedinou nejlepší odpovědí (SBA) musí být revidovány tak, aby existovala shoda expertů o jednoznačně nejlepší odpovědi.

Revize férovosti

Testují otázky pouze požadovanou konkrétní znalost a nic jiného?

Obr. 5.1 Rovnost podmínek (zdroj http://teacherstraining.com.au/friday-funny-standardised-testing/)

Férovost bývá často spojována s rovností podmínek při řešení testu. Jak napovídá obrázek 5.1, pouhé zajištění rovných podmínek nemusí být dostačující. Jak tedy férovost testu a jeho položek posuzovat?

Každá položka by měla testovat právě požadovanou vědomost, znalost či schopnost a nic jiného. Pokud jsou k zodpovězení otázky nutné znalosti a dovednosti, které z jakéhokoli důvodu nebyly srovnatelně dostupné všem testovaným osobám, tedy pokud všichni testovaní neměli totožnou možnost požadované znalosti či dovednosti získat, není položka férová. Taková otázka je snazší pro skupinu studentů, kteří byli nějakým způsobem zvýhodněni, a naopak obtížnější pro druhou skupinu, která byla bez vlastního zavinění znevýhodněna. Příkladem může být nadbytečné používání odborných výrazů nebo složitých větných konstrukcí, které nemusí být pro všechny srozumitelné a především pochopitelné. Ačkoli chtěl autor otázky ověřit určitou znalost, současně v tomto případě nechtěně testuje jazykovou vybavenost a přehled v odborné terminologii. V této souvislosti může být další komplikací také testování pozornosti studentů prostřednictvím "chytáků v zadání", případně používání podobných zkratek nebo pojmů.

Položka by neměla zvýhodňovat žádnou skupinu podle věku, pohlaví, původu, společenského a ekonomického postavení, víry, rasy, mateřského jazyka, atd. Studenti z různých skupin se shodnou úrovní znalosti by měli na danou otázku odpovídat správně se stejnou pravděpodobností.

V testech SAT ve Spojených státech se vyskytla otázka, v níž měli dotazovaní najít dvojici pojmů, mezi nimiž je vztah shodný jako mezi pojmy „běžec“ a „maratón“. Správná odpověď byla „veslař“ a „regata“. Při analýze testů se ukázalo, že na tuto otázku odpovídali prokazatelně hůře černí studenti (22 % správných odpovědí), než jejich bílí kolegové (53 % správných odpovědí), ačkoli v jiných otázkách tomu tak nebylo. Otázka předpokládala „samozřejmou“ znalost sportu bohatých, která však nebyla v různých etnických skupinách populace distribuována rovnoměrně.

Základní doporučení a pravidla tvorby testových položek týkající se férovosti položek jsou obsažena v manuálu ETS Guideline for Fairness Review .

Neférovost položek lze často odhalit důkladnou revizí samotného zadání. Někdy ji však neodhalí ani zkušený autor. Lze ji také rozpoznat při analýze výsledků testu, kde se k této problematice vrátíme.

Redakční revize

Jsou otázky dostatečně srozumitelné, typograficky jednotné a bez typografických chyb? 

Redakční revize se může na první pohled jevit jako nepříliš časově náročná, nicméně v praxi to může být složitější. Je nutné projít všechny testové otázky a ověřit, zda jsou dostatečně čitelné, srozumitelné a formálně i typograficky jednotné. Složitá větná souvětí, dvojité zápory a krkolomná zadání otázek je vhodné přepracovat do jednodušší formy tak, aby student nemohl ve formulaci zabloudit. Zadání otázky i samotné odpovědi by měly být konstruovány co možná nejsrozumitelněji. Jednotnost a styl vytváření testových položek se liší podle autorů. V této fázi oponentury se provádí sjednocení jak po stránce terminologické, tak po stránce typografické. Nedílnou součástí jakýchkoli textů je gramatická správnost. To platí i pro vytváření testovacích položek. Eliminace veškerých gramaticky nesprávných či sporných výrazů dle pravidel pravopisu by měla být závěrečnou fází redakční revize.

Při redakční revizi můžeme odhalit i gramaticky nebo graficky návodné formulace otázek (tzv. sugestivní zadání):

Místem narození Jana Amose Komenského byl:

1. Uherský Brod
2. Nivnice
3. Komňa
4. Brno

Formulář pro recenzenty úloh

Z praktického hlediska je výhodné vybavit recenzenty formulářem, který je oponenturou testové položky „provede“. Tím, že recenzent odpovídá na jednotlivé otázky ve formuláři, musí se testovou položkou zabývat z různých pohledů. Není třeba striktně vyžadovat, aby každá testová položka zcela vyhověla ve všech sledovaných parametrech; oponent by však případné odchylky měl v každém konkrétním případě považovat za opodstatněné (což zpravidla napíše v komentáři). Příklad formuláře pro recenzenty úloh najdete níže, v přílohách je k dispozici k tisku a k editaci .

Tab. 5.1 Recenze otázky s jedinou nejlepší odpovědí

Zadání otázky
Recenzent
	Ano ✓  nebo   Ne ✗	Poznámky
Zkouší podstatnou znalost
Odpovídá tématu dle plánu testu
Zkouší aplikaci znalostí, nikoli jen vybavení izolovaných údajů
Odpovídá požadované úrovni znalostí
Zadání je jasně formulované
Zadání neobsahuje chytáky (např. dvojí zápor)
Správná odpověď odborníka napadne, i když nezná nabízené možnosti
Distraktory jsou homogenní
Formulace možností nenapovídá správnou odpověď
Žádná možnost není nepřiměřeně obtížná
Nemá podobu „které tvrzení je správné“ nebo „všechna tvrzení jsou správná kromě“
Neobsahuje slova „vždy“, „obvykle“, „zřídka“, „nikdy“ apod.
Právě jedna z nabídnutých možností je nejlepší
Nabídnuté možnosti jsou seřazené abecedně či v jiném logickém pořadí
Možnosti mají podobnou délku a obsah
Možnosti jsou kompatibilní s otázkou

Pilotování testu

[ ✎ upravit vložený článek ]

Důvěryhodné testování výsledků výuky, zvláště pokud ovlivňuje další postup studentů, předpokládá, že vlastnosti používaného testu budeme znát ještě před jeho ostrým použitím. K odhadu vlastností testu slouží pilotní testování a pretestování. Oba pojmy se částečně překrývají; termín pilotní testování se v této práci většinou používá jako širší označení obou kroků. Pokud je třeba oba kroky rozlišit, rozumí se pojmem pilotní testování obecnější „proof of concept“ – jakási studie proveditelnosti, která na malé skupině studentů odhaluje případné chyby v konceptu a designu testu a může přinést i užitečnou subjektivní zpětnou vazbu. Termínem pretest se pak myslí formálnější a podrobnější předběžné prověření testu, které umožňuje odhadnout psychometrické vlastnosti otázek, jejich obtížnost, schopnost rozlišit mezi dobrými a slabými účastníky testu a které umožňuje získat subjektivní i objektivní zpětnou vazbu od testované skupiny. Pretestování je srovnatelné s kroky, které se provádějí při vyvozování závěrů z „ostrého“ testování. Zatímco pro samotný pilotní běh testu stačí menší skupina studentů (například 20 ) s odpovídající úrovní znalostí a motivací, jako má cílová skupina, pro pretest, sloužící k výpočtu statistických parametrů položek, je třeba skupina větší, nejméně 100 respondentů.

Vzhledem k nárokům na sestavení relevantní skupiny a mnohdy i časové náročnosti se jako pretest často používá první „ostrý“ běh samotného testování. Podněty získané z vyhodnocení předběžných testů je zapotřebí zapracovat v návrhu ostré verze testu. Zpravidla je třeba upravit některé položky. Pokud pretest prokáže významné nedostatky, může však jít i o přepracování celé koncepce testu .

Subjektivní zpětná vazba

Subjektivní zpětná vazba poskytuje velmi důležitou informaci od vybraného vzorku z cílové skupiny respondentů – typicky od vybraných studentů. Ti nám mohou svými subjektivními názory pomoci identifikovat nejasnosti, či chyby v zadání testu. Názory každého člena zvolené skupiny je nutné brát v úvahu a zvážit jejich poznámky a podněty. Skladba pilotní skupiny by měla být vyvážená, nemělo by se tedy například jednat o žáky s nadprůměrnými výsledky, nebo naopak o vyloženě slabé žáky. Prostředků pro samotnou realizaci je více. Vzhledem k efektivitě dalšího zpracování je nejrozšířenější dotazníková forma v elektronické podobě, kde je možné odpovědi snadno zpracovat a předat v přehledném formátu pracovní skupině. Níže je uveden výčet vhodných možností, jak lze subjektivní zpětnou vazbu provádět:

• dotazník
• diskusní fórum
• diskuze ve frontální výuce (v případě menšího množství studentů, při větším počtu se tato varianta stává neefektivní)
• poznámky v testu nebo tzv. přemýšlení nahlas (tzv. „think aloud“, viz ), kdy jsou studenti žádáni, aby při řešení testu komentovali nebo zaznamenávali své myšlenkové pochody

Objektivní zpětná vazba

Objektivní zpětná vazba je důležitá pro svou nepopiratelnost, která vychází z matematického zpracování výsledků testu. Závěry objektivní zpětné vazby jsou podložené a dávají jasné indicie k případné modifikaci nevyhovujících testových položek. Mezi nejznámější a nejhojněji užívané metody patří:

• zhodnocení obtížnosti testových úloh (identifikace snadných a obtížných úloh, nevyhovujících otázek, možnost uspořádání úloh podle obtížnosti)
• určení citlivosti jednotlivých úloh (analýza a korekce nebo vyřazení úloh s nevyhovující citlivostí)
• vyhodnocení kvality testu jako celku, především jeho reliability a validity

Při vyhodnocování výsledků testu pilotní skupiny musíme mít na paměti možné odlišnosti pilotní skupiny od cílové, způsobené např. odlišnou motivací obou skupin. Tyto odlišnosti je dobré předem minimalizovat, např. vhodnou „legendou“ provázející pilotní test.

Standardizace a normování testu

[ ✎ upravit vložený článek ]

Standardizace testu znamená zajištění rovnosti podmínek testovaných, porovnatelnosti jejich výsledků navzájem a porovnatelnosti výsledků z různých běhů testu tak, aby zkoušení bylo spravedlivé, objektivní a reprodukovatelné. Standardizované testy nabízejí všem respondentům stejný test za stejných (nebo přiměřeně rovných) podmínek, a jsou proto vnímány jako spravedlivější než jiná hodnocení, která používají nesrovnatelné otázky a podmínky pro studenty skládající zkoušky v různých termínech nebo u různých examinátorů.

Přínosy standardizace

Jednou z hlavních předností standardizovaného testování je, že výsledky mohou být objektivně dokumentovány a mají dostatečný stupeň spolehlivosti (reliability) a správnosti (validity). Výsledky standardizovaného testování jsou zobecnitelné a opakovatelné, což je odlišuje od školního hodnocení, které je závislé na jednotlivém učiteli. Bez standardizovaného testování by bylo obtížné objektivizovat rozdíly ve vzdělávání jednotlivých škol či učitelů.

Dobře navržený standardizovaný test poskytuje nejen informaci o znalostech jednotlivce, ale při agregaci výsledků celých testovaných skupin může poskytovat další užitečné informace – např. možnost poměrně přesně porovnat výsledky různých tříd, škol nebo jiných skupin v časové ose.

Rizika standardizace

Podle některých autorů „standardizované testy nemohou měřit iniciativu, tvořivost, představivost, koncepční myšlení, zvědavost, úsilí, ironii, úsudek, angažovanost, dobrou vůli, etické reflexe a celou řadu dalších hodnotných dispozic a atributů. To, co mohou měřit, jsou konkrétní dovednosti a znalosti, tedy nejméně zajímavé a nejméně významné aspekty učení“ . Kritici standardizovaných testů poukazují na uniformitu takového vzdělávacího modelu a produkování absolventů „jako na montážní lince“ . Další námitkou je, že nadužívání a zneužívání standardizovaných testů poškozuje výuku, neboť zužuje osnovy. Použití standardizovaného testování bez ohledu na cíle výuky totiž způsobuje, že co není testováno, se neučí; způsob zkoušení se pak stává vzorem toho, jak předmět učit. Do jaké míry jsou tyto výhrady relevantní pro testování v rámci studia na lékařských fakultách, je ovšem zatím nezodpovězená otázka. Příznivci standardizovaného testování reagují, že nejde o kritiku standardizovaného testování jako takového, ale o kritiku špatně navržených testů.

Rozsah standardizace

Standardizace může být chápána v několika různě širokých pojetích :

1. Základní standardizace se týká rovnosti podmínek, podoby materiálů a procedur testování (tzv. standardizace I). Takto byla chápána např. standardizace podmínek literátských zkoušek ve staré Číně.
2. Standardizace v širším pojetí se zabývá nastavením mezí pro úspěšné absolvování testu. Výkon testovaného je porovnáván s výkony populace, pro kterou je test určen , nebo s absolutními kritérii, požadavky na minimum znalostí, které si má absolvent kurzu odnést (tzv. standardizace II).
3. V nejširším pojetí lze standardizaci chápat jako naplnění všech standardů testování, tedy kromě výše zmíněných také zajištění vysoké validity a reliability testu, jak o tom pojednává kapitola 8 Analýza výsledků a hodnocení kvality testu (tzv. standardizace III).

Standardizace jako zajištění rovnosti podmínek

Následující medailónek ukazuje, že první typ standardizace (ve smyslu vymezení rovných podmínek) má starověké kořeny.

Historický medailonek – standardizované testování ve staré Číně

Obr. 7.1 Imperiální zkoušky v Číně na soudobé ilustraci (11. století)

První historické důkazy o standardizovaném testování nacházíme ve starověké Číně. Hannibalův současník Čchin S'-chuang, který vládl malému, zaostalému státu Čchin, dobyl a podmanil si všechna okolní království. Jeho následníci z dynastie Chan, aby udrželi dobytá území pod kontrolou, zrušili v prvním století př. n. l. výsadní postavení aristokracie a státní správu svěřili centralizovanému byrokratickému aparátu, do nějž bylo třeba vybírat kompetentní a loajální úředníky. Uchazeči o státní službu skládali přísné písemné císařské, nebo též literátské zkoušky. Tento systém výběru úředníků byl pak používán 2000 let. Za panování dynastie Suei (581–618) byl systém císařských zkoušek definitivně zformalizován a standardizován a přijat jako jediná metoda výběru kandidátů. Testování bylo písemné, anonymizované a velmi důkladně chráněné.

Prevence proti nedovoleným pomůckám

Hned u vchodu do střeženého areálu čekala kandidáty důkladná zdvojená osobní prohlídka. Prohlídku vykonávali čtyři vojáci současně. Pokud při druhé prohlídce bylo nalezeno něco podezřelého, byli potrestáni i vojáci, kteří prováděli první prohlídku. Nebyly povoleny žádné osobní předměty vyjma psacích pomůcek. Dohlížitelé dostávali za odhalení nelegálních pomůcek odměnu tří uncí stříbra a podvádějící kandidáti byli vylučováni. Nicméně tendence podvádět byla vzhledem k významu zkoušek silná a bohatí kandidáti si například opatřovali miniaturní přepisy klasiků na součástech oděvu.

Prevence nedovolené pomoci

Po celou dobu zkoušek byli kandidáti uzavřeni v pečlivě hlídaném areálu. Testový arch byl úředně orazítkovaný a kandidáti byli trvale pod dozorem. Aby se snížila možnost opisování, obcházel po první hodině jeden z dohlížitelů kandidáty a časovým razítkem vyznačil, kam do té doby dopsali. Pokud byl tento kontrolovaný úsek příliš krátký, nahlíželo se na test jako na podezřelý, a to i kdyby byl později celý vyplněn. Práce byly rovněž porovnávány navzájem a hledala se nápadná podobnost. Identita uchazečů byla ověřována osobním svědectvím garanta, který zkoušeného znal, a mohla být ověřována i dodatečným porovnáváním písma, pokud vznikla pochybnost. Zkoušený nesměl opustit svoji celu více než jednou, nesměl nechat spadnout svoje papíry na zem, nesměl mluvit, dívat se na ostatní. Testový list měl pro případ drobnějších přestupků prostor na tři „kárná“ razítka. Pokud kandidát tento počet vyčerpal, byl ze zkoušek vyloučen.

Prevence zvýhodnění examinátorem

Neméně důkladná byla opatření proti protěžování hodnotitelem. Nejen, že byly testy pro hodnocení anonymizovány, ale byly dokonce celé přepisovány, aby nemohly být identifikovány podle rukopisu. Opisovači neměli k dispozici barvu inkoustu, kterou používali studenti, aby nemohli do původních prací zasahovat, a tak dále . Z výčtu tehdejších bezpečnostních opatření lze čerpat inspiraci ještě dnes.

Za dynastie Song (960–1279) dosáhl zkouškový systém jako způsob výběru státních úředníků svého vrcholu. Systém byl zrušen až při vlně reforem v roce 1905. ,

Standardizované testování se dostává do Evropy počátkem 19. století prostřednictvím bývalých koloniálních správců, mezi kterými proslul Thomas Taylor Meadows svým (celkem trefným) varováním, že britské impérium přijde o všechny kolonie, pokud nebudou koloniální úředníci vybíráni v nestranné soutěži a nezávisle na původu.

Tradiční západní pedagogika, která vycházela spíše z klasických řeckých kořenů, používala pro posouzení studentů hlavně nestandardizované hodnocení ve formě psaných esejů. K hromadnému nasazení standardizovaného testování došlo v rámci Britského impéria nejdříve v koloniální Indii, kde byli touto cestou vybíráni zaměstnanci, aby se zabránilo korupci a protekci. Na konci 19. století bylo standardizované testování jako metoda přijato i v kontinentální Británii a později i v dalších západních zemích.

Pro podporu reprodukovatelnosti podmínek a postupů testování, skórování a interpretace testových výsledků existuje několik pomůcek a nástrojů

• K zajištění reprodukovatelnosti testů realizovaných více pedagogy, na více školách, či v delším časovém období bývá testovým týmem vytvářen metodický materiál pro hodnotitele (označuje se např. jako pokyny pro hodnotitele, příručka k testu, pokyny pro zkušební komisi, metodické pokyny pro hodnotitele, pokyny pro organizaci zkoušky apod. , , , ). Dává pedagogovi přesný návod na přípravu, provedení a vyhodnocení testu, aby byla zajištěna reprodukovatelnost výsledků.
• V případě testů důležitých pro další rozhodování o studiu nebo profesním uplatnění může tým připravující test vydat příručku obsahující instrukce a zadání pro studenty, nazývanou odborně testový sešit. Příkladem může být příručka pro přípravu studentů na písemnou práci z českého jazyka v rámci státních maturit .

Klasifikace studentů

[ ✎ upravit vložený článek ]

Klasifikace, čili oznámkování výkonu studentů v testu, je pokračováním či rozšířením standardizace testu. Konstrukce klasifikační stupnice, respektive nastavení relace mezi výkonem v testu a klasifikačním stupněm, je jediný subjektivní prvek, který do celého testování vstupuje. Je mu tedy třeba věnovat náležitou pozornost .

Pro nastavení relace mezi výkonem v testu a klasifikačními stupni je nutno si ujasnit, co je vlastně v daném případě smyslem vysokoškolského vzdělávání.

První z možných pohledů nahlíží na vysokoškolské medicínské vzdělávání jako na šestiletý test inteligence, který třídí jednotlivce podle intelektuálních schopností a pracovních návyků. Tento přístup odráží zájem potenciálních zaměstnavatelů vybrat nejvhodnější kandidáty na omezený počet míst a pomáhá zajistit, aby na klíčová místa byli vybráni intelektuálně nejschopnější. Při studiu staví tento přístup studenty proti sobě, nechává je mezi sebou soutěžit.

Druhý pohled je velmi odlišný. Předpokládá, že smyslem vzdělávání je osvítit, posilovat a socializovat občany. Pedagog by se podle tohoto pohledu neměl tolik soustředit na rozřazování studentů podle schopností, ale pomoci jim najít správnou představu o světě a sobě samotných s cílem vybavit je znalostmi, intelektuálními nástroji a návyky, které z nich učiní informované a kulturně gramotné členy společnosti.

Tyto dva pohledy na vzdělávání mají své paralely ve dvou hlavních přístupech ke klasifikaci.

Klasifikace porovnávající výkonnost ve skupině (relativní klasifikace)

Prvním přístupem je klasifikace založená na relativním výkonu ve skupině. Stanovuje známku jako funkci pořadí studenta v rámci určité skupiny. Pomocí testu vytvoříme pořadí studentů a těm rozdělíme klasifikační stupně podle předem stanovených procentuálních mezí. Relativní klasifikace je založena na předpokladu, že výkonnost všech studijních skupin (napříč prostorem a časem) je v zásadě stejná. Z pohledu studenta obsahuje tento způsob klasifikace zjevnou nespravedlivost, protože hodnocení nezávisí jen na výkonu studenta, ale i na výkonech ostatních. Je tedy možné, že se stejnou mírou znalostí by student byl v jednom roce klasifikován lépe než v roce jiném.

Chceme-li použít hodnocení založené na relativní standardizaci, je třeba učinit dvě rozhodnutí. Nejprve je třeba stanovit, jaký klasifikační stupeň přiřadíme k průměrnému výkonu. Pro často používaný pětistupňový klasifikační systém A, B, C, D, F (1, 2, 3, 4, 5) můžeme intuitivně zvolit C jako klasifikaci odpovídající průměrnému výkonu; není to však jediná možnost.

Dále je nutné rozhodnout o hranicích oddělujících jednotlivé klasifikační stupně. Narazíme při tom na otázky typu „kde je hranice mezi mírně a silně nadprůměrným?“ Rozhodnutí je na zkušenosti a úsudku. Pomoci však mohou obecně platná doporučení.

Pro stanovení konkrétních známek se používá např. z-skór nebo percentilové pořadí podobným způsobem, jako je popsáno v kapitole Relativní standardizace testu. Při čtyřstupňové klasifikační stupnici pak hranicím mezi jednotlivými klasifikačními stupni odpovídají např. z-skóry –2, 0, 2, jak je naznačeno na obrázku 7.7:

Obr. 7.7 Příklad klasifikace výsledku studenta v testu při použití relativní standardizace.
Skupina se rozdělí podle dosaženého výsledku a oznámkuje podle příslušné klasifikační stupnice – v tomto případě čtyřstupňové.

Klasifikace založená na kritériích (absolutní klasifikace)

Naproti tomu klasifikace založená na kritériích měří úspěšnost studenta ve vztahu ke kritériím vyžadovaným pro dosažení toho kterého klasifikačního stupně. Na rozdíl od normativní klasifikace není předem stanoveno rozdělení klasifikačních stupňů a studentovo oznámkování není ovlivněno výkonností ostatních. Pokud bychom teoreticky zkoušeli výrazně nadprůměrnou skupinu studentů, mohou všichni dostat dobré známky, a naopak, pokud by se náhodou sešla velmi slabá skupina studentů, nemusí dobré známky dostat nikdo.

Cílem klasifikace založené na kritériích je zhodnotit objektivní výsledky studenta nezávisle na výsledcích ostatních studentů .

• Hodnocení studentů podle relativní standardizace nám umožňuje zjistit, kteří studenti se naučili nejvíce, ale nezjistíme, jestli se studenti ve skutečnosti naučili dost.
• Naopak při hodnocení podle absolutní standardizace zjistíme, zda-li se studenti naučili dost, ale nemusíme být schopni určit, kteří studenti se naučili nejvíce .

Obě metody jsou ve skutečnosti do jisté míry provázané, protože při relativní klasifikaci jsou implicitně zahrnuta i absolutní kritéria, která měli na mysli pedagogové připravující test.

Nejjednodušším způsobem klasifikace je stanovit, kolik procent z celkového počtu bodů je třeba k dosažení určité klasifikace. Například pro známku A požadovat 90 % a více, pro B 80–90 % a tak dále. Problém tohoto přístupu je v arbitrárním nastavení hranic jednotlivých klasifikačních stupňů. Proto je vhodné u důležitějších zkoušek nastavit hranice pomocí expertního odhadu, například podle Angoffovy nebo Ebelovy metody.

Někdy je na závadu, že klasifikace neodráží různorodou obtížnost otázek. Studenti pak mohou dosáhnout vysokého počtu bodů i tím, že správně odpoví na mnoho snadných, méně důležitých otázek.

Propracovanější forma absolutní klasifikace proto rozlišuje mezi různými typy či úrovněmi znalostí a dovedností, které student prokazuje na různých úkolech. Větší důraz se klade na ty z nich, které odrážejí vyšší úrovně osvojení látky. Tento přístup bere v úvahu jak množství látky, tak úroveň její kognitivní komplexity. Můžeme například vzdělávací cíle svého kurzu rozdělit do dvou skupin: na základní a pokročilé. Základní cíle se týkají minimálních nezbytných znalostí a dovedností, které si studenti musí osvojit. Pokročilé cíle naproti tomu představují vyšší úrovně dovedností, jako použití kritického myšlení, řešení komplexních problémů a podobně.

Pro zjištění, nakolik se podařilo dosáhnout základních a pokročilých výukových cílů, může být přinejmenším pro začátek jednodušší použít dva zcela oddělené testy. Zjednoduší se tím vyhodnocení zkoušky a uchovávání záznamů o ní. Při oddělení testů je snazší se zaměřit na jednotlivé cíle výuky a zpracovat pro ně testové otázky. Pro posouzení základních cílů výuky to bývá poměrně snadné. Posuzování, nakolik se podařilo dosáhnout pokročilých cílů výuky, bývá obvykle obtížnější, neboť je těžší vymyslet testové otázky postihující i schopnost nabyté vědomosti aplikovat.

Pro absolvování obou druhů testu lze nastavit odlišné požadavky na výkon studentů, jak je naznačeno v tabulce 7.8.

Tab. 7.8 Příklad možného nastavení absolutní standardizace pro klasifikaci základního a pokročilého testu v pětibodové klasifikační stupnici.

Klasifikační stupeň	Základní test	Pokročilý test
A	90 % nebo více	85 % nebo více
B	90 % nebo více	75–84 %
C	80 % nebo více	60–74 %
D	80 % nebo více	50–59 %
F	méně než 80 %	méně než 50 %

V uvedeném příkladu požadujeme, aby studenti prokázali zvládnutí alespoň 80 % základních vzdělávacích cílů a 50 % pokročilých cílů. Pokud požadujeme, aby nastavení hranic úspěšnosti bylo objektivnější, můžeme použít některou z metod expertního odhadu popsaných výše.

Klasifikace v praxi

V kapitole, která se věnuje praktické klasifikaci (známkování) studentských výsledků v testu, se omezíme na diskuzi o testech s uzavřenými položkami s výběrem odpovědi (multiple choice). Klasifikace dalších typů testových položek je diskutována v odborné literatuře (např. nebo ).

Většina zahraničních univerzit má vypracovaná standardní klasifikační schémata, která pak umožňují srovnávání výsledků jednotlivých studentů uvnitř i mezi obory. Výsledek daného testu či celého souboru písemných i jiných hodnocení je tedy přepočítán na standardní škálu, podle níž jsou potom rozděleny známky.

Jako příklad můžeme vzít klasifikační schémata Univerzity v Edinburgu. Pro pregraduální lékařské obory je relevantní schéma CMS3 (CMS3:Bachelor of Medicine and Bachelor of Surgery) :

Tab. 7.9 CMS3 schéma

Počet bodů	Známka	Popis
90–100	A	Výborně
80–89	B	Velmi dobře
70–79	C	Dobře
60–69	D	Uspokojivě (Pass)

Přepočítávání pak funguje následovně: tvůrci testu pomocí jedné ze standardizačních metod stanoví minimální hranici pro úspěch v daném testu (tzv. pass mark) například na 80 % z maximálního možného počtu bodů. Jelikož známka D (pass) v CMS3 odpovídá 60–69 bodům bude pro účely známkování 80 % z maximálního možného počtu bodů odpovídat hodnocení 60 bodů. Pro známku A bude třeba v testu dosáhnout 95–100 % (tedy 90–100 bodů) z maximálního možného počtu bodů, pro B 90–94 %, pro C 85–89 % a pro D 80–84 %. Jinými slovy, nejprve určíme, kteří studenti v testu uspějí, a pak je mechanicky rozdělíme do jednotlivých klasifikačních stupňů. Přepočet lze matematicky vyjádřit následovně: $Z=60+{\frac {40}{100-P}}\cdot (p-P)$, kde $Z$ je výsledný počet bodů (z kterého dle CMS3 schématu určíme známku), $P$ je minimální procento nutné k úspěšnému absolvování daného testu (pass mark) a $p$ jsou procenta dosažená daným studentem.

Analýza výsledků a hodnocení kvality testu

[ ✎ upravit vložený článek ]

Dopady výsledků testování mohou mít v praxi zásadní důsledky – např. rozhodnutí o přijetí, rozhodnutí o udělení atestace nebo o udělení titulu. Použijeme-li nevhodné testy, závěry učiněné z jejich výsledků mohou být zavádějící. Kvalita použitých testů a jejich položek je proto zásadní a je důležité ji pravidelně kontrolovat.

Jaké vlastnosti by měl mít kvalitní znalostní test? V první řadě by měl měřit znalost, kterou měřit chceme. Dále by měl měřit co nejpřesněji a výsledky by měly být reprodukovatelné, zadáme-li studentovi jinou verzi téhož testu. Testy a jednotlivé položky by měly být spravedlivé a neměly by zvýhodňovat některé skupiny. Jednotlivé položky by měly mít vhodnou obtížnost a měly by mít schopnost dobře rozlišovat mezi různými úrovněmi znalostí studentů. Jak ověřit, zda náš test všechny tyto vlastnosti splňuje? Mnohé nám napoví analýza výsledků testu.

Jak analýzu výsledků provést? Prvním krokem analýzy výsledků by měl být souhrnný popis a vhodné grafické vyobrazení celkových výsledků všech studentů. Taková sumarizace se často vyžaduje při vykazování výsledků nebo pro sledování vývoje výsledků u stejného testu v průběhu let. Ukážeme si ale, že může být také prvním nástrojem k identifikaci problémů testu, např. při nežádoucím prozrazení („vynesení“) části úloh.

V dalším kroku je důležité prozkoumat vlastnosti testu jako celku, především jeho reliabilitu neboli spolehlivost, a jeho validitu, tedy zda měří znalost, kterou měřit chceme. Ke kvalitě celého testu přispívají jednotlivé položky (otázky v testu), je proto potřeba sledovat také vlastnosti jednotlivých položek a nabízených distraktorů. Tato položková analýza v sobě zahrnuje odhady obtížnosti a citlivosti jednotlivých položek. Je důležitá také pro tvorbu dvou nebo více srovnatelných verzí testu.

V následujícím textu se převážně budeme věnovat klasickým odhadům vlastností testu a jeho položek. Klasické odhady mají však svá omezení. V první řadě tyto odhady závisí na úrovni znalosti testované populace. To je na závadu, používáme-li položky nebo celé testy pro skupiny studentů, které se od sebe výrazněji liší (např. v případě sdílení položkových bank). Nemůžeme pak nekriticky převzít popis určité položky, který například říká, že jde o položku snadnou – pokud test aplikujeme na jiné skupině studentů, kteří se třeba vzdělávají jiným systémem, může pro ně tatáž položka být naopak velmi obtížná. V případě vyššího počtu testovaných studentů je tak vhodné použít k odhadům vlastností položek a úrovní znalostí studentů složitějších odhadů, tzv. teorie odpovědi na položku (item response theory, IRT). IRT umožní modelovat vlastnosti položky a celého testu pro různé úrovně znalosti studentů.

Nepředpokládáme, že by čtenář měl umět sám provést všechny níže uvedené analýzy. Záměrně uvádíme i složitější analýzy a rozebíráme výhody, aby čtenář získal představu o různých možnostech ověřování kvality testů. Cílem je, aby čtenář byl o metodách informován a věděl, co lze zjistit pomocí dostupného softwaru, nebo ve spolupráci se specialistou – statistikem.

Tip: Jak na to?

Obecně platí, že popis výsledků nebo klasickou položkovou analýzu lze poměrně snadno provést svépomocí v tabulkovém procesoru jako je např. MS Excel. Na složitější analýzy, např. odhady validity pomocí regresních modelů, ale také na IRT odhady vlastností položek je již zapotřebí statistického softwaru. K dispozici je celá škála programů a většinou je potřeba zakoupit jejich licenci (SPSS, Statistica, SAS, NCSS, Splus a mnoho jiných). Z volně šiřitelných zmiňme alespoň prostředí R. Ze softwarů specializujících se na znalostní testy pak lze uvést např. software ITEMAN . Analýzu výsledků je také možné automatizovat. V případě počítačového testování je dobré vyžadovat co nejkvalitnější analýzu vlastností testu a jednotlivých položek po softwaru použitém k testování.

Tip: Jak na to?

Popis a grafické zobrazení výsledků

Prvním krokem analýzy by vždy měl být popis výsledků dosažených v testu pomocí souhrnných statistik a vhodného grafické vyobrazení. Souhrnný pohled na výsledky nám dá první představu o vlastnostech testu, může ale také upozornit na jeho problémy. Patrně každého zkoušejícího zajímá, jaký byl nejlepší dosažený výsledek a zda někdo dosáhl maximálního počtu bodů. Jaký je nejhorší výsledek? A pokud má několik studentů test zcela nesprávně, čím je to způsobeno, nenastala jen někde procesní chyba v hodnocení (například obodování testu podle šablony pro jinou variantu)? Celkovou obtížnost testu můžeme dále popsat průměrným počtem bodů. Seřadíme-li výsledky vzestupně, obtížnost můžeme popsat také prostřední hodnotou (tzv. mediánem). Zadáváme-li stejný test opakovaně, je dobré sledovat, jak se průměrný výsledek vyvíjí v letech. Můžeme tak například odhalit, že kvalita studentů se rok od roku snižuje. Nebo naopak, že si vedou studenti rok od roku lépe. Ve druhém případě je ale na místě otázka, zda je to lepšími znalostmi studentů, nebo tím, že test je již prozrazený (vynesený).

Směrodatná odchylka vypovídá o rozptýlenosti výsledků. Jak již víme, přibližně 95 % výsledků bude ležet ± 2 směrodatné odchylky od průměru (viz také kapitola z-skór studenta). To ovšem pouze v případě, že se výsledky řídí normálním (neboli tzv. Gaussovým) rozdělením – což by obecně měly, ale je potřeba to také ověřit.

Tabulka popisných statistik pro celkové výsledky může vypadat např. takto:

Tab. 8.1 Tabulka popisných statistik

minimální možný počet bodů	0
maximální možný počet bodů	100
dosažené minimum	27
dosažené maximum	99
průměr	68,8
medián	68,0
směrodatná odchylka	15,3

Pokud se průměr od mediánu výrazněji liší, může to indikovat nesymetrii výsledků, potažmo nenormalitu dat. Šikmost rozdělení může souviset s celkovou přílišnou jednoduchostí či obtížností testu. Je-li test například příliš snadný a větší množství výsledků se pohybuje u maximálního možného počtu bodů (víc bodů získat nelze), delší „chvost“ je nalevo.

Pro celkový výsledek studenta v testu se odborně používá termín hrubý skór. Většinou je hrubý skór počítán jako součet bodů za jednotlivé položky; někdy však může být počítán složitěji.

Graficky lze rozdělení hrubých skórů ve skupině testovaných studentů posoudit pomocí histogramu, který jsme zahlédli již v předchozích částech textu. Histogram je sloupcový graf, v němž výška sloupců vyjadřuje četnost sledované veličiny v daném intervalu. Lze jej chápat jako odhad hustoty rozdělení vědomostí v populaci. V běžném případě očekáváme, že se rozdělení znalostí řídí normálním rozdělením. Pro posouzení, zda tomu tak skutečně je, lze histogram proložit křivkou normálního rozdělení (přičemž střední hodnotu a rozptyl odhadujeme z dat), viz obr. 8.1.

Obr. 8.1 Histogram celkových skóre u studentů a jím proložená křivka normálního rozdělení

Histogram nemusí odpovídat křivce normálního rozdělení, máme-li malý počet studentů (viz obr. 8.2a). Máme-li studentů dostatek, histogram by křivce normálního rozdělení odpovídat měl. V opačném případě je to upozorněním na možné problémy: Naznačuje-li graf nějaké neobvyklé výsledky, tzv. odlehlé hodnoty (viz obr. 8.2b, např. několik málo jedinců má počet bodů mnohem nižší nebo mnohem vyšší než ostatní), je potřeba se zamyslet nad jejich příčinami. Nebyl v těchto případech test obodován podle špatné šablony? Alarmující je také dvouvrcholový histogram (viz obr. 8.2c). Naznačuje, že námi testovaní studenti jsou ve skutečnosti směsí dvou nebo více různých skupin s různými vlastnostmi a patrně také s různými podmínkami pro úspěch v testu. Důvodem mohou být různí vyučující, různí cvičící, ale také např. vynesení testu. Takové skutečnosti je pak potřeba brát v potaz i v dalších níže uvedených analýzách (a např. pro případ dvou nebo více skupin je potřeba buď výsledky skupin analyzovat samostatně, nebo použít složitějších modelů).

• Příklady histogramů pro podezřelá rozdělení celkových skóre
• 

  Obr. 8.2a Histogram v případě malého počtu studentů

• 

  Obr. 8.2b Histogram v případě odlehlých hodnot

• 

  Obr. 8.2c Histogram v případě dvou skupin s různými vlastnostmi

Reliabilita a validita testu

[ ✎ upravit vložený článek ]

Dobrý didaktický test by měl měřit co nejpřesněji a měl by měřit to, co chceme, aby měřil. Tyto vlastnosti jsou popsány konceptem reliability a validity.

Reliabilita neboli spolehlivost vypovídá o tom, nakolik je výsledek testu ovlivněn náhodnou chybou – třeba tím, že student na část otázek nezná odpověď a pouze „tipuje“. Jinými slovy, reliabilita říká, do jaké míry by se shodla dvě nezávislá testování téhož studenta.

Validita neboli správnost popisuje, do jaké míry test měří tu vlastnost (znalost), kterou chceme, aby ve skutečnosti měřil. Ptáme se tedy, zda test skutečně zkouší učivo konkrétního předmětu, a ne něco úplně jiného: například znalosti získané jinde, schopnost porozumět složitě formulovaným větným konstruktům nebo schopnost odhadnout, co měl na mysli autor testu složeného z mnoha nejednoznačných otázek.

Reliabilita je nutným předpokladem validity, z reliability ale validita přímo neplyne. Tyto dva koncepty a vztah mezi nimi lze dobře ilustrovat na příkladu střílení na terč.

Ilustrace pojmů reliability a validity na příkladu střílení na terč

• 

  Obr. 8.3a Nízká reliabilita, tudíž nízká validita

• 

  Obr. 8.3b Vysoká reliabilita a nízká validita

• 

  Obr. 8.3c Vysoká reliabilita i validita

Reliabilita vypovídá o tom, nakolik jsou střely rozptýlené. Validita pak vypovídá o tom, jak často střely trefují cíl. Padají-li výstřely příliš daleko od sebe, spolehlivost (reliabilita) střelce je malá. Nelze pak mluvit ani o validitě, jsou-li totiž výstřely příliš rozptýlené, cíl trefí málokdy.

Dopadají-li střely blízko sebe, lze mluvit o vysoké spolehlivosti střelce (podobně didaktický test vnímáme jako spolehlivý, pokud bychom při nezávislých administracích daného testu opakovaně naměřili u stejného studenta stejné hodnoty). To nám však ještě nezaručuje, že střelec trefuje správně cíl, může totiž spolehlivě trefovat zcela jiné místo (stejně jako didaktický test může zcela přesně měřit jinou vlastnost, než kterou chceme měřit).

Spolehlivost je tedy nutným předpokladem validity, není ale předpokladem jediným. Přesný střelec musí spolehlivě trefovat střed terče. Právě tak validní didaktický test musí spolehlivě měřit tu znalost, kterou chceme, aby měřil.

Odhady validity testu

[ ✎ upravit vložený článek ]

Měří test to, co chceme, aby měřil? Snad nejdůležitější vlastností testu je, aby měřil skutečně tu znalost nebo dovednost, kterou měřit chceme. Pokud test měří něco jiného, mohou být jeho výsledky zcela nesprávně interpretovány. Míru, do jaké test měří skutečně to, co má, nazýváme validita. Přístupů, jak měřit validitu, je celá řada. Tyto přístupy se vzájemně doplňují a tvoří tak různé zdroje důkazů o validitě (podrobněji viz ). Jednodušeji pak osvětluje různé druhy validity kniha . Zde pojednáme jen některé z nich.

Validita obsahová

Obsahová validita hodnotí vztah mezi obsahem testu a oborem, jehož znalost má měřit. Zkušený pedagog by měl posoudit, nakolik otázky obsažené v testu pokrývají zkoušenou látku, nakolik reprezentativní je zastoupení otázek z jednotlivých okruhů, zda všechny otázky spadají do zkoušené látky a nezkoušejí spíše nějakou jinou schopnost, vlastnost nebo znalost. Posouzení obsahové validity je zčásti zpětným pohledem na plán testu a zhodnocením jeho kvality, ale také posouzením, zda byl plán testu skutečně dodržen.

Validita kriteriální

Na prokázání skutečnosti, že daný test skutečně měří znalost, kterou měřit chceme, samotná obsahová validita nepostačí. Ta může prokázat pouze skutečnost, že byla vyvinuta snaha pokrýt obsah daného kurikula. Pro doložení validity testu je obecně nutné ještě nějaké další kritérium měřeného atributu, nezávislé na našem didaktickém testu. Validita, které se v tomto kontextu říká validita kriteriální, se pak odhaduje zkoumáním vztahu výsledku testu k danému nezávislému kritériu. Jak lze tušit, často největším problémem prokazování kriteriální validity je právě nalezení vhodného kritéria.

• Máme-li k dispozici jiný, již ověřený test, můžeme zjišťovat závislost mezi naším testem a zmíněným ověřeným testem. Tomuto druhu kriteriální validity se pak říká validita souběžná (concurrent validity). V praxi se odhaduje tak, že skupině studentů zadáme jak nový test, tak test ověřený (dosud používaný) a měříme závislost mezi dvěma celkovými skóre např. pomocí korelačního koeficientu.
• Představu o tom, do jaké míry náš test předpovídá budoucí hodnoty nějakého kritéria, nám dává další typ kriteriální validity, tzv. validita predikční. Predikční validita je klíčovým parametrem všech přijímacích testů. Účelem přijímacích testů je vybrat studenty s nejlepšími dispozicemi pro budoucí studium. Je proto na místě zkoumat, zda používané testy skutečně predikují úspěšnost ve studiu. V praxi to znamená, že se zjišťuje korelace výsledků přijímacích zkoušek s úspěšností studia, nebo že se z dat odhaduje regresní model, kterým lze úspěšnost ve studiu předpovídat.
• Dále nás může zajímat, zdali daný test přináší novou informaci nad tu, kterou získáme jiným prováděným testem, tedy jaká je jeho validita inkrementální neboli přírůstková. V případě zmíněných přijímacích testů nás může například zajímat, zda přijímací testy přidávají novou informaci o budoucím studiu uchazeče nad tu, kterou nám poskytne jeho středoškolský prospěch. Např. studie na základě dat studentů přijatých na 1. LF UK ukázala, že středoškolský prospěch vysvětlí zhruba 15 % variability úspěšnosti ve studiu. Výsledek z přijímací zkoušky zvýší procento vysvětlené variability úspěšnosti na 22 %, přidání informace o úspěšně absolvovaných profilových předmětech na střední škole na 25 % a informace o roku maturity (v roce přijetí nebo dříve) dokonce na 30 %. Všechny zmíněné efekty byly v modelu signifikantní (tedy statisticky průkazné), prokázala se tak jejich přírůstková validita.

Statistické metody použité k odhadu kriteriální validity testu závisí především na typu proměnné, která vystupuje jako kritérium. Lze-li tuto proměnnou chápat jako spojitou (např. počet bodů v jiném testu, nebo úspěšnost měřená průměrným prospěchem v prvním roce vysokoškolského studia), můžeme k odhadu použít Pearsonův nebo jiný korelační koeficient. Obecněji lze závislost na kritériu uchopit pomocí regresní analýzy . Odhadnutý regresní model se na základě našich dat snaží pro každý výsledek testu předpovědět hodnotu kritéria (počtu bodů v referenčním testu, průměrný prospěch v následném studiu, úspěšnost studia apod.). Testováním významnosti jednotlivých složek modelu lze prokázat validitu testu nebo jeho přírůstkovou validitu nad již používané testy. Podrobněji se odhadu validity (v kontextu přijímacích zkoušek na vysoké školy) věnuje Zvára v publikaci .

Položková analýza

[ ✎ upravit vložený článek ]

Jak poznám špatnou otázku? Špatnou otázku může zkušený pedagog odhalit už v rámci oponentury testu. Nejlépe ji ale identifikují sami studenti – tím, jak na ni odpovídají. Vyplatí se proto odpovědi studentů analyzovat a hodnotit z nich vlastnosti položek. Výhoda je, že takovou položkovou analýzu můžeme (obzvlášť v rámci elektronického testování) snadno automatizovat, nemusí ji tedy provádět sám pedagog. Postačí, pokud výsledkům položkové analýzy rozumí a umí z nich vyvodit správné závěry.

Položkovou analýzu je vhodné provést už před ostrým nasazením testu, zadáme-li položky vybranému vzorku studentů v rámci pilotního testování. Při pilotním testování je potřeba zajistit, aby testovaný vzorek studentů co nejlépe odpovídal populaci studentů, pro které je test určen. Položková analýza by měla být prováděna také po ostrém testování na cílové skupině studentů.

U testových úloh sledujeme především jejich obtížnost a jejich citlivost neboli rozlišovací schopnost. Obtížnost popisuje, jaké procento testované skupiny odpoví správně. Citlivost říká, nakolik je položka schopná rozlišit mezi lepšími a horšími studenty. Studenty přitom na lepší a horší dělíme většinou podle celkového výsledku v testu, lze ale usuzovat také na základě jiného kritéria, např. na základě úspěšnosti v následném studiu apod. Na správně formulovanou položku by lepší studenti měli odpovídat správně častěji než studenti slabší.

Obtížnost a citlivost jdou ruku v ruce. Velmi obtížné a velmi snadné úlohy mívají malou rozlišovací schopnost, proto by jich obzvláště v testu, který má za cíl rozlišit testované studenty (např. přijímací testy), nemělo být příliš mnoho. Jednu nebo dvě velmi snadné úlohy lze použít v úvodu testu za účelem uklidnění žáků a zvýšení jejich motivace. Obtížnost dalších položek by v optimálním případě měla mít vzrůstající tendenci.

Další důležitou vlastností položky je její férovost. Položka by neměla zvýhodňovat některé skupiny studentů. Stejně chytří a stejně dobře připravení studenti různých skupin (děleno dle pohlaví, etnika apod.) by měli správnou odpověď na položku volit zhruba stejně často.

Položka je také podezřelá, pokud ji vynechalo větší množství studentů. Pokud se takové položky vyskytují na konci testu, může být kromě obtížnosti položek důvodem také příliš krátká doba stanovená k řešení testu (blíže viz kapitola 8.3.4 Analýza vynechaných odpovědí).

U výběrových úloh s distraktory (tj. „nesprávnými odpověďmi“) je potřeba zkontrolovat také vlastnosti jednotlivých nabízených odpovědí. Distraktory, které nejsou dostatečně atraktivní (volilo je příliš malé procento studentů), nebo které dostatečně nerozlišují mezi horšími a lepšími studenty, je potřeba nahradit jinými.

Podívejme se nyní blíže na jednotlivé nástroje položkové analýzy.

Obtížnost položky

Není položka příliš snadná nebo příliš těžká?

Obtížnost testových úloh typu ano/ne se obvykle odhaduje jako podíl respondentů, kteří na danou úlohu odpověděli správně. Odhadu se říká index obtížnosti a značí se $P$:

$P={\frac {n_{S}}{n}}$.

Index obtížnosti nabývá hodnot mezi 0 a 1. Je tím blíže 1, čím víc studentů na položku zodpovědělo správně. Spíš bychom tedy měli mluvit o „snadnosti položky“. Někteří autoři proto zavádějí ještě hodnotu obtížnosti. Hodnota obtížnosti je daná procentuálním zastoupením žáků, kteří na položku odpověděli nesprávně, jde tedy o doplněk indexu obtížnosti:

$Q={\frac {n_{N}}{n}}=1-P$.

V případě bodované položky, za kterou lze dosáhnout 0 až $x_{MAX}$ bodů, se index obtížnosti obecněji definuje pomocí aritmetického průměru ${\bar {x}}$ bodových hodnocení všech žáků v dané úloze:

$P={\frac {\bar {x}}{x_{MAX}}}$.

Velmi obtížné ($P$ < 0,2) a velmi snadné ($P$ > 0,8) úlohy mívají malou rozlišovací schopnost, proto by jich v testu nemělo být příliš mnoho. Malé množství velmi snadných úloh lze použít v úvodu testu za účelem uklidnění žáků a zvýšení jejich motivace. Obzvláště pro testy, jejichž cílem je rozlišit testované studenty (např. přijímací testy), jsou optimální položky s obtížností okolo 0,5.

Je potřeba zdůraznit, že zde zavedený odhad obtížnosti je závislý na testované populaci. Budeme-li obtížnost odhadovat na základě odpovědí skupiny chytřejších studentů, bude se položka jevit jako snazší. Výše uvedený klasický odhad je proto platný vždy jen pro vzájemně podobné skupiny studentů. Hodí se např., pokud test každoročně dáváme srovnatelným skupinám studentů. Problém nastává, pokud položky využíváme např. pro různé studijní obory, na více školách apod. Obecnější přístup, kdy se obtížnost položky definuje v závislosti na schopnostech testovaných studentů, používá tzv. teorie odpovědi na položku.

Citlivost položky

Rozlišuje položka dobře mezi lepšími a horšími studenty?

Citlivost neboli diskriminační schopnost vypovídá o schopnosti položky rozlišovat mezi lepšími a horšími studenty. Jedním ze způsobů odhadu citlivosti je tzv. upper-lower index (ULI). Počítá se jako rozdíl úspěšnosti v položce mezi skupinou lepších (U – upper) a horších (L – lower) studentů:

$ULI=P_{U}-P_{L}$,

viz také obr. 8.4. Studenti jsou zpravidla děleni do dvou podobně velkých skupin (optimálně na polovinu) na základě celkového počtu bodů v testu.

Obr. 8.4 Index ULI. Studenti byli rozděleni na dvě podobně velké skupiny podle celkového výsledku v testu. Citlivost konkrétní položky v testu můžeme popsat indexem ULI: na danou otázku správně odpovědělo 73 % studentů z „lepší“ poloviny a 22 % z „horší“ poloviny. ULI se definuje jako rozdíl mezi těmito dvěma čísly, tj. v tomto případě 51 % = 0,51.

ULI nabývá hodnot mezi −1 a 1. Hodnoty ULI blízké 1 mají úlohy, které dobří žáci řeší správně a slabší žáci řeší nesprávně. Nulovou hodnotu mají úlohy, které obě skupiny žáků řeší stejně dobře. Úlohy se záporným indexem ULI zvýhodňují slabší studenty. Mohou to být úlohy s komplikovaným zadáním, které se lepší žáci neúspěšně pokoušejí řešit, zatímco horší je s větším štěstím správně uhodnou. Úlohy se zápornou citlivostí by se v testu neměly objevovat. U položek příliš snadných nebo příliš obtížných (kterých by obzvláště v rozlišovacím testu nemělo být mnoho) lze očekávat nízkou rozlišovací schopnost. Byčkovský v dále uvádí, že

• pro položky s obtížností mezi 0,2 a 0,3 a obtížností mezi 0,7 a 0,8 je za podezřelé potřeba považovat úlohy s citlivostí ULI < 0,15,
• pro úlohy s obtížností mezi 0,3 a 0,7 se za podezřelé považují již položky s rozlišovací schopností ULI < 0,25.

Jelikož prostřední hodnoty celkového skóre v testu může dosáhnout současně více studentů, vyvstává otázka, jak s těmito studenty při dělení na polovinu naložit. Je možné zařadit je do jedné ze skupin (ale do které?), nebo rozdělit (ale jak?) a část zařadit mezi lepší a část mezi horší, nebo jednoduše vynechat. V některých zdrojích se ULI také definuje jako rozdíl mezi nejlepší a nejhorší třetinou studentů (viz obr. 8.5a), čímž se prostředním hodnotám často zcela vyhneme. Lze obecně uvažovat i jiné podíly, např. krajní pětiny studentů (viz obr. 8.5b). Systém Rogo počítá ULI na základě dolních a horních 27,5 % studentů. Indexy ULI vycházejí v případě menších porovnávaných skupin zpravidla větší (jedná se pak o rozdíl v úspěšnosti ve dvou více rozdílných skupinách), a proto by pro ně měla být požadována o něco větší hodnota než při klasickém rozdělení na dvě části. I pro tyto definice však platí, že podezřelé jsou hodnoty záporné a hodnoty blízké 0.

Grafy: Další možná pojetí ULI

Obr. 8.5a Index ULI jako rozdíl mezi nejlepší a nejhorší třetinou

Obr. 8.5b Index ULI jako rozdíl mezi nejlepší a nejhorší pětinou

Jiným přístupem pro hodnocení citlivosti binární položky (tj. položky typu ano/ne) je porovnat průměrný bodový výsledek u skupiny, která položku zodpověděla správně (${\bar {X}}_{S}$), s bodovým výsledkem u skupiny, která položku zodpověděla nesprávně (${\bar {X}}_{N}$). Na dobře fungující položku by měli správně odpovídat vesměs dobří studenti, průměrný výsledek u studentů ze skupiny $S$ by proto měl být vyšší než u studentů ze skupiny $N$. Významnost rozdílů průměrných bodových výsledků ${\bar {X}}_{S}-{\bar {X}}_{N}$ lze testovat dvouvýběrovým t testem , ekvivalentně také testem nenulovosti korelačního koeficientu mezi počtem bodů za položku (zde 0 nebo 1) a celkovým počtem bodů.

Zobecněním na bodované položky je tzv. index RIT. Jde o Pearsonův korelační koeficient (značený často $r$) mezi položkou (item, I) a počtem bodů v celém testu (T). Pro položku, která dobře rozlišuje mezi horšími a lepšími studenty (měřeno počtem bodů v testu) je koeficient RIT blízký jedné. Pro položky, které mezi lepšími a horšími studenty nerozlišují, je tento koeficient blízký nule. Záporné koeficienty pak upozorňují na položky, které zvýhodňují slabší studenty.

Jelikož počet bodů za položku ovlivní celkový počet bodů, hodnoty nejsou nezávislé. Formálně správnější je proto hodnotit korelaci mezi položkou a součtem bodů za zbylé položky (angl. rest). Tento Pearsonův korelační koeficient je číselně blízký předchozímu a nazývá se index RIR.

Graf: Diskriminační index RIT

Obr. 8.6a Diskriminační index RIT pro binární položku. Index vyjadřuje, nakolik jsou body rozpýlené od proložené přímky.

Obr. 8.6b Diskriminační index RIT pro bodovanou položku. Index vyjadřuje, nakolik jsou body rozpýlené od proložené přímky.

Používanou charakteristikou konzistence položek je také Cronbachovo alfa testu po vynechání položky: nekonzistentní položky poznáme tak, že po jejich vynechání reliabilita testu měřená Cronbachovým alfa stoupne.

I zde je na místě připomenout, že zavedené indexy citlivosti jsou závislé na testované skupině studentů. Vztaženo k již zmiňovanému příkladu z přijímacích zkoušek, budeme-li analyzovat data všech studentů, kteří se zkoušky zúčastnili, díky menší homogenitě testovaných lze předpokládat, že položky budou studenty rozlišovat lépe. Budeme-li analyzovat pouze data skupiny studentů, kteří byli přijati ke studiu, rozlišovací schopnost bude u této homogennější skupiny patrně nižší. Pro obecnější pojetí opět odkazujeme na kapitolu věnovanou teorii odpovědi na položku, kde je diskriminační schopnost zavedena ve vztahu k celkové schopnosti studenta.

Citlivost jako validita položky

Dosud jsme zkoumali vztah úspěšnosti v položce k celkovému výsledku. Uvědomme si, že tato citlivost odráží, do jaké míry jsou položky vnitřně konzistentní – má tedy co do činění s reliabilitou testu.

Pokud by nás zajímala citlivost položky vzhledem k nějakému jinému kritériu, např. závěrečné známce z předmětu, celkové úspěšnosti ve studiu nebo úspěšnosti v zaměstnání, zajímáme se tak potažmo o validitu dané položky. Položka přitom, stejně jako celý test, může dobře rozlišovat mezi studenty co do celkového počtu bodů v testu, ale nemít žádný vztah ke zkoumanému kritériu (např. budoucí úspěšnosti ve studiu).

Citlivost ve smyslu validity položky můžeme reprezentovat také pomocí indexu ULI, studenty však na horší a lepší dělíme podle zkoumaného kritéria (tedy např. dle průměrné známky v následujícím studiu, úspěšnosti apod.) Lze také použít korelačních koeficientů mezi položkovým skóre a zkoumaným kritériem. Obecněji lze závislost uchopit pomocí regresních modelů, jak bylo zmíněno v části věnované validitě testu.

Validita jednotlivých položek nám pak může pomoci vypátrat, které typy položek způsobují nízkou validitu celého testu.

Analýza vynechaných odpovědí

Pokud vysoké procento studentů na určitou položku neodpoví, může to ukazovat na její obtížnost, ale také nesrozumitelnost. Za podezřelé je nutné považovat všechny položky, které vynechalo více než 20 % respondentů. Pokud se na konci testu objevuje souvislá řada nezodpovězených položek, lze předpokládat, že je studenti nestihli vyřešit z časových důvodů. V takovém případě je potřeba zvážit zkrácení testu nebo prodloužení doby na řešení.

Počet vynechaných odpovědí souvisí také s hodnocením testu. Vyšší procento vynechaných odpovědí lze předpokládat u testů, které penalizují nesprávnou odpověď (nepenalizují-li vynechání odpovědi ještě více).

Grafická interpretace vlastností položky

Na vlastnosti položky se můžeme podívat detailněji, rozdělíme-li studenty podle úspěšnosti na několik skupin a úspěšnost v dané položce zobrazíme pro každou skupinu zvlášť. Tato metoda je jakýmsi úvodem k přístupu tzv. teorie odpovědi na položku (item response theory, IRT), který bude prezentován v následující části.

Někdy se stává, že kritérium, podle kterého dělíme studenty na lepší a horší, je jen dvouhodnotové. Stává se to například, když hodnotíme citlivost položky vzhledem k celkové úspěšnosti následného studia (tj. „dokončil studium / nedokončil studium“). Menší počet skupin použijeme také, máme-li malý počet respondentů. V tom případě bývá lépe studenty rozdělit jen na dvě nebo tři skupiny.

U správně zkonstruované položky by relativní četnost správné odpovědi měla růst s celkovým skóre (tj. celkovým počtem bodů), resp. měla by být vyšší pro úspěšné studenty než pro neúspěšné. Tedy čím lépe si studenti vedli v dané položce, tím lépe by si měli vést v celém testu nebo v nastávajícím studiu. Tak je tomu v následujícím příkladu (obr. 8.7a, 8.7b).

Graf: Grafické zobrazení vlastností položky

Obr. 8.7a Citlivost dle celkového skóre

Obr. 8.7b Citlivost dle úspěšnosti

Pro přehlednost jsou v ukázkách správné odpovědi vyznačené velkými písmeny, distraktory jsou označeny písmeny malými. Pokud se jedná o položky s více nabízenými odpověďmi, je na místě vykreslit také relativní četnosti jednotlivých odpovědí (na následujících obrázcích jsou správné odpovědi zobrazeny plnou čarou a distraktory přerušovanou). Četnost volby distraktorů by měla být nižší u lepších studentů, přerušovaná čára by tedy měla mít klesající tendenci. Správné odpovědi by měli častěji volit lepší studenti, proto by čáry popisující správné odpovědi, stejně jako sloupcové grafy popisující celkovou úspěšnost v položce, měly také růst. Tak tomu je i v případě položky CH64 (obr. 8.8a, 8.8b).

Obr. 8.8a Citlivost dle celkového skóre

Obr. 8.8b Citlivost dle úspěšnosti

Znění testové otázky CH64 Hydratací kyseliny fumarové vzniká kyselina: a) maleinová b) malonová C) jablečná D) hydroxyjantarová Pozn.: V uvedených příkladech jsou správné odpovědi naznačeny velkým písmenem volby odpovědi (zde C, D).

Příklad snadné položky

Jak je patrné i z grafického znázornění (obr. 8.9a, 8.9b), příliš snadné položky (stejně jako položky příliš těžké) mají nutně malou rozlišovací schopnost. Je to způsobeno skutečností, že na snadnou položku odpoví nesprávně jen velmi malé procento studentů, na velmi obtížnou položku zas odpoví jen velmi malé procento studentů správně.

V případě, že studenti volí pouze jedinou správnou/nejlepší odpověď, bude tato jediná plná čára korespondovat s vrcholky sloupcového grafu. Toto nastává jednak v případě, kdy studenti dopředu vědí, že se jedná o položky s jedinou nejlepší odpovědí (SBA), ale také v případě, kdy ze zadání položky s vícečetnou správnou odpovědí (např. MTF) sami vyvodí, že pouze jediná z nabízených variant může být správná. Tak tomu bylo i u položky CH10.

Obr. 8.9a Citlivost dle celkového skóre

Obr. 8.9b Citlivost dle úspěšnosti

Znění testové otázky CH10 Chemická rovnováha (rovnovážný stav) v reakčním systému je charakterizována: a) neustále proměnnou koncentrací výchozích látek a produktů b) neměnnou koncentrací výchozích látek a proměnnou koncentrací produktů c) proměnnou koncentrací výchozích látek a neměnnou koncentrací produktů D) neměnnou koncentrací výchozích látek a produktů

Příklad špatně rozlišující položky

Položka CH97 má také zřejmě jedinou správnou odpověď. Přestože její obtížnost je vyšší než u předchozí položky, i tato položka velice špatně rozlišuje mezi lepšími a slabšími studenty. Špatná rozlišovací schopnost této položky může být způsobena tím, že k dosažení správné odpovědi musí studenti provést správně hned několik úkonů a využít několika nezávislých znalostí a dovedností (znalost vzorce oxidu sírového, znalost atomové hmotnosti kyslíku, sestavení správné stechiometrické rovnice, správný výpočet), přičemž v každé z nich je možné udělat chybu.

Obr. 8.10a Citlivost dle celkového skóre

Obr. 8.10b Citlivost dle úspěšnosti

Znění testové otázky CH97 Vypočtěte hmotnost síry teoreticky potřebné k výrobě 16 tun oxidu sírového (Ar S =32): a) 12,8 t b) 8 t c) 3,2 t D) 6,4 t

Příklad málo validní položky

Položka CH55 má dvě správné odpovědi a dva distraktory, z nichž distraktor d je velice málo atraktivní. Stejně jako položka CH64 i CH55 velice dobře rozlišuje mezi studenty v testu úspěšnými a neúspěšnými, což je částečně dáno i její optimální obtížností. CH55 ale není příliš vhodná pro předpověď úspěšnosti ve studiu: neúspěšní studenti ji řešili dokonce o něco lépe než studenti úspěšní. Pro zvýšení validity testu bychom tuto položku měli z testu odebrat.

Obr. 8.11a Citlivost dle celkového skóre

Obr. 8.11b Citlivost dle úspěšnosti

Znění testové otázky CH55 Pod pojmem racemát rozumíme: A) směs enantiomerů v poměru 1 : 1 B) směs optických antipodů v poměru 1 : 1 c) směs pravotočivých a levotočivých látek v poměru 1 : 1 d) směs epimerů v poměru 1 : 1

Příklad validní položky málo citlivé k celkovému výsledku v testu

CH28 je těžká položka, obzvláště s ohledem na těžko odhalitelnou správnou odpověď C. Dva správné názvy chemické sloučeniny respondenti patrně nečekali. Položka ovšem poměrně dobře rozlišuje mezi studenty úspěšnými a neúspěšnými ve studiu.

Obr. 8.12a Citlivost dle celkového skóre

Obr. 8.12b Citlivost dle úspěšnosti

Znění testové otázky CH28 Vyberte správné tvrzení. CS2 je: A) nepolární rozpouštědlo b) polární rozpouštědlo C) sulfid uhličitý D) sirouhlík

Příklad chybné položky

Obzvláště těžká je také položka CH44, kde distraktor d volí více studentů, než správnou odpověď A. Tu, zdá se, respondenti spíše hádali. Distraktor d dokonce volí studenti tím častěji, čím vyššího skóre v testu dosáhli. To budí podezření, že by položka mohla být chybná. Vskutku: správná odpověď je přibližně 0,008, v nabídnutých možnostech tedy chybí, avšak možnost d (autory testu označená jako nesprávná) se jí nejvíce blíží.

Obr. 8.13a Citlivost dle celkového skóre

Obr. 8.13b Citlivost dle úspěšnosti

Znění testové otázky CH44 Kyselinu dusičnou o w = 5 % a o hmotnosti 10 g zředíme vodou o hmotnosti 55 g. Jaký je hmotnostní zlomek HNO3 ve výsledném roztoku: A) 0,04 b) 0,5 c) 0,55 d) 0,01

Příklad správně fungující položky

Výtečná diskriminační schopnost položky CH89 souvisí kromě optimální obtížnosti patrně také s faktem, že všechny nabízené odpovědi jsou správné. Zaškrtnout všechny nabízené odpovědi chce jistou dávku znalosti nebo odvahy.

Obr. 8.14a Citlivost dle celkového skóre

Obr. 8.14b Citlivost dle úspěšnosti

Znění testové otázky CH89 K hydrofilním vlastnostem bílkovin přispívá: A) hydroxyskupina B) sulfhydrylová skupina C) guanidylová skupina D) aminoskupina

Souhrnně jsou psychometrické vlastnosti zmíněných položek a příslušné závěry uvedeny v tabulce 8.3. Položky jsou v ní řazeny dle obtížnosti od nejsnazší úlohy. Shrneme-li doporučení pro položkovou analýzu, postup je následující: V první řadě je potřeba odhadnout obtížnost položky, u příliš snadných ani příliš obtížných položek totiž nelze čekat rozumnou citlivost. U položek s více nabízenými odpověďmi je podobně potřeba zkontrolovat také relativní četnost volby jednotlivých distraktorů. O něco důležitější než obtížnost položek je pak jejich citlivost, tedy schopnost rozlišit mezi horšími a lepšími studenty (počítáno dle celkového výsledku v testu nebo dle jiného vnějšího kritéria). Nakonec se je potřeba podívat také na procento vynechaných odpovědí a zvážit, zda souvisí s obtížností položky nebo spíše s jejím pořadím v testu. Pokud je velké množství vynechaných odpovědí na konci testu, a zvláště pokud jejich obtížnost není příliš velká, je potřeba zvážit zkrácení testu.

Tab. 8.3 Příklady přijímacího testu z chemie

ID	obtížnost	Volba jednotlivých alternativ v %				citlivost podle skóre	citlivost podle úspěšnosti	% vynechaných	závěr slovy
		A	B	C	D
CH10	0,95	4	1	1	95*	0,10	0,02	0,0	snadná položka, neatraktivní distraktory
CH97	0,68	11	11	8	68*	0,13	0,00	2,4	špatně rozlišující položka
CH55	0,49	77*	84*	35	5	0,49	-0,07	0,2	nevalidní položka, neatraktivní distraktor D
CH64	0,47	12	8	63*	65*	0,68	0,10	0,4	správná položka
CH89	0,42	78*	52*	56*	67*	0,74	0,10	0,2	správná položka
CH44	0,21	21*	4	11	62	-0,06	-0,02	1,2	podezřelá položka, distraktor D volen častěji než správná odpověď

Pozn.: správná odpověď je označena *

Pokusme se nyní shrnout závěry, které lze z této položkové analýzy vyvodit:

• Žádná z analyzovaných položek nebyla vynechána více než 5 % respondentů. Z analyzovaných položek byla nejčastěji vynechána položka CH97 (2,7 % respondentů). Její umístění na konci testu nás může vést k zamyšlení, zda není časový interval příliš přísný, procento vynechaných odpovědí je ale malé.
• Položka CH10 je velice snadná, její distraktory jsou velmi neatraktivní a správnou odpověď volilo až 95 % studentů. Položka proto také špatně rozlišuje mezi lepšími a slabšími studenty, má téměř nulovou diskriminační schopnost.
• Neatraktivní jsou distraktory v položce CH97. Velice neatraktivní je také distraktor b v položce CH44. Naproti tomu distraktor d volilo v položce CH44 dokonce více respondentů než správnou odpověď A. Jak je vidět z odhadů citlivosti, položku řešili lepší studenti hůř než studenti slabší (kteří mohli správné řešení hádat). Tato položka je z tohoto důvodu velice podezřelá a jak by vyplynulo z revize textu, také nesprávně zadaná.
• Kromě zmíněné snadné položky CH10 a nesprávně zadané položky CH44, velice špatně mezi lepšími a slabšími studenty rozlišuje také položka CH97.
• Položka CH55 patří mezi položky, které mají uspokojivou citlivost vůči celkovému skóre, řešili ji ale lépe studenti ve studiu neúspěšní než studenti ve studiu úspěšní. Vynecháním této položky bychom mohli přispět ke zvýšení predikční validity celého testu.
• Položky CH64 a CH89 jsou příklady správně fungujících položek.

Shrneme-li, klasická položková analýza nám může pomoci rychle odhalit slabiny jednotlivých položek a nabízených odpovědí. Hlavní potíží klasických odhadů obtížnosti a citlivosti je jejich závislost na rozdělení znalosti u testovaných studentů. Zadáme-li položku několika skupinám studentů s různou úrovní znalosti, výsledný odhad obtížnosti (relativní četnost správné odpovědi) se může ve skupinách značně lišit. Podobně pokud odhadujeme citlivost položky u několika skupin s různou mírou homogenity, klasický odhad citlivosti se může ve skupinách značně lišit. S tímto nedostatkem se částečně vypořádává grafické hodnocení vlastností položky, kdy zobrazíme relativní četnost správných odpovědí v závislosti na celkovém počtu bodů – tj. v závislosti na jakési míře znalostí studenta. Při grafickém zobrazení již můžeme vnímat obtížnost jako relativní četnost správné odpovědi u skupiny s „průměrnou“ znalostí a citlivost jako sklon sloupcového grafu. To jsou hlavní myšlenky teorie odpovědi na položku, která nám takto obecněji pomůže vlastnosti položky také vyjádřit číselně.

Teorie odpovědi na položku

[ ✎ upravit vložený článek ]

Klasické odhady obtížnosti, citlivosti, ale i spolehlivosti jsou silně závislé na rozdělení znalostí u testované skupiny. Představme si dvě skupiny studentů – horší a lepší. Použijeme-li klasického odhadu obtížnosti, ve skupině lepších studentů se položka bude jevit jako snadná a naopak ve skupině slabších studentů se bude jevit jako obtížná (viz obr. 8.15a, 8.15b).

• 

  Obr. 8.15a Klasický odhad obtížnosti položky pro horší skupinu

• 

  Obr. 8.15b Klasický odhad obtížnosti položky pro lepší skupinu

To může být problém, pokud používáme položku pro různé skupiny studentů, např. sdílíme-li položky s dalšími fakultami. Proto se v případě většího počtu studentů nebo skupin studentů používá modernější teorie odpovědi na položku (angl. item response theory, IRT), která modeluje pravděpodobnost správného zodpovězení položky podmíněně pro různé úrovně znalosti studenta.

Zjednodušeně řečeno, vztah relativní četnosti správné odpovědi na položku a celkového počtu bodů, který jsme v předchozí kapitole ilustrovali sloupcovým grafem, v rámci teorie odpovědi na položku modelujeme spojitou funkcí zvanou charakteristická funkce položky (angl. item characteristic function, ICF).

Obr. 8.16 Aproximace pravděpodobnosti správné odpovědi v položce pomocí IRT modelu

Pokud tedy budeme odhadovat obtížnost položky z odpovědí u skupiny slabších studentů, IRT odhad vezme v potaz úroveň znalosti studentů a odhaduje spodní část křivky. Pokud získáme výsledky od skupiny lepších studentů, je odhadována horní část křivky. Výsledné křivky (potažmo parametry obtížnosti) odhadnuté dle dvou skupin studentů si nakonec mohou být velice blízké a téměř totožné s křivkou, kterou bychom dostali, pokud bychom odhadovali ze všech dat najednou (viz obr. 8.17).

Obr. 8.17 Odhad charakteristické křivky a IRT odhad parametru obtížnosti pro 2 skupiny

	Tip: Klasické odhady obtížnosti a citlivosti položky neberou v potaz rozdělení znalostí v testované skupině. Jsou-li položky používány pro velké množství studentů různých znalostních úrovní, je vhodné klasické odhady nahradit IRT odhady.
	Klasický odhad obtížnosti je založený na relativní četnosti správných odpovědí v testované skupině. Tento údaj však nemusí být relevantní, použijeme-li položku pro skupinu s jiným rozdělením znalosti. IRT modely popisují obtížnost v závislosti na znalosti studenta.

Tip: Klasické odhady obtížnosti a citlivosti položky neberou v potaz rozdělení znalostí v testované skupině. Jsou-li položky používány pro velké množství studentů různých znalostních úrovní, je vhodné klasické odhady nahradit IRT odhady.

Odhady parametrů IRT modelů

[ ✎ upravit vložený článek ]

Nyní nastává otázka, jak nalézt funkci neboli charakteristickou křivku, která popisuje pravděpodobnost správné odpovědi na položku nejlépe. V praxi se většinou předpokládá konkrétní tvar funkce a z dat se odhadují pouze její parametry (vlastnosti položek). Některé nejčastěji používané modely jsou blíže popsány v příloze. Typicky se předpokládá, že charakteristická funkce je esovitého tvaru. Polohu jejího středu na ose x charakterizuje parametr obtížnosti položky $b$. Parametr obtížnosti říká, jakou úroveň znalosti potřebuje student, aby položku zodpověděl právě s poloviční pravděpodobností. Sklon křivky charakterizuje další možný parametr – parametr citlivosti $a$. Ten je intuitivním rozšířením dříve popsaného koeficientu ULI. V případě položek s výběrem z $n$ odpovědí má smysl předpokládat, že student s pravděpodobností $1/n$ správnou odpověď uhádne. Lze pak uvažovat také další parametr – parametr uhádnutelnosti $d$.

Souhrnně je interpretace zmíněných parametrů zobrazena na obrázku 8.18:

Obr. 8.18 Interpretace parametrů IRT modelu: b obtížnost, c citlivost (diskriminační schopnost), d uhádnutelnost položky

Jak tyto parametry a úrovně znalostí jednotlivých studentů z dat odhadovat? Nevýhodou IRT je, že odhady není možné spočítat tak jednoduše, jako klasické odhady obtížnosti a citlivosti. K odhadu parametrů IRT modelů je zapotřebí použít příslušný statistický software, neboť jde o složitější optimalizační procedury založené na maximalizaci tzv. věrohodnostní funkce. Známe-li parametry položek (např. z předchozí pilotní studie), odhadujeme parametry znalostí studentů metodou podmíněné maximální věrohodnosti. V jednoparametrickém IRT modelu (modelu s jediným parametrem – parametrem obtížnosti) tak ke každému celkovému počtu bodů jednoznačně přiřadíme hodnotu znalosti. Ve složitějších modelech již kromě celkového skóre může záviset také na tom, které položky student zodpověděl správně. Známe-li parametry znalosti jednotlivých studentů, metodou podmíněné maximální věrohodnosti můžeme odhadnout parametry položek. Pokud parametry znalostí jednotlivých studentů neznáme, ale známe alespoň rozdělení těchto znalostí (většinou předpokládáme normální rozdělení s příslušnou střední hodnotou a rozptylem), můžeme parametry položky odhadnout metodou tzv. marginální maximální věrohodnosti. Úroveň znalosti studenta a parametr obtížnosti položky lze odhadovat také společně pomocí tzv. sdružené maximální věrohodnosti. Ke všem zmíněným odhadům parametrů je zapotřebí dostatečně velkého vzorku – minimálně stovky, ještě lépe tisíce studentů.

Tip: Který z odhadů vlastností položek použít?

Klasické odhady obtížnosti a citlivosti lze uplatnit pro položky testu, který je používán vždy pro přibližně stejnou populaci studentů (což lze do jisté míry předpokládat např. u testů určených studentům konkrétního předmětu, který se vyučuje na určité škole vždy v daném ročníku). Složitější modely teorie odpovědi na položku (IRT) je třeba použít, pokud je test používán pro různé skupiny studentů (různé ročníky, školy, ...). Klasické odhady obtížnosti a citlivosti mohou v takovém případě nabývat různých hodnot pro různé skupiny v souboru. Složitější IRT modely dovolí modelovat obtížnost a citlivost v závislosti na úrovni znalosti studentů. IRT odhady však vyžadují poměrně velký počet testovaných studentů, řádově alespoň stovky.

Tip: Který z odhadů vlastností položek použít?

Využití IRT modelů pro hodnocení férovosti položky

[ ✎ upravit vložený článek ]

IRT analýza je užitečná např. k vyhodnocení férovosti položky, která byla diskutována v části Revize férovosti v rámci Oponentury testu. Zatímco v rámci oponentury testu se snažíme neférovosti položek předejít, na základě odpovědí studentů můžeme případnou neférovost položky odhalit dodatečně. Snažíme se zjistit, zda položka nezvýhodňuje některé skupiny studentů oproti jiným (např. dle pohlaví, etnika, apod.). Prvním krokem může být zjištění relativních četností správných odpovědí na položku ve skupinách (např. u bělochů a u černochů, nebo u mužů a u žen). Rozdílné procento správných odpovědí může upozornit na možnou neférovost, ale může být také zcela matoucí, neboť procento správných odpovědí závisí na úrovni znalostí daných dvou skupin. Zajímá nás proto, zda se relativní četnosti správných odpovědí ve skupinách liší za podmínky stejných znalostí studentů. S výhodou proto můžeme použít IRT odhadů dvou charakteristických křivek položky pro dané skupiny (viz obr. 8.19). Odhadneme charakteristické IRT křivky zvlášť pro každou zkoumanou skupinu a porovnáme je. Jako index rozdílného fungování položky (different item functioning, DIF) se pak bere např. plocha mezi dvěma křivkami, nebo také rozdíl v odhadu parametru obtížnosti ve dvou IRT modelech. Významnost rozdílného fungování položky lze také testovat statistickým testem a jednoznačně tak vytipovat problematické položky.

Obr. 8.19 Odhad parametru obtížnosti pro dvě skupiny. Plocha mezi křivkami odpovídá „koeficientu neférovosti“ položky (DIF)

Informační funkce položky

[ ✎ upravit vložený článek ]

Spolehlivost testu se v klasickém pojetí vyjadřuje jediným indexem. Teorie odpovědi na položku (IRT) naproti tomu poukazuje na skutečnost, že informační přínos jednotlivých položek, potažmo pak celého testu, je závislý na úrovni vědomostí studenta. Informační přínos položky je v IRT popsán tzv. informační funkcí položky, která je zvonovitého tvaru a která závisí na parametrech konkrétní položky. Informaci celého testu pak lze vyjádřit jako součet informačních funkcí jednotlivých položek, neboť předpokládáme, že odpovědi na položky jsou na sobě (při dané úrovni znalosti studenta) nezávislé.

Informační přínos položky se odvíjí od její obtížnosti a od její diskriminační schopnosti. Vysoce rozlišující položky mají vysokou a úzkou informační křivku, která významně přispívá informačně, avšak pouze v úzkém rozsahu obtížnosti. Položky s nízkou rozlišovací hodnotou poskytují méně informací, ale v širším rozsahu obtížností. Velikost informace, kterou položka poskytuje při dané úrovni schopnosti studenta může být vhodným kritériem pro rozhodování, zda položku ponechat v testu nebo ji z něj vyřadit. Máme-li přibližný odhad studentových znalostí, mohou pro nás informační funkce položek být vodítkem, kterou položku studentovi zadat (viz obr. 8.20).

Obr. 8.20 Informační funkce položek s různými parametry obtížnosti a citlivosti

Adaptivní testování a využití IRT v praxi

[ ✎ upravit vložený článek ]

Informační funkce položky nám může dát vhodné kritérium pro rozhodování, kterou položku použít pro testování studenta s danou úrovní znalostí. Z toho vychází tzv. adaptivním testování. Adaptivní testování (computerized adaptive testing, CAT) je metoda testování, při níž se výběr testovacích úloh přizpůsobuje schopnostem testované osoby. Protože test je tak testovanému doslova „ušitý na míru“, říká se této metodě též tailored testing.

Hlavní výhodou adaptivního testování je, že oproti „klasickému“ testu stačí položit podstatně menší počet otázek, a přitom získáme stejně přesný odhad znalosti studenta . Nevýhodou naopak je, že studenti nedostávají stejné otázky a nelze je tedy přímo porovnávat. Z toho mimo jiné vyplývá, že předpokladem zavedení adaptivního testování je vytvoření banky testových úloh (BTÚ) a její naplnění kalibrovanými položkami.

Obr. 8.21 Schéma porovnávající klasické a adaptivní testování pomocí informačních funkcí položek. Položky (otázky) poskytují většinou dobré rozlišení studijního výkonu jen v části rozsahu testovaných znalostí (tam, kde má informační křivka dostatečně vysoké hodnoty). Pokud předem neznáme úroveň znalostí testovaného, musíme mu proto při klasickém testování položit otázky pokrývající celý rozsah úrovní znalostí.

V adaptivním testování je úroveň znalosti postupně odhadována v několika krocích a vystačíme proto s podstatně menším počtem otázek pro získání odhadu znalosti s potřebnou úrovní přesnosti.

Poznámka k obrázku: Informační funkce položky jsou zde pro názornost idealizovány, ve skutečnosti by se více překrývaly a byly by z hlediska obtížnosti méně specifické.

Vzhledem k tomu, že testovaní mohou mít velmi odlišné studijní výkony, není možné pro výběr položek vystačit s jejich klasickými popisy (obtížnost, citlivost, ...) a je třeba použít odhady vlastností položek založené na teorii odpovědi na položku (IRT).

Princip adaptivního testování spočívá v tom, že znalost studenta se na počátku odhadne, poté se postupně kladením dalších testových otázek (položek) zpřesňuje až do chvíle, kdy se podaří dosáhnout určité (předem stanovené) přesnosti odhadu úrovně znalosti.

Jak bylo naznačeno výše, předpokladem pro nasazení adaptivního testování je dostupnost dostatečně velké banky kalibrovaných položek (několik tisíc položek se známými psychometrickými vlastnostmi). Například Breithauptová et al. odhaduje, že na relativně malý závěrečný test se čtyřiceti položkami je třeba mít banku se dvěma tisíci kalibrovaných položek. Adaptivní testování tedy umožňuje na jednu stranu ušetřit čas (a náklady) při samotném testování, ale vyžaduje velkou počáteční investici na pořízení a naplnění položkové banky.

U položek je přitom zapotřebí nejen to, aby byly známé jejich psychometrické vlastnosti, ale také, aby jejich celková obtížnost byla „jednorozměrná“, tedy aby položky netestovaly (byť skrytě) více oblastí. Pokud například budeme testovat v chemii znalost poločasu rozpadu na početním příkladu, pak studenti s lepší znalostí matematiky budou otázku vnímat jako snazší, než jejich kolegové hůře vybavení touto dovedností. K podobnému jevu může vést použití cizojazyčných nebo latinských výrazů. Použitím úloh, jejichž obtížnost je složená z více „nezávislých vektorů“, autor bezděčně ztrácí kontrolu nad obtížností, neboť pro různě disponované jedince budou mít rozdílnou celkovou obtížnost. Použití takovýchto „vícerozměrných“ položek v testu může být problematické.

Adaptivní testování umožňuje nezatěžovat studenta nadbytečným množstvím otázek, které by pro něj byly buď příliš jednoduché, nebo příliš obtížné. Zodpovídá jen otázky, které jsou pro něj přiměřené, stráví testováním kratší dobu a snižuje se tak jeho celková testová frustrace.

Tab. 8.4 Výhody a nevýhody adaptivního testování

Výhody adaptivního testování	Nevýhody adaptivního testování
zkrácení testu snížení testové frustrace pro většinu respondentů bezprostřední zpětná vazba snížení nákladů možnost jednoduchého a automatizovaného odstranění nefunkčních položek z položkové banky	nutnost rozsáhlé položkové banky nutnost kalibrace položek nemožnost přímo porovnat dva testované nemožnost vrátit se k předchozí položce nutnost formulovat položky, aby byly „jednorozměrné“

Další informace o adaptivním testování najde zájemce v knize Testování v psychologii , ve studii Filípkové a Byčkovského nebo v článku .

Nástroje pro adaptivní testování

Pro adaptivní testování existuje řada softwarových nástrojů, např. komerční FastTEST, který je dostupný jak ve verzi pro PC, tak jako webová aplikace. Z nekomerčních řešení stojí za zmínku např. otevřená testovací platforma Concerto s modulem pro adaptivní testování catR, který byl vytvořen v prostředí R .

Mnoho zajímavých informací, přehled používaného software a příklady významných aplikací adaptivního testování najde zájemce na stránkách Mezinárodní asociace pro počítačové adaptivní testování IACAT (http://iacat.org/).

V domácím kontextu byl v Psychologickém ústavu AV ČR v Brně (2005) vytvořen vlastní původní software pro adaptivní testování CATO .

Na Masarykově univerzitě (v Centru jazykového vzdělávání) byl v rámci evropského projektu vytvořen systém Adaptivní test COMPACT, který slouží každý semestr tisícům studentů jako prerekvizita k výuce akademické angličtiny. Po dohodě s odpovědným pracovištěm mohou software využívat učitelé i jiných fakult v rámci MU a plnit jej testovými položkami své odbornosti. Zaškolení pedagogů je snadné, k praktickému využívání není třeba žádných zvláštních znalostí. Základní informace poskytuje manuál v publikaci .

Souhrn doporučení pro hodnocení kvality testu

[ ✎ upravit vložený článek ]

Zpětná vazba - vyvození závěrů

[ ✎ upravit vložený článek ]

Motto: Pokud máš jen dvě mince, kup za jednu chléb a za druhou květinu. Tou první si kupuješ život, tou druhou dáváš tomu životu smysl. (Konfucius, 500 př.n.l.)

Cyklus přípravy testů zpravidla končí vyvozením závěrů. Získané zkušenosti se mohou odrazit v úpravě testových otázek, které položková analýza identifikovala jako problematické či zcela nevyhovující. Může se také promítnout do závěru, že testovou agendu by neměl připravovat jediný člověk, či do poznání, že spolupráce s kvalifikovanými statistiky práci urychlí a zkvalitní.

V průběhu posledních desetiletí se v oboru testování objevily nové formáty testových položek, které lépe testují osvojení hlubších znalostí (SBA), nové programy podporující testování v jeho jednotlivých krocích i jako celek (Rogo), i vyšší požadavky na kvalitu testových otázek, které postupně vedly ke spolupráci při jejich tvorbě a nakonec i k jejich sdílení v rozsáhlých položkových bankách, na nichž spolupracují pedagogové a odborníci z desítek škol a univerzit.

Cílem tohoto průvodce bylo seznámit čtenáře s rámcem, principy testování, klíčovými pojmy a praktickými kroky standardizace tak, aby mohl při výběru metod a postupů testování výsledků výuky činit kvalifikovaná rozhodnutí.

Realizace testů

[ ✎ upravit vložený článek ]

Moderní testování zhodnocuje současné technologie a obsahuje prvky inženýrského přístupu. Nahlíží se na něj jako na integrovaný systém systémů . Myslí se tím, že na systém pro tvorbu položek může navazovat systém pro jejich pilotování, poté systém pro předkládání testů a tak dále.

Podle míry elektronizace testů rozlišujeme:

• počítačové testování (computer based assessment, CBA), v němž se celý cyklus hodnocení odehrává v elektronické podobě,
• počítačem podporované testování (computer assisted assessment, CAA), které zahrnuje i kroky prováděné „ručně“, tedy např. vytvoření a zpracování papírové formy testů .

Pro počítačem podporované testování budeme v tomto textu používat názornější, i když ne zcela přesný termín papírové testování.

Zabezpečení testů

[ ✎ upravit vložený článek ]

Dobré zabezpečení testů a testových otázek tvoří základní podmínku jejich věrohodného použití. Při neformálním průzkumu provedeném v roce 2007 mezi 30 000 americkými vysokoškoláky se ukázalo, že 60,8 % jich během studia podvádělo. Tentýž průzkum ukázal, že 16,5 % z nich to nepociťuje jako etické provinění.

Poněkud překvapivé zjištění přinesl průzkum provedený na Fordhamově univerzitě: poukázal na významný rozdíl mezi studijními průměry podvádějících studentů a jejich poctivých protějšků. Podvodníci patří do skupiny se statisticky významně lepšími studijními výsledky než ti, kdo nepodvádějí. Je na místě klást si otázku, zda významnou roli při formování těchto postojů nehraje dnešní kultura, zaměřená na úspěch a nehledící na druhé. V sázce je velké množství stipendií, ocenění, stáží a dalších pobídek. Je proto možné, že ti, kdo dosahují úspěchu nepoctivě, odůvodňují své chování právě odměňováním za „úspěch“.

Mají-li být výsledky testování věrohodným obrazem znalostí studentů, musejí být vyloučeny vlivy, které by výsledky mohly zkreslit.  

Preventivní a metodická opatření

Součástí standardizace jsou preventivní a metodická opatření, která směřují mimo jiné k zajištění rovných podmínek pro všechny testované.  

Před testem

V období před testem musí být zajištěn rovný přístup kandidátů ke znění testových otázek. Jsou dvě možnosti, jak riziko nerovného přístupu k otázkám snížit. Jednou je omezit exponování testu, tj. omezit příležitosti, při kterých může dojít k zaznamenání a přenesení testových položek do populace budoucích účastníků testu. Při každém použití testu toto riziko hrozí, i když ne vždy je naplněno. U testů s významným dopadem pro studenty je vhodné zveřejnit jen modelové otázky a položky použité v předchozích kolech testu považovat za pravděpodobně vynesené. Přístup k ostré verzi testu je třeba omezit na co nejužší okruh osob i v rámci pedagogického sboru, aby se snížilo riziko úniku položek ať již nedopatřením, či prolomením etických a profesionálních standardů.

Jiným způsobem regulace zmíněného rizika je navýšení počtu připravených otázek nad míru naučitelnou zpaměti. Je-li v položkové bance několik tisíc položek, je ještě možné se odpovědi mechanicky naučit; pokud je však položek více, je již jednodušší se naučit látku samotnou. Regulace rizik se hojně diskutuje i v odborné literatuře .

Během testu

V době testu je třeba zajistit dozor, který vyloučí používání nepovolených pomůcek, opisování a napovídání. Některé školy v zahraničí zavedly režimová opatření týkající se odchodů studentů na toaletu v průběhu testování, neboť se ukázalo, že odchod zvyšuje riziko použití nedovolených pomůcek a napovídání. Při větším množství studentů je nezbytné zajistit i objektivní identifikaci účastníků testu, aby test nemohl složit někdo jiný.

Po testu

Vyplněné testy je třeba chránit před dodatečnými zásahy a zajistit jejich objektivní vyhodnocení. Jednou z cest ochrany je oddělení identity testovaného od zpracovávaného testu a jejich opětovné spojení až po kompletním zpracování a vyhodnocení testů.

Ani sebelepší preventivní opatření však nemohou podvádění zcela zamezit. Proto vznikly metody detekce podvádění na základě rozboru výsledků testu . Krátce jsme se o nich zmínili již v kapitole 8 věnované analýze testů; některým se budeme věnovat v následujícím textu.

Následná detekce incidentů

Statistické vyhodnocení výsledků testů může pomoci identifikovat degradované položky, jejichž přínos pro objektivní a spravedlivé hodnocení byl narušen vynesením, popřípadě identifikovat účastníky testu, jejichž výsledky vykazují podezřelé znaky. Řada prací se zabývá přímo metodikou statistické detekce prozrazených otázek , , . Přehled problematiky vyzrazených otázek ve vztahu k adaptivnímu testování podává souborná práce mapující aktivity na tomto poli v letech 1983 až 2005 .

Příkladem řešení problémů s testováním, které již proběhlo, byl zásah firmy Caveon specializované na bezpečnost testování. V lednu 2007 tato společnost řešila problém americké Federace státních komisí pro fyzikální terapii (FSBPT). Při detašovaných zkouškách fyzioterapeutů v Manile měla část účastníků testů k dispozici otázky, které zachytili účastníci předchozích testů; tyto otázky pak byly hromadně distribuované. Přinutit všechny k zopakování testu by bylo obtížné – tíže důkazního břemene by se tím přenášela i na poctivé, navíc by hrozily žaloby na ušlý zisk za zpoždění licencí. Na druhou stranu potvrdit podezřelé výsledky testů by znamenalo ohrozit integritu celého testování a dobré jméno FSBPT.

V této situaci dostala společnost Caveon kompletní testová data ze všech testovacích míst za poslední dva roky k forenzní analýze. Důvodem byl předpoklad, že by zvýhodnění účastníci měli na otázky odpovídat neobvyklým způsobem. K identifikaci odlišně vyplněných testů použila společnost tři nezávislé statistické ukazatele, jejichž kombinací bylo možné dosáhnout pravděpodobnosti správné detekce s rizikem chyby menším než 1:1 000 000. Z prověřovaných 23 000 testů tak byla odhalena dvacítka, která měla všechny tři sledované ukazatele odchylné od normálu. Na základě toho byly zmíněné testy prohlášeny za neplatné a ostatní uznány jako platné .

Počítačové testování

[ ✎ upravit vložený článek ]

Tip: Vytvořte elektronickou verzi svého testu během tří minut!

Na svém účtu na Googlu si otevřete Disk (nemáte-li, zřiďte si účet). Klikněte vlevo na červený obdélník Vytvořit a z roletového menu vyberte Formulář. Vyplňte a) název formuláře (testu), b) vysvětlující text, c) nadpis otázky (její název). Do políčka Text nápovědy vepište znění otázky (tzv. kmen položky). Jako Typ otázky zvolte možnost Vyberte ze seznamu. Vypište možnosti, ze kterých bude student vybírat správnou odpověď. Může jich být libovolný počet a mohou být v libovolném pořadí. Zaškrtněte políčko Vytvořit povinný dotaz. Nyní můžete pokračovat další otázkou (klepněte myší do políčka Ukázkový dotaz 2), nebo zvolte Hotovo. Rozešlete test studentům. Pokud své studenty máte zařazené do kruhů Google+, můžete na horní liště vybrat Sdílet. Jinak zvolte Odeslat formulář e-mailem a vyberete adresáty. Odpovědi studentů zobrazíte tlačítkem Zobrazit odpovědi. To je vše. V deseti krocích a do tří minut. Vyzkoušejte.

Tip: Vytvořte elektronickou verzi svého testu během tří minut!

Testy je možné připravit, distribuovat i vyhodnotit „ručně“. Výhodnější však může být použití některého z řady připravených počítačových programů, které poskytují podporu v jednom, několika, nebo výjimečně i všech krocích testového cyklu.

Testové moduly v systémech pro podporu výuky

Systémy pro podporu výuky (learning management system, LMS) se používají na většině vysokých škol. Nejrozšířenější z nich je Moodle, o němž pojednává samostatný odstavec. Pro formativní testování lze použít i jednodušší, leč komerční Adobe Connect, jehož licenci některé fakulty rovněž mají.

Dříve byl v této kategorii velmi populární systém pro podporu výuky WebCT . Jako jeden z prvních webových nástrojů pro řízení výuky se objevil v roce 1996. Vyráběla a šířila jej společnost WebCT, Inc. a v „nejlepších letech“ jej používalo více než 10 milionů studentů v 80 zemích. V roce 2005 byla společnost pohlcena svým největším konkurentem Blackboard Inc. Program byl velmi komplexní – dokonce až do té míry, že bylo poměrně obtížné jej přizpůsobovat novým požadavkům. Postupně tak získal reputaci až příliš složitého produktu, závislého na Javě a množství nově otevíraných (pop-up) oken. V Čechách se WebCT testovalo na ČVUT a od roku 2001 se používá na Univerzitě Hradec Králové .

Komplexní testové programy

Z řady testových programů nabízejí nejvíc možností a pokročilých funkcí specializované produkty, které podporují celý proces přípravy a distribuce testů. Patří mezi ně např. Rogo (pojednané dále), Questionmark nebo komplexní webová aplikace FastTest Web.

Proprietární programy pro podporu testování

Řada programů řeší jen některou část testové agendy. Pro základní on-line testování se hodí QuizStar nebo Quia Web, pro přípravu papírových testů EasyTestMaker.

Celkově lze říci, že pro formativní testování existuje řada programů, které pomáhají testy vytvářet a doručovat. To však neplatí pro sumativní hodnocení, zvláště pak při zkouškách, které rozhodují o dalším postupu studenta. V takovém případě potřebujeme produkty, které spadají do zcela jiné kategorie, neboť je nutné zajistit odpovídající bezpečnost, spolehlivost, výkon a důvěryhodnost.

Pokud navíc hledáme nekomerční program, zůstane jen několik možností. Dva takové testové programy představíme v následujícím bloku.

Moodle

[ ✎ upravit vložený článek ]

Nejznámějším a světově asi nejrozšířenějším programem, v němž lze mimo jiné i elektronicky testovat, je Moodle. Jedná se o komplexní systém výuky přes internet, který obsahuje i pokročilý testovací modul. Moodle je volně šiřitelný software s otevřeným kódem. Vznikl v roce 2002 a průběžně se aktualizuje. Se svým otevřeným kódem, volným šířením a komunitní podporou představuje častou volbu vysokých škol a univerzit. K dispozici je i na všech lékařských fakultách v České republice.

Výhody

Na neustálém vývoji Moodle spolupracuje rozsáhlá a aktivní komunita. Služby, které přesahují možnosti jednotlivých správců, poskytují specializované firmy s kvalifikací Moodle partner. Jedná se zejména o služby jako je hosting, přizpůsobení, podpora, školení, nebo i komplexní správa celých projektů v Moodle. Pro tento systém existuje více než 600 ověřených rozšiřujících modulů a díky otevřenosti kódu lze vytvářet další.

Pomocí rozšiřujících modulů může program nabývat nečekaných schopností. Např. doplněk Drag and drop upload pro verze Moodle 1.9–2.x umožňuje přetahovat myší soubory z počítače do programu. Do verze Moodle 2.3 toto rozšíření již není třeba přidávat, neboť funkce drag and drop je už zabudovaná v základu programu.

Nevýhody

Jistou nevýhodou při používání Moodle je ne zcela uživatelsky přátelské ovládání a nezbytnost zaškolení vyučujících. O existenci řady doplňků běžní uživatelé ani nevědí. Systém přináší možnost tvorby obsahu výukového webu bez znalosti jazyka HTML, ale v praxi je alespoň základní znalost HTML kódování pro vyučujícího/tvůrce studijního materiálu velkou výhodou. Příprava testů v tomto prostředí je komplikována nízkou ergonomií a nepřehledností rozhraní pro zadávání úloh. Souvisí to s velkým množstvím dalších funkcí, které Moodle jako komplexní LMS zvládá. Je nutně velmi obtížné uživatelské rozhraní optimalizovat pro všechny funkce současně. Systém Moodle nemá nástroje pro podporu týmové práce při přípravě testových úloh. Jisté drobné potíže může působit i nejednotnost používaných verzí programu, zvláště proto, že aktualizace je většinou třeba provádět postupně po jednotlivých krocích a některá dříve používaná rozšíření nemusí na nových verzích Moodle pracovat.

Z pohledu potřebné počítačové infrastruktury je třeba mít na zřeteli, že při velkém počtu současně testovaných studentů se server může začít zahlcovat požadavky . Řešení je ve vhodném dimenzování infrastruktury, např. rozložením zátěže na více serverů .

Podpora zabezpečení testů v Moodle

Předností Moodle je vysoká úroveň zabezpečení testů. Systém umí omezit používání dalších aplikací, umí otevřít přístup k testu jen na základě hesla a případně i vymezených IP adres. Další bezpečnostní prvky přidává volitelný modul Moodle inspektor, který umožňuje kontrolovat některé nežádoucí komunikační aktivity studentů při testu.

Test lze v Moodle zabezpečit v několika úrovních

• heslem pro přístup do kurzu s testem,
• heslem k vlastnímu testu,
• stanovením počtu možných pokusů,
• stanovením časového odstupu mezi jednotlivými pokusy,
• přesným stanovením času pro otevření a uzavření testu,
• časovým limitem pro běh vlastního testu,
• zabezpečením pomocí JavaScriptu – vyskakovací okno přes celou obrazovku,
• omezením na IP adresy konkrétních počítačů.

Tab. 9.1 Výhody a nevýhody systému Moodle

Výhody Moodle	Nevýhody Moodle
Nízké náklady na pořízení Celosvětové rozšíření Dostatečná dokumentace a návody Vysoká úroveň zabezpečení Velký výběr typů testových úloh Česká lokalizace	Vysoká pracnost přípravy testu Mnoho dalších funkcí mimo testování Úroveň intuitivity neodpovídá dnešním standardům Vyžaduje proškolení nebo prostudování manuálů Nepodporuje plně týmovou spolupráci učitelů

Podrobný návod na tvorbu testu v Moodle lze najít na webu (http://docs.moodle.org/archive/cs/Přidání/Úprava_testu). Testové úlohy lze připravit i mimo prostředí Moodle, nebo je možné je převzít ze sdílené položkové banky. Moodle podporuje standardy interoperability QTI a kolem 12 různých konkrétních importních formátů.

Rogo

[ ✎ upravit vložený článek ]

Rogo je, stejně jako Moodle, volně šiřitelný program, je však zaměřený na elektronické testování ve všech jeho fázích. Rogo vzniklo v roce 2003 na lékařské fakultě University of Nottingham pod názvem TouchStone („prubířský kámen“). Po úspěchu na domovské fakultě bylo přijato jako klíčový systém pro celou univerzitu, převedeno na software s otevřeným zdrojovým kódem a při té příležitosti i přejmenováno, aby nedocházelo k záměnám s jinými systémy. Rogō v latině znamená "ptám se" .

Licence

Z pohledu licence je webová aplikace pro on-line testování Rogo je svobodně šiřitelný open source program, uvolněný pod GPL verze 3.0. Je tedy možné kód měnit, rozšiřovat jej a přispívat tak k projektu.

Rozšíření

Zásluhou britské společnosti JISC získala finanční podporu otevřená komunita, která se zabývá vývojem Rogo. Tato komunita se také zasloužila o rozšíření systému na dalších pět britských univerzit (University of Oxford, University of Bedfordshire, University of East Anglia, De Montfort University a University of the West of Scotland), které u sebe systém implementují, testují a hodnotí.

Tvorbu testů v Rogo je možné si vyzkoušet na demo verzi University of Nottingham. Více informací naleznete na hlavní stránce projektu.

Stav implementace v ČR

V ČR je systém Rogo nainstalován (na serveru 1. LF UK) na adrese https://www.rogo.cz/. 1. LF připravila český překlad prostředí a pracuje kontinuálně i na lokalizaci nápovědy. Studenti jsou do systému importování automaticky ze SIS a mohou se autentifikovat svým CAS účtem.

Dokumentace

• Správa projektu je otevřená a používá systém pro řízení projektů JIRA.
• Dokumentace je k dispozici ZDE

Výhody

Na rozdíl od jiných programů Rogo pokrývá a podporuje všechny kroky cyklu tvorby testů, od spolupráce při přípravě testových úloh, přes jejich oponování z hlediska obtížnosti a relevance, tvorbu plánu testu, standardizaci, až po vyhodnocení kvality otázek. Takto komplexní řešení přináší podstatné výhody. Např. k oponentuře testových úloh je vhodné přizvat řadu vlastních i externích odborníků, což bývá obvykle časově a organizačně náročné. Pokud přitom návrhy položek kolují mezi větším počtem lidí, je velmi obtížné zajistit jejich utajení. V Rogo jsou naopak oponenti vyzváni k připojení do systému, takže testové úlohy systém vůbec neopustí. Komentáře a připomínky se opět vkládají přímo do Rogo a autoři úloh na ně mohou ihned reagovat. Poté, co test proběhl, je možné zobrazit popisné charakteristiky, histogram celkových skóre všech studentů, obtížnosti a diskriminační indexy položek apod. Z hlediska uplatňování moderních postupů v testování je systém zcela unikátní a jeho zavedení podporuje rozšíření správné testové praxe do terénu.

Systém umožňuje distribuovat jak papírové tak i on-line testy, a to pro sebehodnocení i pro zabezpečené sumativní testování.

Systém Rogo vznikl na lékařské fakultě a je pro výuku medicíny velmi dobře přizpůsoben. Mimo jiné dovoluje použít v úlohách interaktivních obrázků, na nichž student myší vyznačí hledaný objekt. Systém pak vyhodnotí, zda hledanou strukturu označil s požadovanou přesností.

Rogo podporuje autentizaci pomocí adresářové služby LDAP, kterou používá celá Univerzita Karlova v Praze. Pomocí webové služby jsou importovaná metadata popisující, jaké předměty mají studenti zapsané.

Tab. 9.2 Výhody systému Rogo

Nízké náklady na pořízení Podpora celého procesu testování Podpora týmové spolupráce Vysoká úroveň zabezpečení Velký výběr typů testových úloh včetně obrazových

Nevýhody

Do vývoje testovacího systému Rogo je zapojena řádově menší komunita, než do vývoje Moodle. Je to dáno menším rozšířením, užším zaměřením i poměrně krátkou dobou od uvolnění do režimu open source. Podíváme-li se např. na blog nottinghamské univerzity, zjistíme, že počet příspěvků vztahujících se k Rogo, je asi desetkrát menší než k Moodle. Na druhou stranu pro řešení problémů a nových úkolů vývoje se používá tzv. lístkový systém, díky čemuž požadavky na další vývoj může přidat kterýkoli uživatel.

Tip: Jak Rogo počítá diskriminační schopnost položky?

Jak se v Rogo zjistí schopnost položky rozlišit mezi dobrými a špatnými studenty? Rogo počítá diskriminační index ULI jako rozdíl relativních četností správné odpovědi u nejlepších a nejhorších 27,5 %. Pokud např. kohorta studentů odpoví na otázku tak, že 27,5 % nejlepších studentů má správnou odpověď v 95 % a 27,5 % nejslabších má správnou odpověď v 62 %, je rozdíl mezi skupinami 33 %. To odpovídá diskriminačnímu indexu položky 0,33. Aby úloha dobře rozlišovala mezi dobrými a špatnými studenty, měl by její diskriminační index být alespoň 0,2. Po testování vypočítá program Rogo diskriminační indexy pro každou položku testu automaticky, což umožňuje identifikovat špatně sestavené otázky a vyloučit je z dalšího používání.

Tip: Jak Rogo počítá diskriminační schopnost položky?

inQsit

[ ✎ upravit vložený článek ]

Za vtipným názvem odkazujícím se ke středověkým inkvizitorům se skrývá webový testovací systém vyvinutý na Ball State University a používaný na dvacítce dalších univerzit a škol v USA. Systém inQsit má bohatou dokumentaci a vyznačuje se mimořádně intuitivním prostředím pro zadávání otázek. Je možné jej vyzkoušet ve třicetidenní bezplatné verzi, nebo pořídit neomezenou licenci pro školství za 500 USD s ročními náklady 250 USD. Více informací je na adrese http://inqsit.bsu.edu/.

Questionmark

[ ✎ upravit vložený článek ]

Questionmark je mimořádně propracovaný a uživatelsky přátelský komerční systém pro tvorbu, doručování a analýzu testů. Systém v několika modulech nabízí veškeré funkcionality, které si lze v testování a hodnocení výsledků studia přát. Pro tvorbu testových úloh jsou k dispozici tři moduly:

• Modul Authoring Manager je aplikace pro PC, která umožňuje tvorbu a organizaci položek a testů, jejich ukládání na lokálním PC nebo do vzdálené databáze. Jsou přitom k dispozici nástroje usnadňující práci i začátečníkům.
• Modul Browser-Based Authoring podporuje přípravu testových úloh z webového prohlížeče. Prostředí ovšem není tak příjemné jako u Authoring Manager, např. není k dispozici vizuální editor.
• Modul Questionmark Live je nástroj pro online přípravu položek a testů a jejich export do testovacích nástrojů této firmy. Licenční podmínky tohoto modulu neomezují počet autorů.

Další dva moduly pak zahrnují předchozí a pokrývají celý proces, včetně doručování a vyhodnocení testů.

• Questionmark Perception podporuje mimo jiné i tisk a skenování testů, distribuci testů prostřednictvím prohlížečů, mobilních zařízení či USB disků. V testu je možné používat náhodné řazení otázek nebo adaptivní větvení. Výsledky testu je možné zpracovat do přehledné zprávy a otázky lze vyhodnotit položkovou analýzou.
• Questionmark OnDemand nabízí obdobné možnosti v režimu SaaS (software jako služba), kdy se program spouští ze serverů poskytovatele.

Výhodou všech modulů je podpora testování ve více jazykových mutacích (avšak čeština a slovenština dosud nejsou implementovány) a podpora používání videa, zvukových záznamů a grafických prvků v testových úlohách. Cena licence pro 1000 studentů se pohybuje v řádu stovek tisíc Kč. Více na stránkách http://www.questionmark.com.

ExaMe

[ ✎ upravit vložený článek ]

Příkladem na míru vytvořeného českého testovacího systému je ExaME (http://www.exame.cz/), který od roku 1998 vyvíjí a používá EuroMISE Centrum UK a AV ČR . Systém pracuje s položkami typu MTF. Počet nabízených odpovědí není omezen, alespoň jedna z nich však musí být správná a alespoň jedna nesprávná. Tvorba testů v systému ExaME funguje ve třech vrstvách. Znalostní báze obsahují položky s nabízenými odpověďmi a vyznačením jejich správnosti. V ohodnocené bázi jsou navíc i údaje o důležitosti a obtížnosti jednotlivých položek a nabízených odpovědí. Obtížnost a důležitost položek se mohou pro jednotlivé kurzy nebo školy lišit, z jedné znalostní báze tak lze připravit více ohodnocených bází. Samotný test se vytváří výběrem položek z ohodnocené báze.

ExaME nabízí dva druhy testů. Pevné testy jsou sumativní testy vytvářené učitelem na míru danému kurzu. Obvykle se pevný test administruje v počítačové učebně a přístup k němu je omezen časově i rozsahem IP adres, z nichž je dostupný. Studenti jsou při vyplňování testu přihlášeni ke svým účtům a položky dostávají v náhodném pořadí. Automatické testy se naproti tomu generují online dle studentem požadované délky a obtížnosti. Tyto formativní testy mohou studenti využívat např. při samostudiu v rámci e-learningových kurzů. Offline verze formativního testu byla spolu s příslušnou znalostní bází publikována také na CD jako příloha k učebnici .

Výsledek v testu (celkové skóre), jakož i položkové skóre se v ExaME vypočítává jako vážený průměr . Systém umožňuje export výsledků ve formátu csv a následná položková analýza je připravena ve volně šiřitelném statistickém prostředí R.

Papírové testování

[ ✎ upravit vložený článek ]

V anglické odborné terminologii se rozlišují dva pojmy: čistě počítačové testování a počítačem podporované testování. Ve druhém případě může sběr odpovědí probíhat i pomocí papírových dotazníků.

Počítačové testování je jistě meta, k níž celý obor směřuje. Přesto má papírové testování svůj význam nejen při nedostatku počítačového vybavení, ale i jako snadný začátek s počítačovým zpracováváním testů a s používáním souvisejících metodik. Vhodně zvolené programy a technologie nám mohou výrazně ulehčit práci.

Vytváření papírových testů

Podoba odpovědních listů pro papírové testování musí odpovídat předpokládanému způsobu vyhodnocování. Pro ruční vyhodnocování stačí volně vytištěný seznam nabídnutých odpovědí. Pro automatizované vyhodnocení je třeba navrhnout formuláře tak, aby byly snadno strojově čitelné a vyhovovaly požadavkům na optické rozpoznávání značek (OMR, optical mark recognition). Příklad odpovědního formuláře je v příloze. Další příklady strojově zpracovatelných dotazníkových listů lze vyhledat na internetu pod termíny „bubble answer sheet“ nebo „OMR answer sheet“.

Testy lze generovat a tisknout přímo i z programů podporujících testování, jako je Moodle, který má pro tvorbu strojově čitelných formulářů rozšíření Quiz OMR. Další možností je specializovaný testový program Rogo, který rovněž podporuje tisk strojově čitelných formulářů, včetně vytváření několika verzí testu s různě seřazenými otázkami. V praxi se pro přípravu testových dotazníků užívá i řada proprietárních systémů, například pro zpracování přijímacích testů , . I tyto programy obvykle nabízejí možnost promíchávat položky a vytvořit několik verzí stejného testu, což umožňuje lépe využít plochu testovací místnosti.

Vyhodnocování papírových testů

Ruční vyhodnocení testů pomocí průsvitky

Obr. 9.1 Princip kontroly správnosti odpovědí pomocí průsvitky.
Na snímku je odpovědní dotazník vytištěný černě, studentovy odpovědi jsou zakroužkované modře a fólie pro kontrolu správnosti je vytištěná šedě. Chybná odpověď byla podtržena červeně.

Tradičně se „kroužkovací“ papírové testy vyhodnocovaly pomocí průhledné fólie – průsvitky, na které byly vyznačené správné odpovědi. Průsvitka se přiložila na testový list se zakroužkovanými odpověďmi studenta a učitel mohl rychle a poměrně přesně vyhodnotit vyplněné testy. Nejčastějším zdrojem nepřesností bývaly chyby učitele při sčítání správných odpovědí. Výhodou bylo naopak snadné vyřešení položek, v nichž student svou odpověď dodatečně opravil.

Skenování a strojové rozpoznávání

Máme-li po ruce příslušnou techniku, nebo je-li potřeba vyhodnotit testy průkazně a bezrozporně (např. když má výsledek velký vliv na přijetí uchazeče nebo na další studium respondenta), je vhodné testy skenovat a strojově opticky vyhodnotit.

Formulář pro strojové rozpoznávání odpovědí je třeba navrhnout předem. Můžeme jej vytvořit ručně nebo použít některý specializovaný program (např. ). Pro čtení datových polí formulářů je možné pořídit některý z řady různých programů, např. Remark Office OMR , SPSS Data Collection Paper , ABBYY FlexiCapture , nebo Kodak Capture Pro Software .

Své služby na tomto poli nabízejí i četné firmy specializované na sběr dat . Zajímavé řešení nabízí společnost Epson. Při nákupu jejích skenerů je možné jako bonus získat program Epson Document Capture Pro , který čtení dat z dotazníků rovněž podporuje. Digitalizace formulářů je také oblíbeným tématem seminárních prací z informatiky na Vysoké škole ekonomické v Praze, takže i v nich lze najít inspiraci (např. , ).

Je velmi důležité, jak konkrétní program pro vytěžování dat z formulářů dokáže řešit nestandardní situace. Mezi nejčastější patří nejasné vyznačení odpovědí, posunutí formuláře, zdeformování jeho digitálního obrazu, zmačkání odpovědního listu v podavači skeneru či vtažení dvou listů současně. Při velkém počtu formulářů, např. při přijímacím řízení, může být řešení takových problémů kritické. Před pořízením konkrétního programu je proto vhodné si opatřit reference od dosavadních uživatelů.

Příklady testování pomocí skenovaných formulářů v praxi

Tématu vytěžování papírových dotazníků věnuje pozornost řada škol. Uveďme zde několik příkladů.

Česká zemědělská univerzita v Praze zpracovává v každém dni přijímacího řízení 2500 testů o 20–50 otázkách. Kvůli problémům při skenování změnila technologii z původního software Tests Checker 2.30 na program Remark Office OMR, s nímž je řešení incidentů při rozpoznávání snazší a efektivnější .

Fakulta informatiky Masarykovy univerzity v Brně se dlouhodobě zabývá vývojem systému pro vytváření, zpracovávání a vyhodnocování písemných testů , . Vynaložné úsilí se zúročilo v systému Skenování písemek, který je dnes součástí informačního systému univerzity . Je již vyzkoušený, používá se například na lékařské fakultě MU pro testování předmětu Lékařská biologie. Několik set studentů dostává testy se zhruba stovkou otázek. Testy se následně skenují, vyhodnocují a výsledky se přenášejí do informačního systému školy .

Náklady elektronického testování

[ ✎ upravit vložený článek ]

Příprava, provedení a vyhodnocení testů jsou velmi pracné a nákladné úkony. Při velkém počtu zkoušených studentů lze očekávat, že cena jednoho testu klesne („úspory z rozsahu“), protože fixní náklady se rozdělí na víc částí. Pro malé počty hodnocených je rozhodně méně pracné zkoušet ústně, než připravovat, provádět a hodnotit testy. K rozhodnutí zkoušet malý počet studentů pomocí testů obvykle vedou závažné důvody. Hodnocení studentů pomocí standardizovaných testů může být metodou volby, pokud potřebujeme, aby výsledky byly prokazatelně objektivní a reprodukovatelné, např. když hrozí, že se proti nim budou testovaní odvolávat. Z ekonomického hlediska se testování vyplatí při velkém počtu zkušených, neboť vysoké pořizovací náklady budou vyváženy nízkými provozními náklady.

Jednou z nejdražších položek při hodnocení studentů pomocí testů jsou náklady na testovou úlohu. Vytvoření dobrých otázek totiž vyžaduje tým expertů v příslušném oboru, proškolených navíc v metodice tvorby testů. Další výdaje přináší oponování otázek a pilotní testování s dostatečně velkou skupinou studentů.

Náklady na přípravu položek pro důležité testy se odhadují na 1000 USD za úlohu; obecně se dá říci, že náklady na položku neklesají pod 300 USD.

Celkové náklady na vývoj jedné kvalitní položky do adaptivního přijímacího testu spočítal např. Rudner . Ukázal, že kvalitní kalibrovaná položka stojí (v USA) 1500–2000 USD. Porovnáme-li údaj s odhadem nutného počtu položek v položkové bance pro běžné adaptivní testování od Breithauptové (asi 2000 položek v bance), dojdeme k astronomické částce 3–4 miliony USD za test .

Celkové náklady se mohou snížit, použijeme-li již hotové otázky. Mohou to být otázky, které jsme připravili v minulých kolech testování. Nebo můžeme testové položky koupit. K dostání jsou sady otázek z různých oborů medicíny v obvykle používaných testových formátech (SBA a MCQ). Nakladatelství Amazon nabízí např. 500 otázek z chirurgické anatomie a akutní péče ve formátu SBA za 22 GPB . Položky je ovšem nutné odborně přeložit a použít přitom aktuální vyučovanou terminologii, což vede i v tomto případě k nezanedbatelným výdajům, náklady na kalibraci zůstávají stejné.

Snížení nákladů na pořízení a kalibraci položek by mohlo přinést sdílení otázek mezi pedagogy. Této problematice, včetně úspěšných příkladů řešení ze zahraničí, se věnujeme v samostatné kapitole 9.6.2 Sdílené banky testových úloh. Efektivitou vynakládaných prostředků na hodnocení studentů medicíny se v obecnější rovině zabývá kapitola Cost-effective assessment v knize .

Automatické generování položek a testů

[ ✎ upravit vložený článek ]

S tím, jak přibývá počítačem podporovaného testování, a zvláště pak s rozvojem adaptivního testování, nabývají na významu metody, kterými se automatizuje tvorba testových úloh. V tradičním přístupu ke konstrukci testů vytvářejí jednu každou položku specialisté na konkrétní oblast. Nejprve úlohu napíše autor, potom ji další odborníci oponují, následně ji pedagog prověří v pilotním testu a podle výsledku ji reviduje a upravuje. Teprve poté se položka konečně použije pro testování. Celý proces je dlouhý a nákladný. V důsledku toho je stále obtížnější pokrýt rostoucí poptávku po zkušebních položkách .

Automatické vytváření položek (Automatic Items Generation, AIG) představuje jiný přístup k tvorbě úloh. Doplňuje tradiční postup o speciálně naprogramované algoritmy, které vytvářejí klony původních otázek. Cílem AIG je vytvořit velké množství vysoce kvalitních položek s malým vkladem lidské práce před samotným testem .

AIG se v principu skládá ze dvou kroků. V prvním vytvoří tým specialistů úlohu a zvýrazní ty její parametry či části, které se dají měnit. Ve druhém kroku se tyto části (často strojově, např. pomocí slovníků synonym) nahrazují či mění tak, aby vznikaly nové položky .

Výhodou automatické tvorby položek je, že předem známe psychometrické vlastnosti odvozených úloh, pokud jsou známé psychometrické parametry původní zdrojové otázky. Nevýhodou naopak je, že odvozené položky nemůžeme považovat za vzájemně nezávislé, neboť navzdory vnější odlišnosti testují stejnou znalost, a nemá tedy smysl je použít současně v jednom testu.

Banky testových úloh

[ ✎ upravit vložený článek ]

Nejstarší formou položkových bank byly patrně lístkové katalogy testových otázek, které si vytvářeli učitelé sami . Pro sdílení položek je výhodnější použít počítačové banky testových úloh (BTÚ, item bank). Jejich úkolem není sdílet jen samotný text úlohy, ale i klíčová slova, informace o původu položek, jejich psychometrických vlastnostech a další metadata.

Banku testových úloh můžeme chápat i jako ucelený informační systém, který zahrnuje jak „úložiště“ testových položek, tak i veškeré procesy od jejich vývoje až po sestavování testů. Takto pojímá banku testových úloh například CERMAT , který vypracoval komplexní model banky testových úloh včetně návrhu řešení HW i SW, mapy procesů, analýzy rizik atd. V našem textu se však budeme držet užšího vymezení ve smyslu úložiště testových úloh (též položková banka).

Jak jsme již uvedli, banky testových úloh obsahují nejen samotný text úlohy, ale i rozsáhlé informace o vývoji úlohy a psychometrické vlastnosti položek. Tato metadata položky většinou zahrnují následující údaje :

1. autor položky,
2. datum vložení,
3. oponent,
4. status položky (např. nová, pilotovaná, aktivní, vyřazená),
5. hraniční skóre položky dle Angoffovy metody,
6. číslo správné odpovědi,
7. formát položky,
8. parametry položky podle klasické teorie,
9. parametry položky podle IRT,
10. deskriptor MeSH,
11. téma výuky,
12. uživatelem definovaná pole.

Vzhledem k tomu, že položková banka je v podstatě jednoduchá databáze, může být uložena v téměř libovolném databázovém systému, nebo dokonce v prostředí tabulkového procesoru. Nicméně existuje řada komerčních řešení určených přímo pro vedení bank testových úloh . Obsahují často nástroje pro hodnocení položek, umožňují zobrazit úlohu v podobě, jak ji uvidí testovaný, podporují tisk testů a podobně .

Formáty výměny testových položek

Testové položky mohou vznikat v mnoha různých systémech a v nejrůznějších systémech je lze také používat. Je proto mimořádně důležité, aby je bylo možné přenášet mezi platformami. Proto postupně vznikla řada formátů, které export a import umožňují. Jednoduché proprietární formáty podporují často přenos jen mezi několika určitými programy, nebo podporují jen několik málo formátů testových úloh. Na druhou stranu bývají tyto formáty přehledné a pochopitelné (např. Aiken). Na opačném konci pomyslné stupnice komplexnosti stojí všeobecně přijímané standardy interoperability výukových systémů, z nichž nejpoužívanější je QTI.

QTI

[ ✎ upravit vložený článek ]

QTI (Question & Test Interoperability) je název standardu pro výměnu testových úloh, který vytvořilo IMS Global Learning Consortium. Konsorcium IMS vyvíjí specifikace pro interoperabilitu výukových materiálů a zabývá se i standardy výměny dat mezi e-learningovými nástroji LTI (learning tools interoperability). Standardy LTI umožňují přenos dat, např. známek z testovacího programu do virtuálního výukového prostředí. K vytvoření standardu výměny otázek QTI vedla potřeba zabránit zmaření práce, která byla vložená do přípravy úloh, při změně technologie testování.

Poslední všeobecně přijímanou verzí QTI je vydání 1.2.1. Novější verze 2.0 zatím nebyla implementovaná všemi výrobci testovacích programů a verze 2.1, která by měla řešit problémy předchozích verzí, dosud nebyla uvolněna ve stabilní verzi.

Proprietární formáty výměny

Aiken

Aiken je velmi jednoduchý formát umožňující výměnu položek s vícenásobnou odpovědí. Jeho výhodou je syntaxe, která se blíží přirozenému jazyku:

Kmen otázky ... :

A) distraktor 1

B) správná odpověď

C) distraktor 2

D) distraktor 3

ANSWER: B

GIFT

Proprietární formát Moodle pro import otázek do testů GIFT je složitější, ale podporuje daleko širší spektrum typů testových položek: multiple choice, true/false, short answer, matching a numerical, jakož i otázky na doplňování chybějících slov. Importovaný textový soubor může obsahovat kombinaci různých typů otázek, komentáře, názvy otázek, hodnocení odpovědí pomocí vah a další parametry. V českém jazyce je možné psát otázky např. v textovém editoru Word, pokud použijeme kódování Windows-1250 a výsledek uložíme jako prostý text (tj. soubor.txt).

Sdílené banky testových úloh

[ ✎ upravit vložený článek ]

Ukázalo se, že sdílet testové otázky pro hodnocení některých etap studia medicíny je velmi přínosné. Důvody ke spolupráci jsou přinejmenším tři.

1. Sdílení testových úloh a spolupráce při jejich tvorbě vede ke snižování nákladů.
2. Spolupráce a sídlení výsledků vedou ke zvyšování kvality testů a přispívají tak ke zvyšování úrovně zdravotní péče.
3. Standardizace testování a sdílení položek zlepšují mezinárodní porovnatelnost výsledků výuky, což je důležité při hledání financí a získávání akreditací.

Ze zahraniční známe několik sdružení, která provozují položkové banky a podporují sdílení kalibrovaných položek. Jsou to především

• globální sdružení IDEAL, které vzniklo rozšířením spolupráce na sdílení otázek mezi jednou kanadskou a jednou čínskou lékařskou školou,
• Medical Assessment Alliance, která působí v německé jazykové oblasti,
• Medical Schools Council Assessment Alliance, jež sdružuje všechny lékařské školy ve Velké Británii.

Ze spolupráce plynou nejen výhody, ale objevují se i problémy spojené s přenosem otázek z jedné školy na druhou. Způsobují je rozdíly v učebních osnovách, kulturní rozdíly a podobně. Ukazuje se však, že otázky z položkových bank lze pro vlastní použití přizpůsobit s vynaložením relativně malého množství práce.

IDEAL Consortium

[ ✎ upravit vložený článek ]

IDEAL Consortium (International Database for Enhanced Assessments and Learning) je dobrovolné sdružení 27 vysokých škol z 11 zemí z celého světa , na nichž se medicína přednáší v angličtině. Nejvíce jich je z Austrálie a Kanady, významný podíl tvoří země středního východu. Jde přitom v mnoha případech o významné univerzity, které se v žebříčcích řadí mezi nejlepších 150 na světě.

Cíle sdružení jsou formulovány ve třech bodech:

• vytvořit a sdílet velký počet kvalitních testových otázek pro účely lékařského vzdělávání v mezinárodním měřítku,
• podporovat komunikaci mezi lékařskými fakultami v oblasti standardů kvality testování,
• podporovat výzkum a rozvoj mezinárodních norem v posuzování lékařské způsobilosti.

Konsorcium buduje dvě oddělené databáze otázek. Databáze pro sumativní testování obsahuje 13 tisíc otázek a přístup do ní je striktně omezen. Druhá databáze s otázkami pro formativní hodnocení obsahuje 6 tisíc položek určených pro sebevzdělávání a přístup do ní je možný po přihlášení. Výše uvedené informace o počtech otázek pocházejí z webových stránek konsorcia. V publikaci z roku 2012 je celkový počet otázek v databázi odhadnut na 32 tisíc..

Otázky jsou opatřeny klasifikátory (metadaty), které v nich umožňují efektivně vyhledávat. Jedním z klasifikátorů je řízený slovník biomedicínských deskriptorů MeSH (Medical Subject Headings). Dalšími jsou předdefinované kvalitativní charakteristiky, jako jsou disciplína, nebo úkoly lékaře a nakonec výkonové (psychometrické) charakteristiky jako jsou úroveň obtížnosti, diskriminační schopnost, počet použití apod. Kvalita otázek se zdá velmi dobrá a i přes kulturní rozdíly odrážející místo vzniku je lze s malým vkladem práce přizpůsobit pro místní podmínky .

Konsorciem byla vytvořena sada programů, které slouží:

• Pro skladování, vyhledávání a získávání položek (testových otázek).
• Pro administraci hodnocení, analýzu studentských odpovědí a poskytování zpětné vazby.
• Pro správu a sdílení položek uvnitř i mezi institucemi

Vývojové náklady byly menší než 1 mil. USD a byly hrazeny z hongkongských grantů pro rozvoj výuky.

Podporované typy testových položek

• SBA (single best answer) – otázky s jedinou nejlepší odpovědí
• EMQ (extended-matching questions) – rozšířené přiřazovací otázky
• SAQ (short-answer questions) – otázky s krátkou tvořenou odpovědí
• MRQ (multiple response questions) – otázky s více správnými odpověďmi (~ MTF)
• MEQ (modified assay question) – modifikovaný esej
• OSCE/OSPE (objective structured clinical/practical examination) - objektivně strukturované klinické/praktické zkoušení

Součástí otázek mohu být i vložené objekty – audio, video, grafy a tabulky. Otázky s sebou nesou metadata zahrnující mimo jiné informace o původním autorovi, o zdrojovém materiálu, o zpětné vazbě od studentů a podobně. Banky otázek s omezeným přístupem (pro sumativní hodnocení) i volným přístupem (pro formativní testování) jsou každoročně aktualizovány. Software sdružení IDEAL podporuje práci jak na lokálním PC, tak online na vzdáleném serveru. Programy umožňují nejen zadávání otázek a klasifikaci položek, ale též jejich položkovou analýzu.

Kvalita obsahu je podpořena i pravidly, podle nichž jsou členové sdružení přijímáni. Musí jít o (lokálně) akreditované vysoké školy, které mají zavedenou kontrolu kvality hodnocení studentů. Předpokladem je ochota přispět nejlepšími testovými otázkami (minimálně 150 položek ročně) a podmínkou přijetí je i záruka některého stávajícího člena sdružení.

Sdružení poskytuje svým členům podporu formou školení školitelů (v Hongkongu), vydává manuály a učí i pravidlům pro správnou tvorbu otázek.

Více informací na stránkách sdružení: http://www.idealmed.org/.

Medical Assessment Alliance

[ ✎ upravit vložený článek ]

V německy mluvících zemích se spoluprací při tvorbě a sdílení testových otázek zabývá Medical Assessment Alliance (MAA), která provozuje svůj Item Management System (IMS). Vznikla v roce 2006 jako výsledek spolupráce lékařských fakult univerzity v Heidelbergu, v Berlíně a v Mnichově. Skupina se od té doby rozrostla na 31 fakult v Německu a ve Švýcarsku. Na přípravě otázek spolupracuje více než 2 800 uživatelů v 750 pracovních skupinách .

Pro zajištění podpory při spolupráci a výměně otázek byla založena nezisková organizace, jejíž náklady se dělí mezi všechny členy. Problémy se řeší na společných jednáních a rozhodnutí se přijímají na základě hlasování. Hlavní cíle aliance jsou

• spolupráce ve všech oblastech testování studentů,
• zajištění kvality a dostupnosti otázek pro testování,
• vypracovávání a zavádění standardů,
• podpora inovativních forem testování,
• vývoj v oblasti testování.

Zmíněný systém IMS (Item Management System) je koncipován jako řešení „vše v jednom“, podporující všechny fáze přípravy otázek. Testování i vyhodnocování výsledků odpovídá směrnici pro zkoušení na lékařských vysokých školách v Německu podle mezinárodních standardů.

Obr. 9.2 Pracovní cyklus IMS

Pracovní cyklus v IMS se skládá ze šesti modulů:

• Tvorba obsahu zkoušky a její sestavování
• Předběžná recenze jako nástroj zabezpečování jakosti před zkouškou
• Zkoušení – provádění zkoušky v písemné, ústní nebo praktické formě
• Vyhodnocení zkoušky podle ustanovení příslušných studijních předpisů
• Následná recenze jako záruka kvality po zkoušce
• Mezifakultní zásoba položek pro sběr, sdílení a výměnu všech získaných údajů

V databázi IMS je aktuálně uloženo více než 90 000 otázek. Od roku 2007 proběhlo přibližně 4 600 testování studentů.

Medical Schools Council Assessment Alliance

[ ✎ upravit vložený článek ]

Medical Schools Council Assessment Alliance (MSC-AA) je organizace sdružující 31 lékařských vysokých škol ve Velké Británii. Jejím cílem je zlepšit současnou praxi hodnocení výsledků pregraduální výuky. Spolupráce byla zahájena v srpnu 2010 na základě rozhodnutí General Medical Council, že lékařské školy mohou sdílet testové položky, aby se dosáhlo srovnatelného hodnocení studentů. Jde o alternativu k porovnávání výsledků výuky pomocí národních licenčních zkoušek.

Aliance navazuje na činnost sdružení lékařských fakult Universities Medical Assessment Partnership (UMAP), které bylo založeno v roce 2003 za účelem spolupráce při tvorbě a sdílení otázek ve formátech MCQ a EMQ a mělo dosáhnout vyšší kvality testových otázek. Sdružení se postupně rozrůstalo o další školy a po roce 2009 se přeměnilo na MSC-AA.

Konečným cílem MSC-AA je zvětšit důvěru veřejnosti, zaměstnavatelů a regulačních orgánů v kvalitu absolventů lékařských vysokých škol, a to

• vývojem vysoce kvalitních testových položek pro pregraduální studenty,
• sdílením zkušeností a tvorbou přidané hodnoty prostřednictvím spolupráce, spíše než konkurencí,
• prokázáním rovnocennosti norem uplatňovaných lékařskými fakultami.

Díky MSC-AA se do tvorby testových položek a přípravy testů zapojuje více pedagogů, což vede k lepší kvalitě hodnocení výsledků výuky. Partnerské školy mají přístup k bance vysoce kvalitních testových položek v různých formátech, s dobrou reliabilitou a validitou. Otázky vznikají ve spolupráci a procházejí rozsáhlým testováním kvality a standardizací. Všechny lékařské vysoké školy v UK se dohodly, že zahrnou do závěrečných zkoušek dohodnutý podíl sdílených otázek, čímž zajistí vzájemnou psychometricky validní srovnatelnost těchto zkoušek.

Sdílení otázek v portálu TESTY

[ ✎ upravit vložený článek ]

I v českém prostředí a lékařském kontextu se objevují první pokusy o sdílení testových otázek. Záměrem portálu TESTY (http://testy.lf3.cuni.cz/moodle/) bylo vytvořit zabezpečený webový prostor pro sdílení testových otázek lékařských fakult .

Portál vznikl jako samostatná instance Moodle. V pilotním provozu byla naplněna složka biofyziky, ve které bylo ke konci roku 2012 asi 3000 otázek ve formátu MTF od autorů z pěti lékařských fakult. Otázky prošly anonymní oponenturou ostatními autory a byly roztříděny do osmi kategorií podle tematického zaměření. V ostatních oborech se podařilo shromáždit významný počet otázek ve složce patologie a prvních 500 otázek v dosud nezveřejněné složce biochemie. Otázky byly importovány ve formátu Aiken. Návod k obsluze obsahuje dvě instruktážní videa k založení testu a tvorbě testů z databáze otázek. Probíhá diskuse o následujících otázkách:

Má se celá databáze otázek nebo její část otevřít studentům?

Má smysl statisticky ověřovat obtížnost otázek stanovenou oponentem?

Má se studentům umožnit samotestování?

Projekt ukázal, že sdílení otázek je možné, prakticky proveditelné a je o ně na fakultách zájem. Současně projekt ukázal na meze zvoleného přístupu:

• Řada pedagogů se sdílením svých otázek váhá, z části i proto, že nejsou jasně stanovena pravidla, co se s otázkami stane, a obávají se exponování otázek.
• Podporované formáty otázek jsou zatím omezeny na MCQ (respektive MTF).
• Ukládání otázek v Moodle je výhodou pro uživatele tohoto LMS systému, ale může být omezením pro ostatní.
• Projekt v současné podobě nepracuje s kalibrovanými položkami a nejsou vytvořeny mechanismy pro sběr a ukládání psychometrických charakteristik položek.

Přílohy

Pohřebiště formátů otázek s mnohočetným výběrem odpovědi (MCQ)

[ ✎ upravit vložený článek ]

Početnou rodinu otázek s mnohočetným výběrem odpovědi (MCQ) můžeme rozdělit do dvou skupin položek. Do první patří ty, které od zkoušeného vyžadují vyznačit všechny vhodné odpovědi (ano/ne), do druhé pak položky, které od zkoušeného vyžadují, aby z nabídnutých odpovědí vybral jednu, nebo jiný předem stanovený počet odpovědí, které nejlépe odpovídají na otázku. Do každé skupiny patří řada možných formátů; nejvýznamnější jsou následující podtypy MCQ

Tab. 10.1 Nejvýznamnější podtypy MCQ (položky typu ano/ne)

Položky typu „ano/ne“ – zkoušený má označit všechny možnosti, které jsou pravdivé:
typ C – položky s odpověďmi typu (A/B/obě/žádná )
typ K – komplexní nebo mnohonásobné položky typu ano/ne
typ X – jednoduché položky typu ano/ne – v našem textu označované MTF

Tab. 10.2 Nejvýznamnější podtypy MCQ (položky s jedinou nejlepší odpovědí)

Položky „s jedinou nejlepší odpovědí“ – zkoušený má označit jen jednu možnost, která nejlépe odpovídá zadání:
typ A – otázky s jedinou nejlepší odpovědí ze tří nebo více možností, v našem textu označované jako SBA
typ B – přiřazovací otázky se čtyřmi nebo pěti možnostmi v sadě 2–5 položek
typ R – rozšířené přiřazovací otázky – v našem textu označované jako EMQ

Písmena použitá pro označení jednotlivých variant MCQ nemají žádný hlubší význam, byla k typům otázek přiřazována postupně, tak jak se objevovaly.

Jak již tento neúplný přehled formátů MCQ napovídá, v průběhu let bylo vyvinuto a v praxi vyzkoušeno velké množství (více než dvacet) podtypů otázek s mnohočetným výběrem odpovědí. Postupně se ukázalo, že některé podtypy jsou si natolik podobné, že je není vhodné rozlišovat.

Je příznačné, že kapitola věnovaná přehledu všech podtypů MCQ v manuálu amerického National Board of Medical Examiners (NBME) se jmenuje Hřbitov formátů položek dle NBME . V osmdesátých letech 20. století popisovala doporučení NBME již jen sedm typů otázek s mnohočetným výběrem odpovědí (označovaných jako typy A, B, C, G, K, X a M).

Další revize již počítala pouze se čtyřmi podtypy (A, B, C a K). V devadesátých letech 20. století pak byly vyvinuty rozšířené přiřazovací otázky (R-typ, EMQ). Poslední doporučení NBME z r. 1998 pracují jen se dvěma podtypy otázek s mnohočetným výběrem odpovědí: s otázkami s jedinou nejlepší odpovědí (A-typ, SBA) a s rozšířenými přiřazovacími otázkami (R-typ, EMQ).

Použití ostatních podtypů v medicíně považují autoři těchto doporučení za vysloveně nevhodné.

Ukázky vybraných typů otázek s mnohočetným výběrem odpovědí (MCQ)

[ ✎ upravit vložený článek ]

Typ B – přiřazovací otázky

Přiřazovací otázky typu B se v současné době nahrazují rozšířenými přiřazovacími otázkami (EMQ).

POKYNY: Ke každé očíslované položce přiřaďte jeden nadpis označený písmenem, který s ní nejtěsněji souvisí. Ke každé očíslované položce patří právě jeden nadpis. Každý nadpis lze použít jednou, vícekrát nebo vůbec.

A. Koarktace aorty

B. Ductus arteriosus patens

C. Fallotova tetralogie

D. Aortální cévní prstenec

E. Atrézie trikuspidální chlopně

1. Zlepší se systemo-pulmonární arteriální anastomózou
2. Nejčastější příčina vrozené cyanotické srdeční vady
3. Chirurgicky se koriguje resekcí a anastomózou end-to-end
4. Možná příčina dysfagie u dětí
5. Hypertenze na pažích a hypotenze na dolních končetinách.

Typ C – otázky typu A/B/obě/žádná

POKYNY: Ke každé číslované položce přiřaďte jednu možnost označenou písmenem. Každá možnost označená písmenem může být použita jednou, vícekrát či vůbec.

A. Malárie způsobená Plasmodium vivax

B. Malárie způsobená Plasmodium falciparum

C. Platí A i B

D. Neplatí A ani B

1. Při záchvatu je léčbou volby kombinace primachinu a chlorochinu
2. Při pobytu v endemické oblasti se k potlačení záchvatů užívá chlorochin 1× týdně
3. Trvale se vyléčí chlorochinem
4. Profylaxe infekce se provádí chlorochinem 1× týdně

Typ K – komplexní položky typu ano/ne

Vyberte pravdivá tvrzení

A – platí 1, 2 a 3

B – platí 1 a 3

C – platí 2 a 4

D – platí 4

E – platí vše

Dítě s akutní exacerbací revmatické horečky má obvykle

1. zvýšenou sedimentaci
2. prodloužený interval PR
3. zvýšený titr antistreptolysinu O
4. podkožní uzlíky

Podrobnosti o typech testových úloh, pokyny pro jejich vytváření a hodnocení

Esej

[ ✎ upravit vložený článek ]

Esej může být zadán dvěma základními způsoby:

1. Testovaný dostává otázku nebo sadu otázek, na něž má odpovědět ve stanoveném čase. Dodržují se pravidla obvyklá u zkoušek, není povoleno používat žádné zdroje informací.
2. Zadává se téma eseje. Testovaný píše esej ve vymezeném čase, ale smí používat různé zdroje informací. V některých případech se témata eseje dokonce sdělují testovaným předem.

V prvním případě je výsledek více závislý na znalostech zkoušeného a na jeho paměti. V každém případě esej dobře testuje schopnost komplexního zpracování odpovědi na obtížnou otázku (někdy dokonce na otázku, jejíž řešení není dosud známé, nebo kterou ani není možné za stávajícího stavu poznání zodpovědět). Předpokladem úspěchu testovaného jsou ovšem také jeho vyjadřovací schopnosti, znalost jazyka a další. Zkoušení pomocí eseje je racionální, pokud chceme testovat i tyto schopnosti. V případě, že máme hodnotit pouze přesně definované okruhy znalostí a dovedností, které nesouvisejí se zběhlostí v používání jazykových prostředků, je vhodnější sáhnout po jiném formátu otázek.

Pokyny pro zadávání eseje

1. Rozhodněte, zda testovaní budou moci při psaní eseje používat nějaké zdroje informací.

   Záleží na tom, zda vyžadujeme, aby si student přesně pamatoval větší množství dat z oblasti, kterou má v eseji zpracovat, nebo zda chceme spíše testovat, jaký má ve zkoušené oblasti přehled a jak dokáže informace zpracovávat.

2. Vyberte problém, který je možné uspokojivě pojednat v čase, který bude pro psaní eseje k dispozici, popřípadě jednoznačně vymezte určitou podotázku, kterou se mají zkoušení zabývat.
3. Zadání formulujte jednoznačně. V zadání se vyhněte "chytákům", záporům, zkratkám apod.
4. Popište, jak strukturovanou odpověď očekáváte, popřípadě z jakého pohledu má být problém zpracován.
5. Pojmenujte myšlenkové pochody, které chcete v odpovědi hodnotit. Namísto slov popište, vysvětlete používejte raději porovnejte, doporučte, odhadněte další průběh, interpretujte výsledky, navrhněte další postup apod.
6. Nezadávejte kontroverzní témata, u nichž lze považovat za přijatelné i značně rozdílné názory.
7. Napište modelovou odpověď nebo seznam součástí, které má mít správná odpověď.
8. Zadání vyzkoušejte na malé skupině lidí, o kterých lze předpokládat, že znají správnou odpověď. Zkontrolujte, že v odpovědích této skupiny se objevily všechny položky, které mají být součástí správné odpovědi. Každá položka se musí objevit aspoň v některé odpovědi z této skupiny.
9. Nechejte zadání zkontrolovat třem recenzentům.

Pokyny pro hodnocení eseje

1. Každý esej by měl být ohodnocen dvěma hodnotiteli, kteří pracují nezávisle na sobě. Pokud to není možné, měl by jeden hodnotitel ohodnotit stejnou otázku všem testovaným osobám.
2. Všichni hodnotitelé by se měli seznámit s odpověďmi všech testovaných na otázku, kterou bodují.
3. Je vhodné poskytnout hodnotitelům modelové odpovědi pro jednotlivé známky. Modelové odpovědi by měly odpovídat hranicím mezi známkami (tedy pokud se např. otázka známkuje od A do E, měli by hodnotitelé mít k dispozici modelovou odpověď, která odpovídá hodnocení mezi A a B, další pro B/C atd.).
4. Pokud není možné vypracovat modelové odpovědi pro hodnocení, vypracujte osnovu hodnocení.
5. Odpovědi by měly být hodnocené anonymně.

Otázky s krátkou odpovědí (SAQ)

[ ✎ upravit vložený článek ]

Při vytváření otázek s krátkou odpovědí pro písemné testy dbejte těchto doporučení:

• Otázky formulujte jasně a jednoduše, vystříhejte se jazykových záludností a chytáků.

Dobrá otázka s krátkou odpovědí testuje znalost konkrétních fakt nebo schopnost analyzovat a klinicky interpretovat nějaký scénář. Není vhodné ve stejné úloze současně testovat schopnost porozumět složitě konstruované otázce – výsledky hodnocení by pak byly prakticky neinterpretovatelné.

• Pokuste se na otázku odpovědět z různých úhlů pohledu.

Otázka, která se ptá na jednu konkrétní skutečnost, by měla mít jedinou správnou odpověď. Naopak otázka, která se ptá na možné varianty (např. na diferenciální diagnózu), bude mít více správných řešení. Počítejte s tím, že i otázku, která vám připadá jednoznačná, mohou různí čtenáři pochopit různě. Vždy je vhodné, aby otázky zkontroloval recenzent.

• Napište, jak dlouhou odpověď očekáváte a jak bude otázka hodnocena.
• Negativně formulované otázky používejte opatrně.

Kladně formulované otázky („Jaký je nejlepší postup...“, „Jaká je nejpravděpodobnější příčina...“) mají větší didaktickou hodnotu, než negativní otázky („Jaký je nesprávný postup“). Pokud už používáte negativně formulovanou otázku, zdůrazněte zápor např. použitím tučného písma nebo kurzívy („Které antibiotikum je v této situaci nevhodné?“).

• Dbejte, aby odpovědi nenapověděla např. velikost vynechaného místa pro její vepsání.
• Připravte pokyny pro hodnotitele.

Uveďte všechny možné správné odpovědi. Odpověď, která kromě správného řešení obsahuje i další nesprávnou odpověď, se obvykle hodnotí jako nesprávná.

K čemu slouží stanovení dusitanů v moči?

Odpovězte několika slovy (1 bod)

Pokyny pro hodnotitele:

Za správnou odpověď se považuje kterákoliv z následujících:

k průkazu infekce močových cest, k průkazu bakterií

hodnocení: 1 bod

Nesprávná odpověď, žádná odpověď, správná odpověď a současně další nesprávná odpověď se hodnotí 0 body.

Samozřejmě se předpokládá, že otázka bude bodována kvalifikovaným hodnotitelem, který na základě těchto pokynů jako správnou uzná např. i odpověď „k průkazu bakteriurie“, „je pozitivní při močové infekci“ apod.

Některé testové programy umožňují automatické vyhodnocování otázek s krátkou odpovědí. Je účelné použít tyto funkce, pokud je požadovaná odpověď opravdu velmi krátká a jednoznačná. Autor otázky musí definovat všechna možná znění správné odpovědi. Nesmí se zapomenout na možná synonyma či pravopisné varianty odpovědi (např. termíny zakončené na „-óza“/„-osa“). Většina programů umožňuje nastavit, zda se mají rozlišovat velká a malá písmena, jaká je dovolená tolerance při vkládání číselných údajů či jaké jsou přípustné pravopisné tvary konkrétního slova.

Otázky s jednou nejlepší odpovědí

[ ✎ upravit vložený článek ]

Zásady pro tvorbu otázek s jedinou nejlepší odpovědí:

• Každá otázka by měla být zaměřena na důležitý klinický problém.

Zaměřte se na problémy ze života. Neztrácejte čas testováním triviálních ani příliš složitých otázek. Nepoužívejte „chytáky“. Zkoušejte znalost, nikoliv pozornost.

• Každá otázka by měla testovat využití znalostí, nikoliv znalost izolovaného faktu.

Sama otázka může být poměrně dlouhá, ale odpovědi by měly být krátké.

Klinická otázka by měla být uvozena medailonkem, který popisuje pacientovy obtíže a anamnézu (včetně délky trvání příznaků), výsledky vyšetření, prvotní léčbu. Není třeba za každou cenu použít všechny tyto položky, údaje by však měly být v uvedeném pořadí.

Otázky z teoretických předmětů mohou být uvozeny velmi krátkým klinickým medailonkem nebo „laboratorním medailónkem“.

• Otázka musí být formulována jasně. Musí být možné na ni správně odpovědět i se zakrytými možnostmi.

Nechejte otázku zkontrolovat svými kolegy. Nejprve jim ji dejte bez nabízených možností – měli by na ni dokázat správně odpovědět. Pokud ne, otázku přepište.

• Všechny nabídnuté odpovědi (včetně nesprávných) musejí být homogenní.

Všechny nabídnuté možnosti musejí spadat do stejné kategorie. Lze to jednoduše ověřit: nabídnuté odpovědi lze seřadit na pomyslné přímce od nejméně správné po nejsprávnější:

Obr. 10.1a,b Na příkladu vlevo (a) lze možnosti nabídnuté k otázce seřadit od nejhorší (možnost C) po nejlepší (možnost D). Svědčí to o homogenitě nabídnutých možností. Pokud stejnou otázku položíte několika expertům, všichni nabídnuté odpovědi seřadí ve stejném pořadí. Naproti tomu v případě vpravo (b) není možné nabídnuté možnosti seřadit – každá možnost spadá do jiné kategorie, odpovídá na položenou otázku z jiného aspektu, takže bychom při pokusu o seřazení „srovnávali jablka s hruškami“.

Příklad otázky s nehomogenními možnostmi

Vyberte nejlepší tvrzení o Marfanově syndromu:

A. Postihuje častěji muže

B. Jde o poruchu kolagenního vaziva

C. Léčí se kyselinou hyaluronovou

D. Bývá spojen s oligofrenií

E. Projevuje se nápadně krátkými končetinami

Distraktory (nesprávné odpovědi) musí působit pravděpodobně. Možnosti mají být seřazeny náhodně nebo podle abecedy. Pokud možnosti obsahují číselný údaj, měly by být seřazené podle něj.

Všechny možnosti by měly být psané podobným stylem, měly by mít stejnou větnou stavbu a podobnou délku.

• Nepoužívejte otázky typu „Které z následujících tvrzení je správné?“, nebo „Všechna z následujících tvrzení jsou správná s výjimkou“.

Stejně tak je nevhodná většina otázek, ve kterých se vyskytnou slova „vždy“, „většinou“, „zřídka“, „výjimečně“, „nikdy“ apod.

	Tip: Zkontrolujte, že každá otázka splňuje pět výše uvedených zásad.
	Pokud otázka této kontrole vyhoví, je pravděpodobně napsaná správně.

Tip: Zkontrolujte, že každá otázka splňuje pět výše uvedených zásad.

Přehled forem testů

[ ✎ upravit vložený článek ]

Didaktický test se od „normálního zkoušení“ liší především tím, že je navrhován a interpretován podle předem stanovených pravidel. Stručnou definici uvádí P. Byčkovský: Didaktický test je nástroj systematického zjišťování výsledků výuky.

Typologie didaktických testů

V následujícím textu uvádíme přehled druhů didaktických testů z různých pohledů. Slouží spíše pro představu o šíři tématiky a terminologie, než pro praktickou tvorbu testů samotných.

Tab. 10.3 Druhy didaktických testů, upraveno volně podle Byčkovského

Klasifikační hledisko	Druhy testů
Měřená charakteristika výkonu	Testy rychlosti	Testy úrovně
Úroveň přípravy testu	Standardizované testy	Kvazistandardizované testy	Nestandardizované testy
Povaha činnosti testovaného	Kognitivní testy	Psychomotorické testy
Znalosti/schopnosti zjišťované testem	Testy výsledků výuky	Testy studijních předpokladů
Interpretace výkonu	Testy rozlišující (relativního výkonu)	Testy ověřující (absolutního výkonu)
Časové zařazení do výuky	Testy vstupní	Testy průběžné (formativní)	Testy výstupní (sumativní)
Tematický rozsah	Testy monotematické	Testy polytématické (souhrnné)
Míra objektivity skórování	Testy objektivně skórovatelné	Testy kvaziobjektivně skórovatelné	Testy subjektivně skórovatelné

Testování handicapovaných studentů a studentů se speciálními vzdělávacími potřebami

[ ✎ upravit vložený článek ]

Studentům se speciálními potřebami, např. s poruchou zraku, dyslexií či dysgrafií, se upravují podmínky pro psaní testu tak, aby nebyli znevýhodněni oproti ostatním.

Vzhledem k tomu, že pro konkrétního studenta je třeba upravit podmínky řady zkoušek, které postupně absolvuje během studia, je výhodné, aby vysoká škola měla pracoviště, které se této problematice věnuje a dokáže zkoušejícím vydat příslušná doporučení.

Na lékařských fakultách se v praxi setkáváme jen s některými typy handicapů a míra postižení bývá mírná. V dalším textu shrneme proto doporučení věnovaná jen omezenému výběru poruch. Prakticky zpracované další informace čtenář nalezne například v materiálech ke státním maturitám , nebo v publikacích organizace Association for Higher Education Access and Disability (http://www.ahead.ie), zejména .

Ve velké části případů je vhodné upravit podmínky zkoušky způsobem uvedeným v tabulce 10.4:

Tab. 10.4 Doporučené úpravy podmínek testování pro handicapované studenty

	Dyslexie	Dysgrafie	Poruchy zraku
Časový limit	Prodloužení časového limitu o 25 %	Prodloužení časového limitu o 25 %, pokud test obsahuje otevřené otázky (pro testy složené jen z výběrových otázek se časový limit neprodlužuje)	Prodloužení časového limitu o 75 %
Formální úpravy zadání	Větší bezpatkový font (např. Arial 14 nebo 16 bodů) Světle modrý, světle zelený nebo růžový papír Výrazné oddělení otázek		Větší bezpatkový font (např. Arial 14 až 26 bodů) Řádkování 1,5 nebo 2 Zarovnání k levému okraji
Způsob odpovídání na test	Nepoužívat formuláře pro strojové zpracování Umožnit zapisování odpovědi přímo do zadání namísto do odpovědního archu Delší odpovědi umožnit psát na počítači nebo zaznamenat zvukově	Nepoužívat formuláře pro strojové zpracování Umožnit zapisování odpovědi přímo do zadání namísto do odpovědního archu Delší odpovědi umožnit psát na počítači nebo zaznamenat zvukově	Nepoužívat formuláře pro strojové zpracování Umožnit zapisování odpovědi přímo do zadání namísto do odpovědního archu Delší odpovědi umožnit psát na počítači vybaveném software pro zrakově postižené nebo zaznamenat zvukově

Dále může být vhodné, aby student používal při zkoušce vhodné kompenzační pomůcky (např. elektronickou lupu). V každém případě je na jedné straně třeba minimalizovat znevýhodnění studenta se specifickými potřebami oproti intaktní populaci, na druhé straně však musí být pomůcky a úpravy podmínek takové, aby nevznikla neoprávněná výhoda oproti ostatním.

Mnohdy je vhodné, aby byl student se specifickými potřebami zkoušen odděleně od ostatních (např. v jiné místnosti). Je to nutné k tomu, aby nebyl vyrušován např. odcházejícími studenty, pokud mu byl prodloužen časový limit, nebo aby naopak nerušil ostatní, pokud např. část odpovědí nahrává jako zvukový záznam.

Rozhodnutí, že studentovi budou upraveny podmínky pro konání zkoušky, musí být podloženo odpovídajícím odborným posudkem o jeho speciálních potřebách. Posudek by kromě charakteristiky postižení a určení jeho tíže měl obsahovat i popis, jaké konkrétní činnosti jsou postižením ovlivněny, a obecné doporučení, jak při zkoušce omezit jeho dopad.

Statistické nástroje

Normální rozdělení

[ ✎ upravit vložený článek ]

Stoupáte-li po starých schodech, můžete si všimnout, že schodišťové stupně jsou nejvíc vyšlapané veprostřed. Profil vzniklý opotřebením souvisí s rozdělením náhodných jevů – v tomto případě s náhodným místem, kam na schodišťový stupeň jednotliví lidé stoupnou. Ve většině případů spočine náhodná noha náhodného chodce někde u středu a s klesající pravděpodobností na místě vzdálenějším směrem k okrajům. Po čase se působením mnoha náhodných otěrů schodu vizualizuje křivka hustoty normálního rozdělení – Gaussova křivka.

Obr. 10.2 Normální rozdělení (Gaussova křivka).

Graf znázorňuje hustotu normálního rozdělení se střední hodnotou rovnou μ a směrodatnou odchylkou rovnou σ. Hodnota funkce říká, v jakých oblastech je výsledek náhodného pokusu více pravděpodobný a v jakých méně. Výsledky poblíž střední hodnoty μ jsou pravděpodobnější než odlehlé. Většina výsledků (~ 95,5 %) se vyskytuje v rozmezí dvou směrodatných odchylek od středu tj. od –2σ do 2σ.

Příkladem normálního rozdělení může být například rozdělení vědomostí a dovedností v populaci. Pokud se potřebujeme o normalitě ujistit, tak kromě vizuální kontroly (zda je rozdělení "podobné" normálnímu) můžeme použít některý test normality.

Korelační koeficienty

[ ✎ upravit vložený článek ]

Pearsonův korelační koeficient měří sílu lineární závislosti mezi dvěma veličinami. Pomůže nám například vyčíslit, jak silná je vazba mezi výsledky ve dvou různých testech, nebo mezi výsledkem v testu a průměrnou známkou na vysvědčení.

Tip: Korelace neznamená kauzalitu

Pokud spolu dva jevy korelují, pak jsou pravděpodobně provázané (závislé), ale nelze z toho soudit na kauzální souvislost, tj. že by jeden jev byl příčinou a druhý následkem. V západním Německu v sedmdesátých letech velmi dobře koreloval vývoj porodnosti s poklesem počtu hnízdících čapích párů . Nutně to však neznamená, že by současná představa o reprodukci populace musela být neprodleně zavržena. Obr. 10.3

Tip: Korelace neznamená kauzalitu

Předpokládáme, že máme u $n$ jedinců dvojice hodnot $(X_{1},Y_{1}),(X_{2},Y_{2}),...,(X_{n},Y_{n}).$ Pearsonův korelační koeficient je pak dán vztahem

$r={\frac {\sum _{i=1}^{n}(X_{i}-{\bar {X}})(Y_{i}-{\bar {Y}})}{{\sqrt {\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}}}{\sqrt {\sum _{i=1}^{n}(Y_{i}-{\bar {Y}})^{2}}}}},$

kde ${\bar {X}}={1 \over n}\sum _{i=1}^{n}X_{i}$ je aritmetický průměr prvních měření a ${\bar {Y}}$ je aritmetický průměr druhých měření.

Ekvivalentně lze Pearsonův korelační koeficient vyjádřit pomocí součinů z-skórů

$r={\frac {1}{n-1}}\sum _{i=1}^{n}\left({\frac {X_{i}-{\bar {X}}}{s_{X}}}\right)\left({\frac {Y_{i}-{\bar {Y}}}{s_{Y}}}\right)$

kde $s_{X}={\sqrt {{1 \over n-1}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}}}$ je směrodatná odchylka (standard deviation, SD) prvních měření, $s_{Y}$ směrodatná odchylka druhých měření. z-skór $\left({\frac {X_{i}-{\bar {X}}}{s_{X}}}\right)$ říká, jak daleko je hodnota $X_{i}$ od průměru ${\bar {X}},$ přičemž za jednotku vzdálenosti bereme směrodatnou odchylku $s_{X}.$

V případě, kdy jeden ze znaků je binární (např. sledujeme-li závislost binární položky Y a celkového počtu bodů X, tzv. index RIT), se korelační koeficient redukuje na tzv. bodově-biseriální korelační koeficient

$r_{bis}={\frac {{\bar {X}}_{1}-{\bar {X}}_{0}}{s}}{\frac {n_{0}n_{1}}{n(n-1)}},$

kde ${\bar {X}}_{1}$ je průměr celkového počtu bodů těch studentů, kteří mají hodnotu sledované položky rovnou 1, ${\bar {X}}_{0}$ je průměr celkového počtu bodů těch studentů, kteří mají hodnotu sledované položky rovnou 0, $s^{2}$ je směrodatná odchylka celkových bodových zisků, $n_{1}$ je počet jedniček a $n_{0}$ je počet nul.

Korelační koeficient nabývá pouze hodnot z intervalu od -1 do 1. Svých extrémních hodnot (tedy 1 a -1) nabývá pouze pokud všechny body $(X_{i},Y_{i})$ leží na jedné přímce. Korelační koeficient je roven 1, pokud je mezi veličinami vztah přímé úměry (tedy čím větší je hodnota jedné veličiny, tím větší je hodnota i druhé veličiny). Pokud je mezi veličinami vztah nepřímé úměry, je korelační koeficient roven -1.

Obr. 10.4 Korelační koeficient nabývající hodnot z intervalu od -1 do 1

Jsou-li veličiny nezávislé, je korelace mezi nimi nulová. Nicméně Pearsonův korelační koeficient je pouze odhad populačního korelačního koeficientu, a při každém výběru n-tice studentů vyjde hodnota odhadu nepatrně jiná. Proto i pro nezávislé náhodné veličiny zpravidla vyjde Pearsonův korelační koeficient nenulový. Nulovost pak můžeme testovat pomocí statistického testu (viz např. ).

[ ✎ upravit vložený článek ]

Pearsonův korelační koeficient se pro popis závislosti dvou veličin nehodí vždy. Jeho použití je optimální, pokud jsou veličiny normálně rozdělené (tj. řídí se Gaussovým rozdělením). Není vhodné ho používat, pokud data obsahují odlehlé hodnoty (tedy hodnoty příliš vzdálené od ostatních), neboť ty mohou silně ovlivnit hodnotu Pearsonova koeficientu. Výsledný odhad může být zkreslený také pokud jsou data zešikmená (to nastává např. pokud je test příliš snadný nebo příliš obtížný). Řešením v takovém případě může být použítí Spearmanova korelačního koeficientu. Počítá se tak, že do vzorce pro Pearsonův korelační koeficient místo skutečných hodnot $X_{1},...X_{n}$ a $Y_{1},...,Y_{n}$ vložíme jejich pořadí $R_{1},...,R_{n}$ a $Q_{1},...,Q_{n}$. Vzorec Spearmanova korelačního koeficientu lze potom upravit do známějšího vztahu

$r_{S}=1-{\frac {6}{n(n^{2}-1)}}\sum \limits _{i=1}^{n}{(R_{i}-Q_{i})^{2}}.$

Cronbachovo alfa

[ ✎ upravit vložený článek ]

Cronbachovo alfa je mírou vnitřní konzistence položek, používá se často k odhadu reliability celého testu. Cronbachovo alfa , , je dáno vztahem:

$\alpha ={\frac {k}{k-1}}\left(1-{\frac {\sum _{j=1}^{k}\mathrm {var} (Y_{j})}{\mathrm {var} (Y)}}\right),$

kde $k$ je počet položek testu, $\mathrm {var} (Y_{j})$ je rozptyl hodocení j-té položky a $\mathrm {var} (Y)$ je rozptyl celkových skóre v testu.

Pro položky typu ano/ne se vzorec Cronbachova alfa zjednoduší na tvar zvaný Kuder-Richardsonova formule 20 dle článku

$\alpha ={\frac {k}{k-1}}\left(1-{\frac {\sum _{j=1}^{k}p_{j}q_{j}}{\mathrm {var} (Y)}}\right),$

kde $p_{j}$ je pravděpodobnost správné odpovědi na j-tou položku, $q_{j}=1-p_{j}$ je pravděpodobnost nesprávné odpovědi.

Hodnota rovna jedné nastává, pokud jsou položky svázány lineárně. Malé hodnoty naopak vypovídají o nízké vnitřní konzistenci položek, nebo nízké spolehlivosti testu.

Indexy shody hodnotitelů

[ ✎ upravit vložený článek ]

Cohenovo kappa měří shodu mezi dvěma hodnotiteli, kteří hodnotí stejnou skupinu n studentů. Shodu by bylo možné vyčíslit jednoduše v procentech. Cohenovo kappa je univerzálnější v tom smyslu, že bere v úvahu také pravděpodobnost náhodné shody.

Cohenovo kappa κ je dáno vztahem:

$\kappa ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}},\!$

kde Pr(a) je relativní shoda mezi hodnotiteli a Pr(e) je odhad pravděpodobnosti náhodné shody. Pokud se hodnotitelé shodli v hodnocení všech jedinců, pak κ = 1. Pokud je celkové procento shody rovno pravděpodobnosti očekávané shody při náhodném rozhodování, je κ = 0. Pokud je dokonce procento shody menší, je κ záporné. Interpretace hodnot κ je obvykle následující: Hodnotu κ > 0,75 považujeme za výbornou shodu, κ mezi 0,40 a 0,75 za dobrou shodu a κ < 0,40 považujeme za špatnou shodu.

• Příklad

Představme si, že testujeme dvěma testy 5 studentů a obdržíme tyto výsledky:

Tab. 10.5 Výsledky studentů ve dvou testech

	skóre v prvním testu	skóre v druhém testu
1. student	18	48
2. student	45	75
3. student	33	63
4. student	48	78
5. student	51	81

Pearsonův korelační koeficient je roven 1, mezi dvěma výsledky je přímo lineární závislost (druhý je vždy právě o 30 bodů vyšší než první). Budeme-li však rozhodovat u složení zkoušky na základě 50 bodové hranice, první test úspěšně absolvuje 1 student z 5, zatímco v druhém to budou 4 studenti z 5. Testy by rozhodly o ne/úspěchu shodně jen u prvního a posledního studenta, tedy ve 40 % případů. Jaká je pravděpodobnost náhodné shody testů? První test rozhoduje o úspěchu v 20 % případů a druhý v 80 % případů, náhodné shodné rozhodnutí o úspěchu by tedy nastalo v 20 % $\cdot$ 80 % = 16 % případů, podobně náhodné shodné rozhodnutí o neúspěchu by nastalo v 80 % $\cdot$ 20 % = 16 % případů, celkem tedy náhodná shoda nastává v 32 %. Cohenovo kappa je proto

$\kappa ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}}={\frac {0{,}40-0{,}32}{1-0{,}32}}=0{,}12,\!$

což svědčí o velmi malé shodě mezi dvěma testy.

• Příklad

Představme si situaci, kdy o udělení atestace rozhodují nezávisle dvě komise. Každý atestovaný je hodnocen dvakrát a každá komise rozhodne o udělení atestace buď kladně "Ano", nebo záporně "Ne". Výsledky jsou jako v tabulce 10.6, přičemž řádky odpovídají komisi A a sloupce komisi B:

Tab. 10.6

		B	B
		Ano	Ne	Celkem
A	Ano	20	5	25
A	Ne	10	15	25
	Celkem	30	20	50

Z celkem 50 atestovaných tedy bylo 20 atestovaných hodnoceno kladně oběma komisemi a 15 atestovaných hodnoceno záporně. Procento shody je tedy $\mathrm {Pr} (a)=(20+15)/50=0{,}70.$

Abychom odhadli pravděpodobnost náhodné shody $\mathrm {Pr} (e)$, všimněme si nejdříve, že:

• komise A hodnotila kladně 25 atestovaných a záporně také 25 atestovaných. Kladně tedy hodnotila v 50 % případů.
• komise B hodnotila kladně 30 atestovaných a záporně také 20 atestovaných. Kladně tedy hodnotila v 60 % případů.

Proto pokud by komise rozhodovaly náhodně, pravděpodobnost, že obě komise řeknou "Ano" je $0{,}50\cdot 0{,}60=0{,}30$ a pravděpodobnost, že obě řeknou "Ne" je $0{,}50\cdot 0{,}40=0{,}20.$ Celková pravděpodobnost náhodné shody je tedy $\Pr(e)=0{,}30+0{,}20=0{,}50.$

Po doplnění do vzorce pro Cohenovo kappa dostáváme:

$\kappa ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}}={\frac {0{,}70-0{,}50}{1-0{,}50}}=0{,}40.\!$

Další koeficienty shody

Cohenovo kappa lze rozšířit na případ více kategorií. V případě, kdy nás zajímá více hodnotitelů, je namístě použít Fleissovo kappa .

Základní IRT modely

[ ✎ upravit vložený článek ]

Nejjednodušším IRT modelem je jednoparametrický logistický model. Říká se mu také Raschův model, podle dánského matematika George Rasche, který o něm pojednal ve své knize již v roce 1960 . Pravděpodobnost správné odpovědi na položku je v Raschově modelu definovaná jako funkce jedné proměnné – schopnost studenta, a jediného parametru – parametru obtížnosti $b$. Parametr obtížnosti lze popsat jako úroveň schopnosti, při které student zodpoví položku správně právě s poloviční pravděpodobností. Na grafu 10.5 jsou vyobrazeny charakteristické křivky pro tři různé hodnoty parametru obtížnosti položky:

Obr. 10.5 Raschův model
Charakteristické křivky tří položek se stejnou diskriminační schopností (sklonem), ale různou obtížností.
——— Charakteristická křivka těžké položky. Poloviční pravděpodobnost správné odpovědi má student s vysokou celkovou znalostí charakterizovanou hodnotou $b=2$
——— Charakteristická křivka středně obtížné položky. Poloviční pravděpodobnost správné odpovědi má student s průměrnou znalostí
——— Charakteristická křivka snadné položky. Poloviční pravděpodobnost správné odpovědi vykazuje už student s nízkou znalostí charakterizovanou hodnotou $b=-2$

Dvouparametrický logistický model přidává k parametru obtížnosti ještě parametr citlivosti položky $a$. Ten popisuje sklon charakteristické funkce položky v bodě obtížnosti $b$. Odhad parametru citlivosti je blízký nule, pokud položka špatně rozlišuje mezi lepšími a slabšími studenty. V případě, kdy slabší studenti odpovídají na položku lépe než lepší studenti, je citlivost položky záporná.

Obr. 10.6 Charakteristické křivky tří položek se stejnou obtížností, ale různými diskriminačními schopnostmi
——— Charakteristická křivka položky s menší diskriminační schopností
——— Charakteristická křivka položky s větší diskriminační schopností
——— Charakteristická křivka typická pro distraktor, nebo špatně napsanou položku. Její diskriminační schopnost je záporná. Čím horší student, tím spíš položku označí jako pravdivou.

Dvouparametrický logistický model je vhodný v případě, kdy se nedá očekávat, že odpovědi na položky jsou snadno uhádnutelné. To platí např. pro osobnostní dotazníky, kde žádná odpověď není nesprávná. V případě položek s vícenásobnou odpovědí, kdy právě jedna z $m$ položek je správná, lze ale předpokládat, že i zcela neznalí studenti správnou odpověď alespoň s pravděpodobností $1/m$ uhodnou. V takovém případě má opodstatnění tříparametrický logistický model, v němž třetí parametr $d$ vyjadřuje pravděpodobnost toho, že i zcela neznalý student odpoví na položku správně. Na obrázku 10.7 vidíme charakteristické křivky tří položek lišících se v parametru uhádnutelnosti.

Obr. 10.7 ——— nejsnáze uhádnutelná položka ze tří zobrazených – zcela neznalý student na ni odpoví správně s pravděpodobností 0,3
——— na tuto položku zcela neznalý student odpoví správně s pravděpodobností 0,2
——— nejhůře uhádnutelná položka ze tří zobrazených – zcela neznalý student na ni zodpoví správně s pravděpodobností 0,1

Příklady realizace

[ ✎ upravit vložený článek ]

Automatická tvorba testů na 3. LF UK

V rámci integrovaného předmětu Buněčné základy medicíny vytvořil v roce 2011 tým učitelů 3. LF UK systém pro automatizovanou tvorbu testů z předem připravených souborů tvrzení.

Použité testy mají formální strukturu MTF testů, tedy jde o soubor tvrzení, u nichž studenti určují, zda jsou pravdivá či nikoli. Z hlediska teorie testování se nejedná o ideální formu, avšak tato volba byla výsledkem kompromisu mezi vhodností formátu a složitostí přípravy testů. Omezení MTF formátu jsou částečně kompenzována druhou částí testu, která se skládá z úloh typu short answer. Konkrétní MTF testy jsou náhodně losovány z textových souborů tvrzení, z nichž každé je označeno číslem oboru, kurzu (podjednotka intergrovaného předmětu), přednášky a písmenem označujícím obtížnost daného tvrzení.

Jednotlivé úlohy v MTF testu jsou složeny vždy ze čtyř tvrzení, které spojuje tématická příbuznost; v případě tohoto předmětu jde vždy o čtyři tvrzení k tématu jedné přednášky. Kmen každé úlohy je naprosto generický, např. Která z následujících tvrzení jsou správná? Aby byla zaručena srovnatelná obtížnost testů v různých termínech, jsou jednotlivá tvrzení označena relativní obtížností (A, B nebo C), kterou určí přednášející daného tématu po případné dohodě s dalšími učiteli daného tématu či oboru. Jedna z možností nastavení škály obtížnosti je následující. Otázku C musí znát každý student, jde o tzv. bazál. Obtížnost A je pro výborné studenty, kteří aspirují na nejlepší známku, často se jedná o tvrzení týkající se detailů či vyžadující studium z dodatečných materiálů. Tvrzení s obtížností B jsou potom někde mezi těmito dvěma extrémy – znalost alespoň poloviny z nich (spolu s tvrzeními C) je minimálním předpokladem úspěšného složení zkoušky. V popisovaném případě obsahuje každá úloha jedno tvrzení C, dvě B a jedno A. Tyto úrovně obtížnosti mohou být zhruba namapovány na Angoffovy pravděpodobnosti takto: C=1,0; B=0,75 a 0,5<A<0,75. Označení obtížnosti se používá pouze pro vytvoření testu, studenti je nevidí.

Takovéto rozdělení obtížností za předpokladu jejich realistického přiřazení navíc umožňuje nastavit a priori minimální bodový zisk nutný pro složení zkoušky. Student, který zná všechna tvrzení obtížnosti C a polovinu tvrzení B tak získá 50 % bodů a vzhledem k pravděpodobnosti úspěšného natipování má slušnou pravděpodobnost dosáhnout 75 %, což je v daném případě hodnota minimálního počtu bodů pro úspěšné zvládnutí zkoušky. Vzhledem k celkovému počtu 396 tvrzení v tomto testu je pravděpodobnost získání 75 % při znalosti 50 % tvrzení asi 0.53 a prudce stoupá s dodatečnými tvrzeními, které daný student zná.

Jelikož tvrzení C jsou učiteli-experty považována za esenciální, při vyhodnocování testu je jejich neznalost navíc výrazně trestána anulováním celého bodového zisku z dané otázky (tedy souboru čtyř tvrzení). Tak se výrazně snižuje pravděpodobnost, že uspěje student, který sice zná tzv. špeky, ale nemá patřičné základní pochopení či vědomosti.

Testy jsou generovány pomocí skriptu v Perlu podle předem daných pravidel určujících počet úloh z daných oborů a témat. Vygenerované testy jsou pak importovány do programu, který vytvoří varianty a po napsání testu umožní naskenovat odpovědní formuláře a test automaticky opravit.

Zkratky v textech o testování

[ ✎ upravit vložený článek ]

Abecední seznam zkratek z oboru testování

A-level

Advanced Level (plným názvem General Certificate of Education Advanced Level) je označení certifikátu a zkoušek, které jsou ve Velké Británii součástí státní maturity. A-level jsou na mnoha univerzitách přijímány jako jeden z významných ukazatelů vhodnosti uchazečů o přijetí pro studium na vysoké škole. Pro výběr studentů na lékařské fakulty bývala požadována nejvyšší hodnocení ze tří předmětů (A), které musely obsahovat chemii a alespoň jednu další přírodní vědu nebo matematiku.

ACT

American College Testing je jeden ze dvou nejpoužívanějších přijímacích testů na vysoké školy v USA a v Kanadě. Většina škol dává studentům na výběr, který z testů absolvují, a stanovují jen počty bodů nutné pro přijetí v tom kterém testu. ACT se skládá se ze čtyř částí: angličtiny (45 min.), matematiky (60 min.), čtení (35 min.) a vědeckého myšlení (35 min.).

AERA

American Educational Research Association – Americká společnost pro výzkum ve vzdělávání

AIG

Automatic Item Generation – automatická tvorba testových položek

AMEE

Association for Medical Education in Europe – původně evropské, nyní celosvětové sdružení pro vzdělávání lékařů

APA

American Psychological Association – Americká psychologická společnost

BMAT

BioMedical Admissions Test – test používaný ve Velké Británii pro přijetí na tradiční lékařské fakulty s rozdělením preklinické a klinické výuky a důrazem na výuku vědy v prvních letech studia. BMAT je následníkem Medical and Veterinary Admissions Test (MVAT). O přínosu tohoto testu, respektive jeho jednotlivých částí se vedou diskuze.

BTU

Banka testových úloh, též položková banka, je databáze testových úloh, umožňující s úlohou uložit i informace o jejím vytvoření, využití a psychometrických vlastnostech.

CAA

Computer Assisted Assessment – počítačově podporované hodnocení

CAT

Computer Adaptive Testing – adaptivní počítačové testování

CBA/CBT

Computer-Based Assessment/Testing – hodnocení (testování) prostřednictvím počítače nebo jiného podobného zařízení, např. tabletu, mobilního telefonu, aj. (protiklad k PPT)

CBD

Case-Based Discussion označuje strukturovanou diskusi o klinických případech řízenou lékařem, testující klinické uvažování.

CFT

Computerized Fixed-form Tests – klasický test v počítačové formě

Class rank

Pořadí výkonu studenta střední školy ve srovnání s ostatními studenty ve třídě. Viz též high school class rank – HSCR.

CRT

Criterion-Referenced Test – standardizovaný test porovnávající výkon studenta s předem stanovenými standardy vyžadovanými pro úspěšné absolvování testu (srovnej s NRT)

CTT

Classical Test Theory – klasická teorie testů je nástroj analýzy testů. Je jednodušší a snáze se používá než dokonalejší nástroj analýzy testů IRT (teorie odpovědi na položku).

DIF

Differential Item Functioning – index rozdílného fungování položky indikuje odlišné chování testové úlohy pro skupiny se stejnou úrovní zalosti (schopnosti, studijního výkonu), ale odlišným etnickým, nebo genderovým složením.

DOPS

Direct Observation of Procedural Skills – přímé sledování procedurálních dovedností

ECD

Evidence-Centered assessment Design – na důkazech založený přístup ke konstrukci hodnocení výsledků výuky

EMQ

EMQ nebo též EMI (Extended Matching Question/Item) jsou nově zaváděné „rozšířené přiřazovací otázky“. Důvodem pro jejich zavedení je, že MTF svou formou svádějí k biflování, nikoli k pochopení. Charakteristickým znakem EMQ je rozšířená nabídka možností (alespoň osm), z nichž testovaný vybírá (přiřazuje) odpověď. Stejná sada možností se zpravidla používá pro několik scénářů (zadání, otázek). Otázka má být položena tak, aby student byl schopen zformulovat správnou odpověď, aniž by předtím viděl nabízené varianty.

ETS

Educational Testing Service je nezisková vzdělávací organizace zaměřená na testování a hodnocení. ETS vyvíjí různé standardizované testy pro střední a vysoké školství v USA a také spravuje mezinárodní testy včetně jazykových zkoušek TOEFL.

FYGPA

First Year Grade Point Average – studijní průměry v prvním ročníku vysoké školy jsou používány pro odhad akademické výkonosti studenta na vysoké škole

GAMSAT

Graduate Australian Medical School Admissions Test je test pro výběr uchazečů o magisterské studium medicíny, stomatologie a veterinárního lékařství vyvinutý v roce 1995 Australskou radou pro výzkum vzdělávání (ACER). Používá se pro výběr studentů na magisterský stupeň studia zdravotnických vysokých škol v Austrálii a od roku 1999 i na některých školách ve Velké Británii a v Irsku.

GAT

General Aptitude Test – test všeobecné studijní připravenosti (VSP) je souhrnný název pro schopnostní testy, které testují rozumové schopnosti uchazečů (na rozdíl od testů znalostních). V testu VSP bývají zpravidla otázky zaměřené na prostorové vztahy, logické souvislosti, a představivost.

GCSE

General Certificate of Secondary Education – certifikát o středoškolském vzdělání v příslušném oboru používaný v Anglii, srovnatelný s maturitním vysvědčením. Vydává se 14–16letým studentům po splnění příslušné zkoušky.

GPA

Grade Point Average – studijní průměry. Studijní průměry ze střední školy bývají jako dobrý prediktor úspěšnosti studia zařazovány mezi výběrová kritéria pro přijetí na lékařské fakulty.

HEI

Higher Education Institution – vysokoškolské instituce (vysoké školy)

HSCR

High School Class Rank je měřítko studijní výkonnosti konkrétního studenta v poměru k výkonu ostatních ve třídě. Jiné označení pro tento parametr je Clas rank. Vypočte se jako pořadí studenta stanovené na základě GPA a vydělené počtem studentů ve třídě. Výsledkem je percentil nejlepších studentů, mezi něž student patří. Toto pořadí poskytuje asi 45 % středních škol. Velké veřejné školy poskytují tento údaj častěji, než malé soukromé školy. HSCR se spolu s GPA často používá pro ohodnocení studenta při přijímání na vysoké školy.

HSGPA

High-School Grade Point Average – označení pro studijní průměr na střední škole (USA). Viz též GPA a uGPA.

ICF

Item Characteristic Function – charakteristická funkce položky vyjadřuje vztah mezi měřeným latentním rysem testovaného (znalostí) a pravděpodobností správné odpovědi na položku. Užívá se v teorii odpovědi na položku.

IDEAL

IDEAL Consortium (International Database for Enhanced Assessments and Learning) – dobrovolné sdružení 23 vysokých škol z celého světa sdílejících testové úlohy z oboru medicíny v angličtině

IMS

Item Management System – položková banka v širším slova smyslu – systém pro tvorbu, uchování, sdílení a doručování položek

IRT

Item Response Theory – teorie odpovědi na položku – moderní nástroj analýzy testů umožňující odhadnout vlastnosti položky pro různé úrovně znalosti

JISC

Joint Information Systems Committee – společný výbor pro informační systémy je nevládní veřejná instituce ve Velké Británii, jejímž úkolem je podporovat vysokoškolské vzdělávání zaváděním informačních a komunikačních technologií

LMS

Learning Management System – systémy pro organizování výuky, např. Moodle, BlackBoard, Adobe Connect, atd.

LTI

Learning Tools Interoperability – standard pro spolupráci e-learningových nástrojů a prostředí

MCAT

Medical College Admissin Test – standardizovaný „počítačový“ přijímací test na lékařské fakulty v USA, zavedený Asociací amerických lékařských fakult v USA

MCAT(R)

V letech 1991–2 byl MCAT znovu revidován a restrukturalizován a jeho nová podoba nese výše uvedené označení.

MCQs

Multiple Choice Question – otázka se mnohočetným výběrem odpovědi, nejobecnější formát, který zahrnuje všechny formy testových úloh s výběrem odpovědi

MEFANET

MEdical FAculties NETwork – dobrovolné sdružení českých a slovenských lékařských a zdravotnických fakult spolupracujících na elektronické podpoře výuky

MEQ

Modifikovaný esej (Modified Assay Question) se používá např. v postgraduálním vzdělávání praktického lékařství. Pomocí tohoto typu úloh lze posoudit analytické uvažování, interpretaci nálezů a klinické rozhodování.

MeSH

Medical Subject Headings – řízený slovník deskriptorů pro indexování v medicíně a biologii

MRQs

Multiple Response Questions značí otázky s mnohočetným výběrem odpovědí, ve kterých je správně (a je třeba vyznačit) více nabízených odpovědí.

MSC-AA

Medical Schools Council Assessment Alliance je organizace lékařských vysokých škol ve Velké Británii spolupracujících při hodnocení výsledků pregraduální výuky. Jejím předchůdcem byl UMAP.

MSF

Multisource Feedback – (též 360-degree feedback) vícezdrojové hodnocení (360° zpětná vazba) je metoda hodnocení, při níž je jedinci poskytována zpětná vazba pomyslným kruhem respondentů, kteří s ním přicházejí do styku a porovnávána s jeho sebehodnocením. Přínosem tohoto hodnocení je, že podává informaci o tom, JAK si jedinec v očích ostatních počíná.

MTF

Multiple True/False question. Otázka s výběrem z několika odpovědí, z nichž několik může být správných. Testovaný u každé nabízené odpovědi zvažuje, zda je správná či nesprávná. V praxi se často zaměňuje s daleko obecnějším formátem MCQ.

NBME

National Board of Medical Examiners je nezávislá, nezisková organizace, která se zabývá posuzováním kvality vzdělání zdravotnických pracovníků. NBME vyvíjí a spravuje USMLE (národní licenční zkoušky pro výkon lékařství).

NCME

National Council on Measurement in Education – Národní rada pro měření ve vzdělávání je americká profesionální organizace pro jednotlivce zapojené do posuzování, hodnocení, testování a dalších aspektů měření výsledků vzdělávání. Vydává čtvrtletník The Journal of Educational Measurement (JEM).

NRT

Norm-Referenced Testing je standardizovaná zkouška, v níž výkon jedince je hodnocen v porovnání s výkony relevantní populace (srovnej s CRT).

OMR

Optical Mark Recognition – optické rozpoznávání značek používané pro strojové vyhodnocování odpovědních formulářů

OSCE/OSPE

Objective Structured Clinical/Practical Examination – objektivně strukturované klinické/praktické zkoušení je způsob objektivního hodnocení výsledků výuky klinických/praktických dovedností. Zkoušení je většinou organizované jako 5-10 minutová zastavení na stanovištích, kde zkoušený řeší příslušný úkol.

P&P

Paper-and-Pencil – pomocí pera a papíru

PPT

Paper-and-Pencil Testing – testování v papírové verzi

QTI

Question and Test Interoperability specification – mezinárodní standard pro interoperabilitu testových systémů

RIR

Item Rest Correlation – Index RIR (též psáno R_IR) je korelační koeficient mezi úspěšností v dané testové položce a celkovým počtem bodů v testu při vyloučení dané položky. Koeficient RIR nabývá hodnot od -1 do 1 a používá se k hodnocení diskriminační schopnosti položky. Dobře diskriminující položka by měla dosahovat hodnoty RIR nejméně 0,3. Výrazně menší nebo záporné hodnoty indikují, že položka není rozlišující, nebo diskriminuje opačně než test.

RIT

Item Test Correlation – Index RIT (psáno též R_IT) označuje korelační koeficient mezi úspěšností v dané testové úloze a celkovým počtem bodů v testu. Koeficient RIT se používá podobně jako index RIR.

SAQ

Otázky s krátkou odpovědí (Short-Answer Questions) tvoří otázka s nabídnutou jednoslovnou (nebo velmi krátkou) odpovědí. Správných odpovědí může být několik.

SAT

Standardized Admissions Tests – tvoří spolu s ACT dva nejrozšířenější testy pro zjišťování připravenosti středoškoláků na vysokou školu v USA. V aktuální podobě platné od roku 2005 trvá SAT tři a tři čtvrtě hodiny a skládá se ze tří částí: kritického čtení, matematiky a psaní. Za každou část je možné dosáhnout až 800 bodů. V testu je zahrnuta „experimentální“ část, která se nepoužívá pro vyhodnocení studentových schopností, ale pro zhodnocení otázky samotné, pro případné budoucí použití v testech SAT.

SBA

Single Best Answer Question. Otázka s výběrem z obvykle pěti nabízených variant odpovědí. Testovaný volí právě jednu z nabídnutých odpovědí. Ostatní možnosti (distraktory) jsou buď nesprávné, nebo (častěji) jde o kvalitativně výrazně méně vhodné odpovědi na otázku.

uGPA

Undergraduate grade point average – průměr známek na střední škole často používaný pro predikci studijního úspěchu na lékařských fakultách. Viz též GPA a HSGPA.

UKCAT

UK Clinical Aptitude Test – je test vytvořený v roce 2006 konsorciem britských lékařských a stomatologických fakult pro testování duševních schopností uchazečů. UKCAT je navržen tak, aby testoval schopnosti a postoje, nikoli akademický úspěch, který je dobře predikován pomocí A-leves, GCSE nebo GPA. Test je tedy zaměřen na schopnost kritického logického myšlení a schopnost vyvozovat závěry. Přínos tohoto testu je sporný a podněcuje v UK diskuzi o vhodnosti psychologického testování uchazečů pro výběr studentů medicíny.

ULI

Upper-Lower index je index pro hodnocení citlivosti neboli diskriminační schopnosti položky

UMAP

Universities Medical Assessment Partnership – dřívější dobrovolné sdružení lékařských fakult ve Velké Británii založené v roce 2003 za účelem spolupráce při tvorbě a sdílení testových otázek. Sdružení se roce 2009 přeměnilo na současnou MSC-AA.

UMAT

Undergraduate Medicine and Health Sciences Admission Test se používá pro výběr středoškolských uchazečů o studium medicíny v Austrálii a na Novém Zélandu. Po absolvování bakalářského stupně jsou uchazeči o navazující „magisterské“ studium vybíráni pomocí GAMSAT.

USMLE

United States Medical Licensing Examination je oficiální zkouška pro absolventy lékařských fakult pro vstup do postgraduálních programů klinické medicíny v USA.

VLE

Virtual Learning Environment – virtuální prostředí pro výuku, například Moodle.

VSP

Test všeobecné studijní připravenosti je souhrnný název pro schopnostní testy, které testují rozumové schopnosti uchazečů. V testech VSP bývají zpravidla otázky zaměřené na prostorové vztahy, logické souvislosti a představivost. Viz též GAT.

Literatura

Použitá literatura

• Post-examination analysis of objective tests

Doporučená literatura

• Lindr, Jaroslav, Didaktické testy z matematické analýzy, Brno 2008, dostupné on-line
• JEŘÁBEK, Ondřej a Martin BÍLEK. Teorie a praxe tvorby didaktických testů [online] . 1. vydání. Olomouc : Univerzita Palackého v Olomouci, 2010. Dostupné také z <http://zvyp.upol.cz/publikace/bilek_jerabek.pdf>. ISBN 978-80-244-2494-1.

• MILLER, Ivan. EDUKOMETRIE : Měření výsledků vzdělávání [online]. Institut vzdělávání a poradenství ČZU v Praze, ©2004. Poslední revize 2004-04-21, [cit. 2012-01-04]. <http://www.miller.wz.cz/eduko.htm>.

• SCIO,. Postup při vývoji testu [online]. SCIO, [cit. 2012-01-04]. <http://www.scio.cz/tvorba_testu/teorie_testu/postup.asp>.

• KOMENDA, Martin a Andera POKORNÁ. Benefity a úskalí elektronického testován [online]. MEFANET, ©2011. [cit. 2012-01-04]. <http://www.mefanet.cz/res/f/brozura-e-testovani.pdf>.

• http://www.cermat.cz/rukovet-autora-testovych-uloh-1404034186.html
• URBÁNEK, Tomáš a Denisa DENGLEROVÁ. Psychometrika :  měření v psychologii. 1. vydání. Praha : Portál, 2011. ISBN 978-80-73-67-836-4.

• AMERICAN PSYCHOLOGICAL ASSOCIATION,. Standardy pro pedagogické a psychologické testování. 1. vydání. Praha : Testcentrum, 2001. ISBN 80-86471-07-1.

Index

:: A
Absolutní klasifikace
Adaptivní testování
Aiken
Analýza vynechaných odpovědí
Automatické vytváření položek
:: B
Banky testových úloh
Bodově-biseriální korelační koeficient
:: C
Cat
Charakteristická funkce položky
Citlivost položky
:: D
Diskriminační schopnost
Distraktory
:: E
Exame
:: F
Formulář pro recenzenty úloh
:: G
Gift
:: H
Histogramu
Hodnota obtížnosti
Hrubý skór
:: I
Ims global learning consortium
Index obtížnosti
Index rir
Index rit
Inqsit
Item bank
Item response theory
:: K
Klasifikace
Klinický medailónek
Kuder-richardsonova formule 20
:: L
Lti
:: M
Moodle
:: N
Náklady na testovou úlohu
:: O
Objektivní zpětná vazba
Obsahová revize
Obtížnost položky
Odhady validity testu
Omr
Oponentura otázek
:: P
Papírové testování
Pearsonův korelační koeficient
Pilotní testování
Položková banka
Počítačem podporované testování
Počítačové testování
Pretest
:: Q
Qti
Questionmark
:: R
Raschův model
Redakční revize
Relativní klasifikace
Reliabilita
Revize férovosti
Rogo
:: S
Směrodatná odchylka
Spearmanova korelačního koeficientu
Standardizace testu
Subjektivní zpětná vazba
:: T
Teorie odpovědi na položku
Testový sešit
Touchstone
Týmové spolupráci
:: U
Upper-lower index
:: V
Validita
Validita inkrementální
Validita kriteriální
Validita obsahová
Validita položky
Validita predikční
Validita souběžná
:: Š
Šikmost

Doslov

[ ✎ upravit vložený článek ]

Informační technologie jsou dnes přirozenou součástí výuky medicíny. Díky osobní důvěře mezi pracovníky lékařských fakult zodpovědnými za elektronickou podporu vzdělávání vznikl projekt MEFANET (MEdical FAculties NETwork), který zastřešuje spolupráci fakult v této oblasti. Tato vzdělávací síť dnes sdružuje všechny lékařské a zdravotnické fakulty v České republice a na Slovensku, organizuje odborné konference a podporuje spolupráci a rozvoj výuky s pomocí moderních informačních technologií. Nově se na této platformě rozvíjí spolupráce i v oblasti přípravy, sdílení a analýzy testů.

Moderní metody hodnocení znalostí studentů patří v akademickém světě k velmi diskutovaným tématům. Standardizované testování umožňuje spravedlivě, prokazatelně a objektivně ohodnotit znalosti a dovednosti studentů. Autoři publikace se snaží využít spolupráce mezi fakultami a přispět k rozšíření nových metod testování. Kniha přináší souhrn postupů, doporučení a metod pro tvorbu kvalitních didaktických testů. Část zaměřená na statistiku snímá z analýzy testů nálepku „terra incognita“ a ukazuje nástroje, které jsou k dispozici. Celý text je zaměřen tak, aby čtenář získal přehled o metodách hodnocení výsledků výuky a mohl držet krok s vývojem v rychle se měnícím světě lékařského a zdravotnického vzdělávání.