Fórum:Metodiky testování a hodnocení

Úvod

Součástí specializačního vzdělávání je i testování dosažených znalostí. Účelem tohoto otevřeného dokumentu je poskytnout prostor pro formulaci doporučení, jak testování provádět. Uvedené postupy nejsou závazné, ale shrnují zkušenosti a doporučení.

Účel testu

Účelem testu je vyzkoušet absolventy z probírané látky pomocí testu s kvantitativním hodnocením a umožnit všem testovaným absolvovat zkoušku se shodnými a opakovatelnými podmínkami.

Účel testu může být Rozlišující, nebo Ověřující.

• Rozlišující test (neboli test relativního výkonu, NR-test) porovnává studenty mezi sebou, umožňuje stanovit jejich pořadí. Hodnocení studenta (zda prošel nebo neprošel) může záviset na výkonech ostatních studentů.

• Ověřující test (neboli test absolutního výkonu, CR-test) zjišťuje, zda si student, či skupina osvojili podstatné znalosti a dovednosti z probírané látky. Výsledek studenta není porovnáván s ostatními studenty, ale s předem stanovenými kritérii.

Použitá literatura: http://www.cermat.cz/didakticke-testy-1404034141.html

Forma testu

Formou mohou být testy písemné, ústní nebo elektronické. Nebude-li uvedeno jinak budeme nadále hovořit o elektronickém testování.

Elektronické testování

K testování je na jednotlivých fakultách je vhodné použít prostředí, které je na příslušné fakultě dostupné a známé. Program Moodle mají k dispozici všechny fakulty. Některé si jej provozují samy, některé využívají centrální instalace provozované ÚVT. Na 1. LF UK můžeme rovněž použít Adobe Connect (Breez), který je z hlediska fakulty místní. Perspektivním řešením je pořídit specializovaný SW na testování. Pracuje se na implementaci specializovaného testovacího sytému Rogo (dříve TouchStone), který bude k dispozici zhruba v příštím roce (musí proběhnout lokalizace).

Moodle

Pro tvorbu a realizaci testů lze využít prostředí Moodle. Moodle je obecně LMS (Learning Management System - systém pro řízení výuky) a obsahuje poměrně kvalitní testovací modul, který lze pro účely atestací využít. Moodle je dostupný na všech lékařských fakultách v ČR.

Pro atestace je zvláště vhodný Moodle pro další vzdělávání na UK Přihlašování uživatelů je možné pomocí účtu v centrální autentizační službě (CAS UK), nebo je možné účty přidávat (pro uživatele mimo UK).

Návod na tvorbu testu v prostředí Moodle

Podrobný návod na tvorbu testu v Moodle najdete zde: Přidání a úpravy testů v prostředí Moodle.

Poznámka k použití SW Moodle

Výhoda využití univerzitních instalací Moodle je v tom, že systém je provozován na serverech ÚVT UK, kde je prováděna pravidelná profylaxe serverů a zálohování dat. Zaměstnanci Oddělení výukových systémů a speciálních technologií (OVSaST) ÚVT UK mají osmiletou zkušenost z provozování systému. K dispozici jsou dva specialisté - programátoři, kteří jsou schopni do Moodle doplňovat požadované moduly a dále metodologická podpora pro tvůrce kurzů - ev. pouze testů a nepřetržitý HelpDesk. Na všech instancích Moodle, provozovaných OVSaST ÚVT UK je dodržována bezpečnostní politika při stanovování rolí, přidělovaných jednotlivým uživatelům. Nastavení rolí umožňuje různá omezení práv obsluhy testů - např. práva k editaci a prohlížení testů a jejich výsledků.
Výhodou používání společné platformy a nejlépe i společné instance testovacího programu je snazší spolupráce při tvorbě testů a možnost sdílení testových otázek, možnost výběru variabilních typů testových úloh.

Zabezpečení testů v Moodle

Test lze v Moodle zabezpečit v několika úrovních:
- heslem pro přístup do kurzu s testem
- heslem k vlastnímu testu
- stanovením počtu možných pokusů
- stanovením časového odstupu mezi jednotlivými pokusy
- přesným stanovením času pro otevření a uzavření testu
- časovým limitem pro běh vlastního testu
- zabezpečení pomocí JavaScriptu - vyskakovací okno přes celou obrazovku
- omezení na konkrétní podsítě v rámci Internetu nebo sítě LAN, případně až na jednotlivé počítače

Součástí problematiky zabezpečení jsou i metodická a organizační opatření zajišťující věrohodnost testů.

• utajení ostré verze testu
• bezpečnou identifikaci účastníků testu
• zabezpečení proti zásahu do vyhodnocování testů

Metodika testu

Obsah testu

Test by měl pokrývat tématické okruhy nezbytných znalostí v příslušném oboru (core curriculum). K tomu je vhodné sestavit Specifikační tabulku testu, kde bude určeno, která témata budou v testu zahrnuta a jakým podílem, jaký podíl otázek bude testovat znalosti, a jaký schopnost nabyté znalosti použít. Pokročilou součástí návrhu Specifikační tabulky testu je i návrh rozložení obtížnosti testových úloh. Specifikační tabulka musí projít oponenturou dalších odborníků, jinak je téměř jisté, že se v rozsahu testovaného učiva promítnou osobní preference autora testu. Z tohoto důvodu je rovněž silně doporučeno, aby test sestavoval tým.

Rozsah testu

Počet otázek souvisí jednak s rozsahem zjišťovaných znalostí, jednak se stabilitou (reliabilitou) testu. Je doporučeno, aby testová sada obsahovala nejméně dvakrát tolik úloh, než jich je použito v jednom testu.

Formát testových otázek

Multiple Choice Questions

Základním formátem otázek v objektivních testech jsou otázky s mnohočetným výběrem (MCQ). Obecně platí, že při formulaci otázek je dobré se držet jednoduchého zadání a snadného porozumění otázce a nabídnutým možnostem řešení. Při hledání "možných" distraktorů (věrohodně vypadajících nesprávných odpovědí) lze použít chybné odpovědi, které se objevují při ústním zkoušení. Správné a nesprávné možnosti odpovědí by měly být homogenní, relativně se podobat obsahem, formulací i rozsahem použitých slov. Doporučení pro tvorbu MCQ testů lze najít např v knize prof. Byčkovského "Základy měření výsledků výuky", nebo v podobně zaměřených textech Jana Strojila .

Pro testování znalostí na postgraduální úrovni se používá specifická forma MCQ nazývaná Single Best Answer.

Single Best Answer Questions

V postgraduálním vzdělávání se přednostně používá forma otázek nazývaná SBAs (Single Best Answer Questions) (známá též pod názvy Best of Five, nebo One Best Answer), které lépe testují Know-How, na rozdíl od obecnějších MCQs, které testují spíše znalost samotnou .

Tento typ otázek se používá v bakalářských, magisterských a postgraduálních zkouškách, tedy všude, kde již nejde jen o znalost samotnou, ale o její aplikaci. Spolu s otázkou, respektive krátkým vysvětlením je nabídnuto pět odpovědí. Úkolem uchazeče je najít nejlepší z těchto pěti nabídnutých odpovědí. Za jedinou správnou odpověď je přitom považována ta, která je nejlepší odpovědí.

Základní pravidla pro tvorbu SBA

• Každá otázka by měla být zaměřena na důležitý klinický problém. Zaměřte se na problémy ze života. Neztrácejte čas testováním triviálních a příliš složitých otázek.
• Každá otázka by měla testovat využití znalostí, nikoliv znalost izolovaného faktu. Sama otázka může být poměrně dlouhá, ale odpovědi by měly být krátké. Klinická otázka by měla obsahovat pacientovy problémy včetně historie (trvání příznaků), výsledků vyšetření, dosud nasazené léčby. Není podstatné zda tam budou všechny tyto body, ale aby byly v logickém pořadí.
• Otázka by měla být formulována tak, aby bylo možno dojít ke správné odpovědi i při zakrytých nabídkách. Pro ověření zkuste otázku předložit kolegům a ověřit, že je možné zformulovat správnou odpověď. Pokud ne, otázku přepište.
• Všechny nabídnuté odpovědi (včetně nesprávných) by měly mít podobnou formu. Distraktory (nesprávné odpovědi) by měly spadat do stejné kategorie jako správná odpověď, mít podobnou délku a členitost. Vyznění všech distraktorů by mělo být přesvědčivé a jejich pořadí randomizované.
• Nepoužívejte otázky typu "Které z následujících tvrzení je správné?", nebo "Všechna z následujících tvrzení jsou správná s výjimkou." Vede to k nejasným formulacím a heterogenním výsledkům.

Zkontrolujte, zda Vámi navržené otázky vyhovují pěti uvedeným pravidlům a pokud ano, je pravděpodobné, že jsou napsány správně.

Příklady otázek ve formátu SBA

Kvalita testových otázek

Oponentura testových otázek

Kvalitu testových otázek je třeba kontrolovat oponenturou. Oponent odpoví na testové otázky a komentuje jak formulaci otázky, tak odpovědi a distaktorů. Komentář zahrnuje vhodnost formulace a obtížnost. Oponentura by měla vyřadit nejednoznačné otázky, nepřesné odpovědi a matoucí distraktory.

Pilotování testu

Testovou sadu je třeba vyzkoušet v pilotním testu, při kterém jsou úlohy prověřeny skupinou reprezentující cílovou skupinu testovaných. Jen malá část testových otázek je použitelná v podobě, v jaké byla poprvé navržena!

Analýza testu

Hodnocení testu

V rámci hodnocení testu je třeba stanovit:

• Průměrné skóre - průměr dosaženého počtu bodů u všech účastníků
• Průměrná úspěšnost - poměr Průměrného skóre a maximálního možného skóre vyjádřený v procentech
• Reliabilita testu - spolehlivost (opakovatelnost) testu

Položková analýza

Po testu je třeba provést položkovou analýzu otázek, aby byly známy jejich vlastnosti (obtížnost, citlivost, ...), a mohly být verifikovány, upraveny (či vyřazeny) před dalším použitím. U položek testu je třeba stanovit:

• Obtížnost - podíl testovaných, kteří vyřešili úlohu správně
• Citlivost - schopnost položky testu rozlišit mezi úspěšnými a neúspěšnými účastníky testu

Položková analýza v Moodle

Některé testové programy (mezi jinými i Moodle) mají možnost provést základní analýzu testu přímo v programu. Moodle provádí automaticky položkovou analýzu otázek testu, vyhodnocuje snadnost (obtížnost), směrodatnou odchylku, diskriminační index a diskriminační koeficient .

Odkazy

• Zkratky v oboru testování a hodnocení

Externí odkazy

• Thinking about assessment design
• Standards for curricula and assessment system
• Reliability issues in the assessment of small cohorts
• Reforming medical education in the United Kingdom: Lessons for Australia and New Zealand, Richard B Hays
• Constructing Written Test Questions For the Basic and Clinical Sciences
• Constructing Written Test Questions For the Basic and Clinical Sciences, Third Edition (Revised)
• St George's Fundamentals of Assessment Course
• Rektor ČVUT: Bez povinné matematiky nemají pro nás státní maturity smysl
• Petr Byčkovský - Intenzivní kurzy Konstrukce a analýza didaktických testů, 2004
• ETS - How Tests and Test Questions are Developed (+ video)

Doporučená literatura

• MILLER, Ivan. EDUKOMETRIE : Měření výsledků vzdělávání [online]. Institut vzdělávání a poradenství ČZU v Praze, ©2004. Poslední revize 2004-04-21, [cit. 2012-01-04]. <http://www.miller.wz.cz/eduko.htm>.

• SCIO,. Postup při vývoji testu [online]. SCIO, [cit. 2012-01-04]. <http://www.scio.cz/tvorba_testu/teorie_testu/postup.asp>.

• KOMENDA, Martin a Andera POKORNÁ. Benefity a úskalí elektronického testován [online]. MEFANET, ©2011. [cit. 2012-01-04]. <http://www.mefanet.cz/res/f/brozura-e-testovani.pdf>.

• http://www.cermat.cz/rukovet-autora-testovych-uloh-1404034186.html
• URBÁNEK, Tomáš a Denisa DENGLEROVÁ. Psychometrika :  měření v psychologii. 1. vydání. Praha : Portál, 2011. ISBN 978-80-73-67-836-4.

• AMERICAN PSYCHOLOGICAL ASSOCIATION,. Standardy pro pedagogické a psychologické testování. 1. vydání. Praha : Testcentrum, 2001. ISBN 80-86471-07-1.

Hotové SBA otázky

• 300 Single Best Answer Questions for Medical and Surgical Finals
• Clinical Medicine. Více než 450 SBA otázek z klinické medicíny