Fórum:Doporučení pro tvorbu MCQ

V publikaci doc. Ing. Petra Byčkovského, CSc. Základy měření výsledků výuky - Tvorba didaktického testu lze nalézt základy metodiky pro tvorbu testových úloh typu MCQs..
Citace:

Úlohy s výběrem odpovědi

Úlohy s výběrem odpovědi, označované též jako úlohy s vícečlennou odpovědí nebo řidčeji jako úlohy polynomické, jsou nejrozšířenějším druhem testových úloh. Sestávají z kmene a několika nabídnutých odpovědí (nabídek, alternativ). Kmen, který je základem úlohy, tvoří otázka nebo neúplné tvrzení, někdy je součástí kmene krátký text, v němž se uvádějí informace důležité pro otázku, která následuje. Součástí kmene nezřídka bývá i obrázek, schéma či graf. V souboru nabídnutých odpovědí je jedna odpověď správná (někdy i několik), ostatní odpovědi jsou chybné. Chybné odpovědi se označují termínem distraktor.

Úkolem studenta je z uvedených nabídek vybrat správnou, tj. takovou, která je odpovědí na otázku položenou v kmeni nebo doplňuje v kmeni uvedené neúplné tvrzení.

Vzhledem k povaze testovaného učiva mají úlohy s výběrem odpovědi ze všech objektivních testových úloh nejuniverzálnější použití. Lze jimi zjišťovat znalosti specifických fakt, porozumění, aplikaci, analýzu i jednodušší případy hodnotícího posouzení. Pro zjišťování dovednosti řešit komplexní technické problémy, které nelze rozložit na řadu navzájem nezávislých kroků, se však příliš nehodí.

Učitelé často proti úlohám s výběrem odpovědi vznášejí námitku, že jsou výrazně snadnější než úlohy produkční. Tato námitka mé své oprávnění jen u úloh testujících znalost konkrétních poznatků; při testování konkrétních poznatků totiž úlohou a výběrem odpovědi netestujeme znovuvybavení konkrétního poznatku jako je tomu u produkčních úloh, ale jeho znovupoznání mezi nabídnutými odpověďmi. Zkušenosti však ukazují, že dobře navržené výběrové úlohy testující porozumění a aplikaci, bývají stejně obtížné jako úlohy produkční, a někdy dokonce i obtížnější.

Skórování úloh je jednoduché, přesné a rychlé. Testy s výběrovými úlohami vybavené speciálním záznamovým archem lze pomocí počítače s optickým čtecím zařízením skórovat automaticky. V zahraničí se pro jejich skórování používá i poměrně jednoduchých skórovacích strojů.

Univerzálnost použití a snadnost skórování je hlavní přednosti úloh s výběrem odpovědi. K dalším přednostem patří možnost modifikovat obtížnost úloh změnou souboru distraktorů a menší pravděpodobnost uhádnutí správné odpovědi ve srovnání s úlohami dichotomickými. Návrh dobrých úloh je však velmi náročný, pracný a vyžaduje zkušenosti, které se získávají až dlouhou praxí. Ze všech objektivních testových úloh se úlohy s výběrem odpovědi konstruují nejméně snadno. Obtížný je zejména návrh dostatečného počtu zdánlivě věrohodných distraktorů.

Varianty úloh s výběrem odpovědi

Úloha s jednou správnou odpovědí je základní formou úloh s výběrovou odpovědí. Používá se i dalších variant úloh s výběrem odpovědi, i když zdaleka ne tak často jako formy základní. Patří mezi ně úloha s nejlepší odpovědí, úloha se záporem v kmenu a úloha s vícenásobnou odpovědí.

Zatímco u úloh s jednou správnou odpovědí je jedna z nabídek nesporně správné a ostatní jsou nesporně chybné, u úlohy s nejlepší odpovědí se nabídky liší stupněm správnosti nebo úplnosti. Jedna z nich potom nejlépe vyhovuje zadání uvedenému v kmenu. V kmenu se na to obvykle upozorňuje slovním spojením typu "co nejvíce vyhovuje", "který z činitelů nejvíce ovlivňuje", atd. Popis požadovaného výkonu nesmí ve výměru jasného a kontrolovatelného výukového cíle formulovaném Magerovou technikou chybět, i když, podle povahy cíle, může být jeho výměr doplněn některými z údajů uvedených v nabídkách A, B, D a E.
Úloha se záporem v kmenu je protikladem úlohy s jednou správnou odpovědí. Správnou odpovědí u varianty se záporem v kmenu je nabídka, která nesplňuje určitý požadavek nebo postrádá určitou vlastnost. Zápor v kmenu musí být zvýrazněn, aby jej student nepřehlédl.

Je-li několik nabízených odpovědí správných, jde o variantu s vícenásobnou odpovědí. Pro úlohu s vícenásobnou odpovědí je charakteristické, že počet možných odpovědí převyšuje počet nabídek.
Zařadíme-li tuto variantu do testu, je naší povinností na to studenta upozornit. Nevýhodou úlohy je, že mezi úplnou správnou odpovědí a zcela nesprávnou leží celé škála různou měrou neúplných nebo zčásti nesprávných odpovědi, což může vést k obtížím při skórování. Protože se tato varianta v zásadě neliší od trsu dichotomických úloh, může být podobně i skórována. Za každou správnou nabídku, kterou student uvede, získá 1 bod, za každou nesprávnou, kterou neuvede, také 1 bod. Bodová hodnota úplné správné odpovědi je tak dána počtem správných nabídek v úloze.

U testu sestaveného z úloh s jednou správnou odpovědí i z úloh s vícenásobnou odpovědí vzniká problém: úlohy mají různou bodovou váhu. Je možné se tomu vyhnout dvěma způsoby. Studentův skór v úloze můžeme dělit počtem správných nabídek. Druhý, radikální způsob skórování, je založen na systému "vše nebo nic", tj. za úplnou správnou odpověď získá student 1 bod a za všechny jiné odpovědi 0 bodu. Radikální skórování však snižuje citlivost úlohy. Chceme-li korektním způsobem zjednodušit skórování, můžeme často velmi snadno úlohu s vícenásobnou odpovědí nahradit úlohou s jednou správnou odpovědí.

Formy nabízených odpovědí

Smyslem testové úlohy je zjistit, zda student ovládá učivo testované úlohou či nikoli; dojde-li student ke správné odpovědi jinak než na základě osvojení testovaného učiva, neplní úloha svůj účel.

Možnosti neadekvátních způsobů získávání odpovědi

U uzavřených testových úloh jsou v zásadě dva neadekvátní způsoby získání správné odpovědi. První spočívá v jejím uhádnutí, druhý ve vyloučení nesprávných odpovědí postupem, který navrhovatel úlohy nepředpokládal, ale nevědomky k němu přispěl.

V čisté podobě se jak první, tak druhý neadekvátní způsob získání správné odpovědi vyskytuje zřídka. Jen zřídka student se znalostmi nepostačujícími požadavkům úlohy "slepě" hádá, jen zřídka má možnost nepředpokládaným způsobem vyloučit všechny nesprávné odpovědi a tak jednoduchým, ale neadekvátním způsobem dojít ke správné odpovědi. Zpravidla se snaží vyloučit alespoň některé nesprávné alternativy odpovědí v naději, že zvýší svoji šanci na uhodnutí, a teprve potom hádá. Ale i pak se spíše přiklání k volbě odpovědi, které je pro něj nějakým způsobem atraktivní.

V úlohách vyžadujících řešení předchází výběr odpovědi pokus o řešení, které student s nedostatečnými znalostmi nedokončí nebo je provede chybně, a teprve potom se uchyluje k některé technice vedoucí k neadekvátnímu zisku správné odpovědi.

Příležitost k snadnému získání správné odpovědi poskytne navrhovatel studentovi zařazením banálních distraktorů, které lze vyloučit jako nesprávné buď na první pohled nebo na základě všeobecných vědomostí s testovaným učivem nesouvisejících. Stěžejním úkolem navrhovatele úlohy s výběrovou odpovědí je minimalizovat naději studenta s nepostačujícími vědomostmi na úspěch. Ke splnění úkolu přispěje uplatnění pravidla atraktivity nabídek: pro studenta s nepostačujícími vědomostmi musí být distraktory atraktivní stejnou měrou jako správná odpověď.

To znamená, že správná odpověď se nesmí ani obsahem, ani formou, výrazně odlišovat od nesprávných (např. přesností, podrobností, délkou) a tak upoutat pozornost studenta a naopak, distraktory musí u studentů s neúplnými vědomostmi budit dojem věrohodnosti nebo ještě větší přijatelnosti než správná odpověď. Jde o to, aby navrhovatel úlohy studentovi s nepostačujícími vědomostmi vytvořil situaci, která mu neumožní získat správnou odpověď neadekvátní cestou.

Návrh věrohodných distraktorů

Návrh zdánlivě věrohodných distraktorů je hlavním úskalím návrhu úlohy s výběrovou odpovědí. Při návrhu distraktorů se doporučuje využívat jak logické úvahy, tak zkušeností s chybami, kterých se studenti při řešení podobných úloh dopouštějí. Pravděpodobně nejlepší, i když pracnou a ne vždy použitelnou cestou, je nejprve úlohu zadat skupině studentů jako otevřenou a nejčastějších chyb pak použít pro její úpravu na úlohu s výběrem odpovědi jako distraktorů. V každém případě návrh účinných distraktorů je nesnadný a vyžaduje praktické zkušenosti.

Teoretická pravděpodobnost dosažení správné odpovědi náhodným výběrem je dána převrácenou hodnotou počtu nabídek; při 3 nabídkách je pravděpodobnost uhodnutí 1/3, při čtyřech nabídkách 1/4, atd. Úsilí o snížení pravděpodobnosti uhodnutí svádí ke snaze o zařazení velkého počtu nabídek. Platnost pravděpodobnostního modelu hádání je však vázána na splnění dvou podmínek: hádání provádí zcela neinformovaná osoba a každá z nabídek je pro hádajícího stejně atraktivní. Ve skutečnosti nebývají obě podmínky splněny. Jen málokdy se podaří navrhnout velký počet dostatečně atraktivních distraktorů. Distraktory, které nikdo nevybírá, neplní svoji funkci, zbytečně zabírají místo a nemá je proto smysl zařazovat. Kromě toho jsou úlohy s velkým počtem nabídek nepřehledné. Doporučuje se proto používat tří až pěti nabídnutých odpovědí.

Zvláštní formy nabízených odpovědí

V souboru nabídek doplňujících kmen úlohy s výběrem odpovědi se někdy jako závěrečné nabídky používá jedné ze tří zvláštních nabídek - "vše z uvedeného", "nic z uvedeného" a "nevím". Zkušenosti s jejich použitím ukazují, že zvláštních nabídek je třeba používat uváženě a v některých případech lépe se jim vyhnout.

Vše z uvedeného

Výzkum účinnosti nabídky "vše z uvedeného" /MUELLER, 1975/ ukázal, že v běžných testech jsou úlohy s touto nabídkou zpravidla snadnější než obdobné úlohy se stejným počtem jednoduchých nabídek a to především tehdy, je-li nabídka správnou odpovědí. Ale i v případě, kdy nabídka je nesprávnou odpovědí, je úloha snadnější. Student, který dovede správně vyloučit jen jednu z nabídek, automaticky vylučuje i nabídku "vše z uvedeného". Zdá se, že namísto této nabídky je vhodnější používat komplexních nabídek, které jsou založeny na kombinaci některých z předcházejících jednoduchých nabídek.

Nic z uvedeného

Nabídky "nic z uvedeného" lze s výhodou použít u úloh vyžadujících početní řešení, zejména pak tam, kde je obtížné navrhnout dostatečný počet atraktivních distraktorů. Nabídka je zvláště účinná jako nesprávná odpověď v situaci, kdy se student při řešení dopustí chyby, jíž nezachycuje žádný z distraktorů. Je-li naopak správnou odpovědí, vzniká nebezpečí, že student získá správnou odpověď nesprávným řešením, jehož výsledek se liší od ostatních distraktorů. Pokud se této nabídky používá, doporučuje se ji zařadit jako správnou odpověď k některé ze snadných úloh již na počátku testu, aby si studenti uvědomili, že ji nemohou prostě ignorovat /MEHRENS a LEHMAN, 1978/.

Nabídka typu Nevím

Na použití nabídky "nevím" se názory učitelů a odborníků na měření výsledků výuky liší. Učitelé zdůvodňují používání nabídky výchovnými hledisky. Tvrdí, že je cennější přiznat nevědomost než se neadekvátními způsoby snažit získat správnou odpověď. V praxi didaktického testování se však ukazuje, že této nabídky slabší studenti využívají jen velmi málo. Lepší studenti jí naopak v průměru využívají častěji, neznalost přiznají a tak se vyhýbají hádání. Využívání této nabídky odráží i některé rysy studentovy osobnosti: silné individuality se sklonem k riskování se nabídce vyhýbají, svědomití a málo rozhodní studenti ji používají již při vzniku sebemenší pochybnosti. Vcelku se tvrdí, že zařazení nabídky znevýhodňuje lepší a svědomité studenty. V testech, které mají velký význam pro hodnocení studentů, je proto vhodnější nabídku "nevím" vůbec nepoužívat. Nic však nebrání tomu, aby byla použita v testech pro průběžnou kontrolu.

Doporučeni pro návrh úloh s výběrem odpovědi

1. Úlohy pokud možno nepoužívat k testováni zapamatování konkrétních poznatků. Zde jsou vhodnější úlohy se stručnou odpovědí.
2. Úlohy nepoužívat pro testování příliš rozsáhlých znalostí nebo komplexních řešení. Komplexní řešení lze rozdělit do několika úloh nebo jednou úlohou testovat jen hlavní článek řešení.
3. Variantu s vícenásobnou odpovědí používat jen v případě nutnosti. Není ji možno nahradit úlohou s jednou správnou odpovědi s komplexními nabídkami nebo trsem dichotomických úloh? Použijete-li ji přesto, nezapomeňte studenty upozornit, že více odpovědí může být správných.
4. Z kmene úlohy musí být jasná podstata úkolu, který má student provést.
5. Neformulovat kmen úlohy příliš dlouhým textem, aby bez dlouhého čtení a úvah bylo studentovi s vědomostmi postačujícími k řešení úlohy jasné, co se od něho žádá.
6. V kmenu nepoužívat slov nebo údajů, které by mohly posloužit jako nápověď.
7. V kmenu zvýraznit zvláště důležité informace, jejichž přehlédnutí by mohlo vést k neúspěšnému řešení. U varianty se záporem v kmeni zvýraznit negaci.
8. Slova a údaje opakující se ve všech nabídkách zahrnout do kmene.
9. Z textu kmene úlohy s nejlepší odpovědí musí být studentovi zřejmé, že se po něm vyžaduje nejvhodnější odpověď. Zdůraznit tento fakt vhodnou formulací, např. "... nejvíce vyhovuje...", "... nejvíce působí na ...", "... nejméně ovlivňuje atd.
10. Soubor nabídek k jedné úloze by měl být homogenní, tj. podobný obsahovým zaměřením a formou.
11. K základní variantě úlohy s výběrovou odpovědí, resp. k variantě s nejlepší odpovědí, musí být jen jedna odpověď správná, resp. jedna odpověď nepopiratelně nejvhodnější.
12. Všechny distraktory musí být jednoznačně nesprávné nebo obsahovat nepostačující odpověď.
13. Pro studenta s nedostatečnými vědomostmi musí být distraktory dostatečně atraktivní, zatímco správné odpověď nemá být atraktivnější než distraktory.
14. Distraktory se nemají obsahem navzájem překrývat nebo jinou formou vyjadřovat totéž. Takové distraktory snadno odhalí a vyloučí i průměrný student.
15. Nenavrhovat nadměrný počet nabídek.
16. Nabídek "nic z uvedeného", "vše z uvedeného" a "nevím" používat opatrně, posledním dvěma se raději vyhnout.
17. Nabídky umístit pod kmen podle jejich délky buď do řádku, nebo do jednoho či do dvou sloupců. Seřadit je přitom do určitého logického sledu (existuje-li), např. podle velikosti, přesnosti, podrobnosti). Jednotlivé nabídky označit písmeny, nikoli číslicemi.
18. Umístění správné odpovědi mezi nabídkami volit zcela náhodně.

konec citace

Návrat to textu o testování