Fórum:Testy/Sdílení testových otázek

Banky testových úloh

Tvorba a kalibrace kvalitních testových otázek je velmi nákladná. Existuje proto přirozená tendence ke spolupráci a sdílení otázek. Předpokladem pro efektivní sdílení položek je vytvoření banky testových úloh (Item bank). Jejím úkolem není jen sdílet samotný text úlohy, klíčová slova a zařazení položky v rámci kurikula, ale i informace o původu a psychometrických vlastnostech položek. Takto popsané testové úlohy se označují jako "kalibrované".

Banka testových úloh (BTU) může být chápána i jako celý informační systém, který zahrnuje jak „úložiště“ testových úloh, tak i veškeré procesy od vývoje úloh až po generování testů. Takto pojímá Banku testových úloh například CERMAT , který vypracoval komplexní model banky testových úloh včetně návrhu řešení HW i SW, mapy procesů, analýzy rizik atd. Škoda, že tyto materiály nejsou vesměs veřejně přístupné.

V našem textu se však budeme držet užšího vymezení pojmu Banka testových úloh (položková banka), ve smyslu úložiště testových úloh.

Banky testových úloh obsahují nejen samotný text úlohy, ale i rozsáhlé informace o vývoji úlohy a psychometrické vlastnosti položek. Tato metadata položky většinou zahrnují :

1. autor položky
2. datum vložení
3. oponent
4. status položky (např. nová, pilotovaná, aktivní, vyřazená)
5. hraniční skóre položky dle Angoffovy metody
6. číslo správné odpovědi
7. formát položky
8. parametry položky podle klasické teorie
9. parametry položky podle IRT
10. deskriptor MaSH
11. téma výuky
12. uživatelem definovaná pole

Vzhledem k tomu, že položková banka je v podstatě jednoduchá databáze, může být uložena v téměř libovolném databázovém systému, nebo dokonce v prostřední tabulkového procesoru. Nicméně existuje řada komerčních řešení přímo pro vedení banky testových úloh . Obsahují často nástroje pro hodnocení položek, umožňují zobrazit úlohu, jak se bude jevit testovanému, podporují tisk testů a podobně .

Minibix

[ ✎ upravit vložený článek ]

Minibix byl jeden z mála projektů bank testových položek vyhovující specifikaci interoperability IMS QTI 2 a vytvořených jako open source. Prototyp banky byl vytvořen na univerzitě v Cambridge a dále rozvíjen britskou organizací JISC. Tato banka testových úloh vycházela z konceptu digitálního úložiště s doplněnou správou verzí, správou workflow a podporou položkové statistiky.

Formáty výměny testových položek

Testové položky mohou být vytvořeny či používány v mnoha různých systémech a je mimořádně důležité moci je přenášet mezi platformami. Proto byla postupně vytvořena řada formátů, které export a import umožňují. Jednoduché proprietární formáty podporují často přenos jen mezi několika určitými programy nebo podporují jen několik málo formátů testových úloh. Na druhou stranu bývají tyto formáty přehledné a pochopitelné (např. Aiken). Na druhé straně stupnice komplexnosti stojí všeobecně přijímané standardy interoperability, z nichž nejpoužívanější je QTI.

QTI

[ ✎ upravit vložený článek ]

QTI (Question & Test Interoperability) je název standardu pro výměnu testových úloh, který vytvořilo IMS Global Learning Consortium. Konsorcium IMS vyvíjí specifikace pro interoperabilitu výukových materiálů a zabývá se i standardy výměny dat mezi e-learningovými nástroji LTI (learning tools interoperability). Standardy LTI umožňují přenos dat, např. známek z testovacího programu do virtuálního výukového prostředí. K vytvoření standardu výměny otázek QTI vedla potřeba zabránit zmaření práce, která byla vložená do přípravy úloh, při změně technologie testování.

Poslední všeobecně přijímanou verzí QTI je vydání 1.2.1. Novější verze 2.0 zatím nebyla implementovaná všemi výrobci testovacích programů a verze 2.1, která by měla řešit problémy předchozích verzí, dosud nebyla uvolněna ve stabilní verzi.

Aiken

Aiken je velmi jednoduchý formát umožňující výměnu položek ve formátu s vícenásobnou odpovědí. Jeho výhodou je velmi jednoduchá syntaxe, která se blíží přirozenému jazyku:

Kmen otázky ... :

A) diskriminant 1

B) správná odpověď

C) diskriminant 2

D) diskriminant 3

ANSWER: B

GIFT

Proprietární formát Moodle pro import otázek do testů "GIFT" je složitější, ale podporuje daleko širší spektrum formátů testových položek: Multiple-choice, True-False, Short Answer, Matching a Numerical, jakož i otázky na doplňování chybějících slov. Importovaný textový soubor může obsahovat kombinaci různých typů otázek, komentáře, názvy otázek, hodnocení odpovědí pomocí vah a další parametry. Kódování souboru musí být windows-1250, je tedy například možné napsat položky v textovém editoru Word, pokud výsledek uložíme jako čistý text bez formátování (tj. soubor .txt).

Sdílené banky testových úloh

Sdílení testových otázek používaných pro hodnocení některých etap studia medicíny se ukázalo velmi přínosné. Ze zahraniční známe několik sdružení, která se provozují položkové banky a podporují sdílení kalibrovaných položek. Jsou to především: globální sdružení IDEAL, které vyrostlo z původního sdílení otázek jedné kanadské a jedné čínské lékařské školy, v německé jazykové oblasti působící Medical Assessment Alliance a aliance sdružující všechny lékařské školy ve Velké Británii Medical Schools Council Assessment Alliance.

Kromě výhod plynoucích z takové spolupráce se objevují i problémy s přenosem otázek z jedné školy na druhou způsobené rozdíly v učebních osnovách, kulturními rozdíly a pod.. Ukazuje se však, že s relativně malým množstvím práce lze přizpůsobit otázky z položkových bank pro vlastní použití.

IDEAL Consortium

IDEAL Consortium (International Database for Enhanced Assessments & Learning) je dobrovolné sdružení 23 vysokých škol z celého světa, na nichž se medicína přednáší v angličtině. Nejvíce jich je z Austrálie a významný podíl tvoří země středního východu. Jde přitom v mnoha případech o významné univerzity, které se řadí v řebříčcích mezi nejlepších 150 univerzit na světě.

Cíle sdružení jsou formulovány ve třech bodech:

• vytvořit a sdílet velký počet kvalitních testových otázek pro účely lékařského vzdělávání v mezinárodním měřítku
• podporovat komunikaci mezi lékařskými fakultami v oblasti standardů kvality testování
• podporovat výzkum a rozvoj mezinárodních norem v posuzování lékařské způsobilosti

Důvody ke spolupráci při standardizaci testování a jsou přinejmenším dva. Mechanismus zvyšování kvality testů přispívá ke zvyšování úrovně zdravotní péče a pomáhá při mezinárodně srovnatelném reportování důležitém pro hledání zdrojů financování a pro akreditační proces.

Konsorcium buduje dvě oddělené databáze otázek. Databáze otázek pro účely sumativního testování obsahuje 13 tis. otázek a přístup do ní je striktně omezen. Databáze otázek pro formativní hodnocení obsahuje 6 tis. otázek určených pro sebevzdělávání a přístup do ní je možný po přihlášení. Výše uvedené informace o počtech otázek pocházejí z webových stránek konsorcia. V publikaci z roku 2012 je celkový počet otázek v databázi odhadnut na 32 tis..

Otázky jsou opatřeny klasifikátory (metadaty), které umožňují v nich efektivně vyhledávat. Jedním z klasifikátorů je řízený slovník biomedicínských deskriptorů MaSH. Dalšími jsou předefinované kvalitativní charakteristiky, jako jsou disciplína, nebo úkoly lékaře a nakonec výkonové (psychometrické) charakteristiky jako jsou úroveň obtížnosti, diskriminační síla, počet použití apod.

Konsorciem byla vytvořena sada programů, které slouží:

• Pro skladování, vyhledávání a získávání položek (testových otázek).
• Pro administraci hodnocení, analýzu studentských odpovědí a poskytování zpětné vazby.
• Pro správu a sdílení položek uvnitř i mezi institucemi

Vývojové náklady byly menší než 1 mil.USD a byly hrazeny z Hong Kongských grantů pro rozvoj výuky.

Podporované typy testových položek

• SBA - otázky s jedinou nejlepší odpovědí
• EMQ - rozšířené přiřazovací otázky
• SAQ - otázky s krátkou tvořenou odpovědí
• MRQ - otázky s více správnými odpověďmi

Není MRQ totéž co MTF? Odpověď : To se nedá vyloučit. Nicméně zde uváděný výčet je přesnou citací, tak jsem ponechal i původní nomenklaturu. Pro potvrzení ekvivalence výše zmíněných formátů by to chtělo doklad.

• MEQ - Modifikovaný esej
• OSCE/OSPE

Součástí otázek mohu být i vložené objekty - audio, video, grafy a tabulky. Otázky sebou nesou metadata zahrnující mimo jiné informace o původním autorovi, o zdrojovém materiálu o zpětné vazbě od studentů a podobně. Banky otázek s omezeným přístupem (pro sumativní hodnocení) i volným přístupem (pro formativní testování) jsou každoročně aktualizovány. Software sdružení IDEAL podporuje práci jak na lokálním PC, tak online na vzdáleném serveru. Programy umožňují nejen zadávání otázek a klasifikaci položek, ale též jejich položkovou analýzu.

Kvalita obsahu je podpořena i pravidly, podle nichž jsou členové sdružení přijímáni: Musí jít o (lokálně) akreditované vysoké školy, které mají zavedenou kontrolu kvality hodnocení studentů. Předpokladem je ochota přispět nejlepšími testovými otázkami (minimálně 150 položek ročně) a podmínkou přijetí je i záruka některého stávajícího člena sdružení.

Sdružení poskytuje svým členům podporu formou školení školitelů (v Hon Kongu), vydává manuály a učí i pravidlům pro správnou tvorbu otázek.

Více informací na stránkách sdružení: http://www.idealmed.org/.

Medical Assessment Alliance

Podrobnosti - např. formáty sdílení otázek v rámci IMS jsou popsány v práci:

• http://link.springer.com/article/10.1186%2F1472-6920-12-63

V německy mluvících zemích se spoluprací při tvorbě a sdílení testových otázek zabývá Medical Assessment Alliance (MAA), která provozuje svůj Item Management System (IMS). Vznikla v roce 2006 jako výsledek spolupráce lékařských fakult univerzity v Heidelbergu, v Berlíně a v Mnichově. Skupina se od té doby rozrostla na 31 fakult v Německu a ve Švýcarsku. Více než 2.800 uživatelů v 750 pracovních skupinách spolupracuje na přípravě otázek.

Pro zajištění podpory při spolupráci a výměně otázek byla založena nezisková organizace, jejíž náklady se dělí mezi všechny členy. Řešené problémy jsou projednávány na společných jednáních a rozhodnutí jsou přijímána na základě hlasování. Jejími hlavními cíli jsou:

• Spolupráce ve všech oblastech testování studentů
• Zajištění kvality a dostupnosti otázek pro testování
• Vypracovávání a zavádění standardů
• Podpora inovativních forem testování
• Vývoj v oblasti testování

Tento IMS systém (Item Management System) je koncipován jako All-in-one řešení, podporující všechny fáze přípravy otázek. Testování i vyhodnocování výsledků a odpovídá směrnici upravující zkoušení na lékařských vysokých školách v Německu podle mezinárodních standardů.

Workflow IMS

• Workflow v IMS se skládá ze šesti modulů: -
  • Tvorba obsahu zkoušky a její sestavování
  • Předběžná recenze jako nástroj zabezpečování jakosti před zkouškou
  • Zkoušení - provádění zkoušky v písemné, ústní nebo praktické formě
  • Vyhodnocení zkoušky podle ustanovení příslušných studijních předpisů
  • Následná recenze jako záruka kvality po zkoušce
  • Mezifakultní zásoba položek pro sběr, sdílení a výměnu všech údajů získaných v tomto postupu

V databázi IMS je aktuálně uloženo více než 90.000 otázek. Od roku 2007 bylo provedeno přibližně 4.600 testování studentů.

Medical Assessment Alliance

Medical Schools Council Assessment Alliance

Medical Schools Council Assessment Alliance (MSC-AA) je organizace sdružující 31 lékařských vysokých škol ve Velké Británii za účelem zlepšit spoluprací současnou praxi hodnocení výsledků pregraduální výuky. Spolupráce byla zahájena v srpnu 2010 na základě rozhodnutí General Medical Council, že lékařské školy mohou sdílet testové položky jako prostředek pro dosažení srovnatelného hodnocení studentů, jako alternativu k porovnávání výsledků výuky pomocí národních licenčních zkoušek.

Konečným cílem MCS-AA je pomoci zajistit důvěru veřejnosti, zaměstnavatelů a regulačních orgánů v kvalitu absolventů lékařských vysokých škol, pomocí:

• Vývojem vysoce kvalitních testových položek pro pregraduální studenty
• Sdílením zkušeností a tvorbou přidané hodnoty prostřednictvím spolupráce, spíše než konkurencí
• Prokázáním rovnocennosti norem uplatňovaných lékařskými fakultami

Organizace MSC-AA umožňuje více pedagogům, aby se zapojili do tvorby testových položek a zajištění kvality testů, což vede k lepší individuální a institucionální dovednosti v přípravě kvalitních hodnocení výsledků výuky medicíny. Partnerské školy mají (budou mít) přístup k bance vysoce kvalitních testových položek v různých formátech, s dobrou reliabilitou a validitou. Otázky jsou tvořeny ve spolupráci a prochází rozsáhlým testování jejich kvality a standardizací. Všechny lékařské vysoké školy v UK se dohodly, že zahrnou do závěrečných zkoušek dohodnutý podíl sdílených otázek, které umožňují psychometricky validní srovnání.

Medical Schools Council Assessment Alliance

• Can we share questions? Performance of questions from different question banks in a single medical school.

Sdílení otázek v portálu TESTY

V českém prostředí a lékařském kontextu byl učiněn první krok ke sdílení testových otázek vytvořením portálu TESTY (http://testy.lf3.cuni.cz/moodle/). Záměrem bylo vytvořit zabezpečený webový prostor pro testové otázky, nástroj pro jejich vkládání a editaci a vložit prvních 1000 otázek.

Portál byl vytvořen jako samostatná instance Moodle. V pilotním provozu byla naplněna složka Biofyziky, ve které bylo ke konci roku 2012 cca 3000 otázek ve formátu MCQ od autorů z pěti lékařských fakult. Otázky byly oponovány anonymně ostatními autory a roztříděny do osmi kategorií podle tematického zaměření. V ostatních oborech je významný počet otázek shromážděn ve složce Patologie a prvních 500 otázek v dosud nezveřejněné složce Biochemie. Otázky byly importovány ve formátu AIKEN. Návod na obsluhu obsahuje dvě instruktážní videa k založení testu a tvorbě testů z databáze otázek. V diskuzi k projektu jsou otevřena témata:

Má být celá nebo část databáze otázek otevřena studentům?

Má smysl statisticky ověřovat obtížnost otázek stanovenou oponentem?

Má být umožněno studentům samotestování?

Projekt ukázal, že sdílení otázek je možné a prakticky proveditelné. Současně projekt ukázal na meze zvoleného přístupu:

• Řada pedagogů se sdílením svých otázek váhá, z části i proto, že nejsou jasně stanovena pravidla co se s otázkami stane a obávají se degradace hodnoty otázek.
• Podporované formáty otázek jsou zatím omezeny na MCQ (respektive MTF).
• Ukládání otázek v Moodle je výhodou pro uživatele tohoto LMS systému, ale může být omezením pro ostatní.
• Projekt v současné podobě nepracuje s kalibrovanými položkami a nejsou vytvořeny mechanismy pro sběr ukládání metadat položek.