Fórum:Testy2/IDEAL Consortium

IDEAL Consortium (International Database for Enhanced Assessments and Learning) je dobrovolné sdružení 27 vysokých škol z 11 zemí z celého světa , na nichž se medicína přednáší v angličtině. Nejvíce jich je z Austrálie a Kanady, významný podíl tvoří země středního východu. Jde přitom v mnoha případech o významné univerzity, které se v žebříčcích řadí mezi nejlepších 150 na světě.

Cíle sdružení jsou formulovány ve třech bodech:

• vytvořit a sdílet velký počet kvalitních testových otázek pro účely lékařského vzdělávání v mezinárodním měřítku,
• podporovat komunikaci mezi lékařskými fakultami v oblasti standardů kvality testování,
• podporovat výzkum a rozvoj mezinárodních norem v posuzování lékařské způsobilosti.

Konsorcium buduje dvě oddělené databáze otázek. Databáze pro sumativní testování obsahuje 13 tisíc otázek a přístup do ní je striktně omezen. Druhá databáze s otázkami pro formativní hodnocení obsahuje 6 tisíc položek určených pro sebevzdělávání a přístup do ní je možný po přihlášení. Výše uvedené informace o počtech otázek pocházejí z webových stránek konsorcia. V publikaci z roku 2012 je celkový počet otázek v databázi odhadnut na 32 tisíc..

Otázky jsou opatřeny klasifikátory (metadaty), které v nich umožňují efektivně vyhledávat. Jedním z klasifikátorů je řízený slovník biomedicínských deskriptorů MeSH (Medical Subject Headings). Dalšími jsou předdefinované kvalitativní charakteristiky, jako jsou disciplína, nebo úkoly lékaře a nakonec výkonové (psychometrické) charakteristiky jako jsou úroveň obtížnosti, diskriminační schopnost, počet použití apod. Kvalita otázek se zdá velmi dobrá a i přes kulturní rozdíly odrážející místo vzniku je lze s malým vkladem práce přizpůsobit pro místní podmínky .

Konsorciem byla vytvořena sada programů, které slouží:

• Pro skladování, vyhledávání a získávání položek (testových otázek).
• Pro administraci hodnocení, analýzu studentských odpovědí a poskytování zpětné vazby.
• Pro správu a sdílení položek uvnitř i mezi institucemi

Vývojové náklady byly menší než 1 mil. USD a byly hrazeny z hongkongských grantů pro rozvoj výuky.

Podporované typy testových položek

• SBA (single best answer) – otázky s jedinou nejlepší odpovědí
• EMQ (extended-matching questions) – rozšířené přiřazovací otázky
• SAQ (short-answer questions) – otázky s krátkou tvořenou odpovědí
• MRQ (multiple response questions) – otázky s více správnými odpověďmi (~ MTF)
• MEQ (modified assay question) – modifikovaný esej
• OSCE/OSPE (objective structured clinical/practical examination) - objektivně strukturované klinické/praktické zkoušení

Součástí otázek mohu být i vložené objekty – audio, video, grafy a tabulky. Otázky s sebou nesou metadata zahrnující mimo jiné informace o původním autorovi, o zdrojovém materiálu, o zpětné vazbě od studentů a podobně. Banky otázek s omezeným přístupem (pro sumativní hodnocení) i volným přístupem (pro formativní testování) jsou každoročně aktualizovány. Software sdružení IDEAL podporuje práci jak na lokálním PC, tak online na vzdáleném serveru. Programy umožňují nejen zadávání otázek a klasifikaci položek, ale též jejich položkovou analýzu.

Kvalita obsahu je podpořena i pravidly, podle nichž jsou členové sdružení přijímáni. Musí jít o (lokálně) akreditované vysoké školy, které mají zavedenou kontrolu kvality hodnocení studentů. Předpokladem je ochota přispět nejlepšími testovými otázkami (minimálně 150 položek ročně) a podmínkou přijetí je i záruka některého stávajícího člena sdružení.

Sdružení poskytuje svým členům podporu formou školení školitelů (v Hongkongu), vydává manuály a učí i pravidlům pro správnou tvorbu otázek.

Více informací na stránkách sdružení: http://www.idealmed.org/.