archiv
Učitelské noviny č. 1516/2013
tisk článku

POHLED DO TESTOVÉ KUCHYNĚ STÁTNÍ MATURITY

Definitivní vyústění projektu testů v 5. a 9. třídách je prozatím stále ve hvězdách. Jiné testování už ale svou definitivní podobu dostalo, byť třeba není některým odborníkům zrovna po chuti – ano, řeč je o státní maturitě, která se v těchto dnech obléká pro své sice třetí, ale opět i tak trochu premiérové představení. Odpověď na otázku, jak se vlastně takový maturitní test rodí, může být pro právě probíhající debaty o zkouškách pro základní školy přinejmenším poučná.

Pěkně od začátku

Než se test dostane na stůl pod ruce nervózně poposedávajícího maturanta, uplyne hodně dlouhá doba. Příběh zrození jedné úlohy je totiž nesmírně složitá alchymie plná kontrol, školení a hodnocení nutných k tomu, aby výsledkem mohl být krystalický test bez jakýchkoli nečistot. Přesněji chyb.

Geneze začíná výběrem autora úlohy (nejen té testové, také písemná práce či ústní zkouška má svého autora). Podle pravidel CERMATu musí jít vždy o odborníka s patřičným vzděláním a zaznamenání hodnou praxí, odvážlivce, který se nebojí podstoupit několikanásobné náročné školení, aby mohl získat příslušný certifikát.

I budoucího autora zkouškových testů čeká zkouška, u které musí prokázat, že se náležitě seznámil s konstrukcí úloh a jejich hodnocením, že zná maturitní katalogy, na jejichž základě se úlohy tvoří, a že úlohu vůbec dokáže dát dohromady.

Nad certifikovanými autory bdí tzv. předmětový koordinátor, který je prvním, kdo ještě horké, možná i nedopečené úlohy po autorech čte a hodnotí. A samozřejmě je taky vrací k přepracování, anebo definitivně pohřbívá, když je to nutné.

Ty úlohy, které projdou vstupním sítem (říká se jim příznačně „syrové“), putují rovnou do speciální banky, odkud si je vyzobávají odborní a jazykoví „revizoři“ a zkoumají jejich validitu. Pokud úloha projde tímto finálním kolečkem, může se upotřebit. Buď po ní CERMAT sáhne pro účely pilotáže, anebo ji rovnou použije pro ostrou akci, tedy samotnou státní maturitu, či přesněji pro některou z mnoha částí společné části maturitní zkoušky.

Mimochodem, zmíněná pilotáž je hodně důležitý prvek při tvorbě testů, protože na ní jsou hodně závislé jak kvalita úloh, tak optimální sestavení testu. Navíc může být ošemetná. Úskalím pilotáže totiž dost často bývá nízká motivace žáků, kterým se moc nechce jít do řešení úloh naplno. Jaký div, vždyť vlastně o nic nejde. A tak se volí úskok – testové úlohy dostávají „pokusní“ žáci jako součást nějaké běžně klasifikované písemné práce ve škole, která se pilotáže účastní. A je po problému.

Jak na to…

A teď k sestavení samotného didaktického testu. Podstatná část práce leží na bedrech předmětového koordinátora, který své tvůrčí úsilí usměrňuje podle zadání neboli specifikace testu a výsledků z pilotáží a samozřejmě i podle obsahu úloh v bance. Hotové dílo poté opět čeká oponentura, jíž se zhostí tzv. expertní týmy. Ty kromě důkladné kontroly úloh posuzují i obtížnost jednotlivých částí testu.

Role koordinátora ale sestavením testu zdaleka nekončí. Právě teď totiž přichází moment, kdy musí formulovat požadavky na tvorbu záznamového archu a sestavit klíč správných řešení. Po dokončení svou práci předá do rukou dalšího článku v dlouhém řetězu příprav testů státní maturity – metodika, který mimo jiné dohlédne, aby test neodporoval požadavkům vtěleným do maturitních katalogů. Po jazykové korektuře test ještě projde pilotáží, aby se vědělo, že ho maturanti vůbec stihnou v daném časovém limitu vyřešit (mimochodem právě v tomto bodě propadl loňský test z matematiky vyšší obtížnosti a odstartoval mediální kauzu, která nakonec stála hlavu tehdejšího ředitele CERMATu Pavla Zeleného).

A stále ještě nejsme u konce. Závěrečnou verzi testu zkontrolují externisté CERMATu – obvykle zkušení praktici ze středních škol, případně rodilí mluvčí, jestliže jde o úlohy z cizích jazyků. Test si zkusí sami vyřešit, opět zkontrolují, zda se v něčem neodchyluje od maturitních katalogů, a navíc jej porovnají s už dříve realizovanými testy. Souběžně s tím předmětoví koordinátoři vytvářejí i soubory s pokyny k hodnocení tzv. otevřených úloh. Po vypořádání případných připomínek test spěje do finále.

Před předáním do výroby každý test projde hodnocením tzv. validační komise, kterou jmenuje ředitel CERMATu. Komise je složena z metodiků a jejím úkolem je projít úlohy za pomoci externích expertů, aby bylo zaručeno, že nedojde k interní sleposti, kdy předmětoví koordinátoři a metodici už nevidí problém, který může zachytit externista.

Když je vše odladěno a vychytáno, slovo, a to už opravdu definitivně poslední, dostávají tiskařské stroje.

Ve jménu otevřenosti

Další klíčový okamžik státní maturity samozřejmě nastává poté, co je test zadán a výsledky se nahrnou do centra. Tehdy zasedne takzvaná ex-post validační komise, která posoudí platnost testů a zadání úloh. Je složena z jiných expertů než předchozí validační komise, kteří se probírají statistickými analýzami výsledků testů. Ti by měli identifikovat problémové úlohy a posoudit jejich validitu.

„Výstupy ex-post validační komise budou zveřejněny spolu s jejím složením. Stejně tak budou zveřejněna zadání a klíče správných řešení. Na základě doporučení této komise pak vydám rozhodnutí o změně nebo úpravě klíče správných řešení,“ uvedl na tiskové konferenci věnované letošním maturitám ředitel CERMATu Jiří Zíka.

CERMAT se letos rozhodl být mnohem otevřenější než loni, kdy sklidil kritiku mimo jiné i za to, že nezveřejnil právě závěry a složení validační komise.

Tato instituce je vlastně posledním hlídacím psem v řadě kontrolních mechanismů, které by měly zabránit chybám v testech. Jak víme z minulého roku, občas se nějaká chyba našla. Co pak?

Pokud validační komise shledá nějakou úlohu defektní, rozhodne, zda takovou úlohu z hodnocení úplně vyřadí (uzná všechna řešení), nebo uzná dvě řešení. Následně se přepočítají výsledky, aby žádný maturant, jenž ten který test konal, nebyl nijak poškozen. Podle CERMATu jde o běžnou praxi používanou ve všech kvalitních testovacích společnostech.

Objektivita, základ všeho

Je to tak. Základním principem státní maturity je objektivita měření žákových znalostí testem. Je nasnadě, že výpovědní hodnota testů je kromě jiného závislá na typech používaných úloh a způsobu jejich bodování (pomiňme protentokrát fenomén opisování). Některý typ je vhodný pro hodnocení skupin, jiný pro porovnávání jednotlivců. Každý tvůrce testové úlohy si musí být tohoto rizika vědom – ano, výběr typů úloh může ovlivnit výsledek, respektive výpovědní hodnotu celého testu.

Je také dobře známo základní dělení testových úloh na otevřené (slovní vyjádření, postup, číselný výsledek, písemná práce atd.) a uzavřené, z nichž nejpoužívanější je úloha s výběrem jedné odpovědi z několika možných (tzv. multiple choice).

Podle teorie testování změna typu úlohy může výrazně ovlivnit objektivitu celého testu. Když pomineme poměrně složitý teoretický aparát, dojdeme k prvnímu zajímavému výsledku: uzavřené úlohy jsou méně spolehlivé než ty otevřené.

Jenže objektivita testu nesouvisí jen s typem úloh, ale i s úrovní testovaných žáků. Když tento parametr „zapojíme“ do teorie testování, vyjde nám druhý zajímavý výsledek. Čím lepší jsou testovaní žáci, tím menší je u uzavřených úloh chyba měření. Například při zvýšení úspěšnosti žáků z 50 % na 85 % se v testu úloh multiple choice se čtyřmi odpověďmi sníží chyba měření ze 17 na 5 %.

Když si vezmeme, že u testu sestaveného vloni školní inspekcí pro 5. a 9. třídy z úloh typu multiple choice byla úspěšnost zhruba 40 %, pak je výpovědní hodnota výsledku z pohledu objektivního měření výkonu jednotlivce podle této teorie prakticky nulová.

Testy složené výhradně z úloh multiple choice se proto používají zejména tam, kde se zjednodušeně řečeno „hraje“ o nejvyšší počet bodů – olympiády nebo testy v autoškolách. Pokud ale hodnotíme rozmanitou skupinu, jako jsou právě maturanti navštěvující školy různé kvality, a chceme mít objektivní výsledek, musíme do testů přidat úlohy otevřené. To už je ale pochopitelně mnohem obtížnější práce!

Problém s objektivitou uzavřených úloh, které mají za cíl měřit výkony jednotlivců tedy žáků, lze do jisté míry eliminovat například zavedením záporných bodů za chybné odpovědi – to proto, aby se notoričtí tipaři zalekli a nesázeli odpovědi jako ve sportce. Jenže má to i odvrácenou stranu, záporných bodů se mohou leknout i ti dobří, kteří si jen nejsou stoprocentně jistí odpovědí. A tak raději vůbec na otázku neodpoví.

Suma sumárum, podle některých testologů zcela objektivní výstupy tak dávají pouze testy tvořené otevřenými úlohami, které jsou ideální jak pro měření skupin, tak i, jako v tomto případě, jednotlivců. Absence otevřených úloh sice test zlevní a urychlí i jeho hodnocení, avšak na úkor objektivity. Proto je vždy třeba zvážit, k jakému účelu se testování používá… Tak už víte, proč je státní maturita tak drahá?

Text a ilustrační foto: Petr Husník

 

CERMAT na svých stránkách www.novamaturita.cz zveřejnil ilustrační testy a zadání písemných prací povinných zkoušek pro rok 2013. Nejprve byly vyvěšeny v informačním systému CERTIS pro potřeby škol, nyní jsou k dispozici volně ke stažení. V těchto dnech se připravuje vydání Průvodce maturitní zkouškou ve dvou verzích – pro žáky a pro školy, který bude také zdarma ke stažení z internetových stránek CERMATu.

 

 

Co se stane v okamžiku uveřejnění výsledků letošních státních maturit?


Po ukončení testování proběhne statistická analýza a finální ex-post validace testů a jednotlivých úloh.


Cílem ex-post validace je identifikace problémových úloh a expertní posouzení jejich validity. Členy ex-post validační komise jsou metodici a koordinátoři a externí specialisté.


Výstupy ex-post validační komise budou zveřejněny spolu se složením validačních komisí. Stejně tak budou zveřejněna zadání a klíče správných řešení.

CERMAT připravuje strukturu agregovaných anonymizovaných výsledků a anonymizovaných dílčích výsledků, které zpřístupní veřejnosti po jejich schválení MŠMT.

Cílem je nabídnout veřejnosti ucelený přehled o výsledcích a eliminovat neprofesionální snahy o prezentaci výsledků bez znalosti kontextu.

< zpět do čísla
banners/lesany_konkurz_390x60.jpg
reklama un

1333317600_seznamy-125x125-na-web-un-1.gif
reklama
akcent_09-19_125x125.gif
1543878000_mikroskop.gif
ucebnice
1590530400_polartraver.gif
anketa
Změní krizová online výuka školství k lepšímu?
ANO
NE
NEVÍM
ano
ne
nevim
32%
44%
23%
meziploty_2020_240x100.gif
linka_duvery_240x100.jpg
© Copyright 2010 - 2020 Učitelské noviny, ČTK / realizováno: manilot.cz