Na "scio testy" skutečně lze trénovat

8. 4. 2010 / Bohumil Kartous

Oceňuji jejich kultivovaný charakter, stále se však pohybujeme na různých rovinách argumentace a navíc dochází k rozdílnému chápání toho, co ve vztahu k testu OSP -- z hlediska přípravy - lze a co nelze.

Jak uvádějí pan Koutník a paní Wolfová, z jejich osobní zkušenosti vyplývá, že se na test OSP lze připravit (lze schopnosti a dovednosti, potřebné k řešení úloh v testu OSP dosažených, "natrénovat"). To je ale zcela v pořádku. Stejně jako lze trénovat schopnosti a dovednosti predisponující k fyzickému výkonu, stejně tak lze trénovat schopnosti a dovednosti nutné k výkonu kognitivnímu.

Lze tedy "natrénovat", nikoliv "naučit se" ve smyslu získávání konkrétních znalostí, které lze následně mechanicky aplikovat v dalších testech. Jinými slovy, lze se zdokonalit v tom, jak k řešení jednotlivých úloh přistupovat (a to stále v omezené míře), ale nelze se naučit univerzální odpovědi. V tomto ohledu jsou námitky paní Wolfové a pana Koutníka ("není třeba vymýšlet řešení", respektive "nepochybná výhoda znalosti testů") dost zavádějící: učit se nazpaměť úlohy z testu OSP nemá smysl, smysl má trénovat postupy řešení, které se shodují s kognitivními postupy procesu učení, čtení, interpretace, řešení problémů atp.

Je-li někdo toho názoru, že schopnosti a dovednosti lze trénovat, pak nejsme v žádném sporu a tento fakt zároveň lze jen těžko považovat za postup, který by byl v rozporu se smyslem samotné zkoušky (k tomu více níže pod odkazem na "tréninkovou" praxi běžnou kupříkladu pro College Board).

Skutečnost, že se někteří účastníci zkoušek přípravou na ně zlepší, pak rozhodně není předpokladem k tomu, že "se ztrácí efekt výběru těch nejlepších". Jednak je zdánlivě paradoxním ukazatelem, že ti "nejlepší" (pro konkrétnější představu uveďme, že se jedná o účastníky zkoušky, jejichž výsledek spadá do desetiny nejúspěšnějších účastníků), zpravidla přípravu na zkoušky nevyužívají, případně ji využívají spíše omezeně (opět je asi nutné zdůraznit, že zde mluvíme o převažující tendenci, odlišné individuální případy se samozřejmě mohou vyskytnout), a jednak to, že se někdo cílenou přípravou zlepší, nijak nediskvalifikuje úroveň jeho schopností a dovedností, které test OSP měří. Jejich úroveň, stejně jako úroveň inteligence, je závislá na rozvoji vrozeného potenciálu, nikoliv na nějakém jeho pevně daném a neměnném stavu.

Kritika (obecně) produkce společnosti Scio má většinou zástupný charakter a za argumenty se nejčastěji skrývá negativní pocit z toho, že Scio "prodává". Tento fakt patrně souvisí s tím, že školství a vzdělávání v ČR je stále považováno za výhradně "bezplatné". To ostatně potvrzuje přímá i nepřímá kritika paní Wolfové (symptomatická a zároveň irelevantní je ve vztahu k diskutovanému tématu domněnka, že Scio představuje prototyp "privatizátora" českého školství) a pana Koutníka, že společnost Scio nabízí "velké množství přípravných materiálů a služeb", za které se platí "velké částky". O tom, jak velké částky se platí za přípravné materiály a služby společnosti Scio, se může čtenář přesvědčit zde.

Pro skutečné posouzení je třeba porovnat nabídku jiných providerů (namátkou Tutor, Sokrates atd.) a také veřejných vysokých škol s neziskovým statusem. Pro ilustraci pak uvádím nabídku organizace College Board, která administruje více méně analogickým způsobem zkoušky rozhodující pro přijetí na řadu amerických univerzit. Mimo to stojí za zmínku, že společnost Scio zveřejňuje řadu přípravných materiálů (tisková pdf se soubory úloh a on-line testy) pro účastníky zkoušky zdarma.

Tragikomické pak je srovnání s náklady, které již zaplatil daňový poplatník za přípravu dosud neexistují státní maturity. V souvislosti s reálným stavem bych si proto dovolil podotknout, že pokud dochází v dané oblasti k pozitivnímu vývoji, je legitimní, je-li tento vývoj financován jinou než veřejnou cestou. A to i v případě, že se jedná o veřejný statek, jakým nepochybně institucionalizované vzdělávání je.

Je možné, že některé soukromé firmy "inklinují k prostému ekonomickému modelu maximalizace zisku bez ohledu na zákazníka" (jakkoliv se mi takový model zdá být z hlediska vztahu umožňujícího zisk poněkud rozporuplný), nicméně společnost Scio si to rozhodně nemůže dovolit. Jejími zákazníky jsou nejen uchazeči o studium na VŠ, ale v prvé řadě fakulty vysokých škol, které stanovují podmínky přijímacího řízení (a tedy spolupráci/nespolupráci se společností Scio) vždy a právě pro daný akademický rok. Nevím, zda se tyto podmínky slučují s "růžovou budoucností", kterou před společností Scio spatřuje paní Wolfová:) Jinými slovy, společnost Scio není žádným způsobem zajištěna proti tomu, když se prostě fakulty rozhodnou spolupráce s ní dále nevyužívat. Co se samotného rozhodnutí fakult, vše je transparentně podloženo rozhodnutími akademických senátů fakult (každé z nich) a já opravdu neznám žádný jiný obdobně průhledný schvalovací proces, ať už se jedná o kteroukoliv veřejnou instituci v této zemi.

Vraťme se ale k testu OSP, který je primárním předmětem diskuse. Jak jsem již uvedl, roviny argumentace v tom, jakého posunu lze tréninkem testu OSP dosáhnout, se liší tím, zda-li argumentujeme osobní zkušeností, nebo statistickou informací. Je zřejmé, že k posunům ve výsledcích testů může skutečně docházet v závislosti na tom, zda a jak se účastník zkoušky připravuje, takovou korelaci nelze popřít a nikdo tak nečiní.

Pan Koutník uvádí, že se jeho dcera významně zlepšila poté, kdy se na test OSP začala připravovat. Taková informace ale zachycuje jen část skutečnosti a naopak neříká nic o tom, jaká byla počáteční úroveň schopností a dovedností dcery pana Koutníka ve vztahu k požadovaným předpokladům řešení úloh v testu OSP a nezohledňuje ani žádné další faktory z oblasti psycho -- sociálního vlivu, které mohou velmi významně, bez ohledu na úroveň schopností a dovedností prokazovaných za ideálních podmínek, ovlivnit výsledek zkoušky.

Typicky je možné uvést stres způsobený nízkou sebejistotou při řešení dosud neznámého testu a následně významné zvýšení úspěšnosti při řešení, pokud došlo k lepšímu seznámení se s testem a se zkouškovou situací samotnou. Souhrnně tedy platí, že výsledek zkoušky je ovlivňován řadou dalších faktorů, jejichž reálný vliv může být u každého účastníka ryze specifický. Z toho vyplývá, že z osobní zkušenosti (navíc neanalyzované) nelze vyvozovat obecné závěry.

Rád bych se ještě vyjádřil k některým dílčím tvrzením v obou reakcích, budu-li toho schopen. Přiznám se, že jsem možná zcela nepochopil vývody, které paní Wolfová činí z toho, že je výsledek zkoušek v rámci NSZ stanoven tzv. percentilem (číslo na škále od 0 do 100, které vyjadřuje postavení účastníka zkoušky vůči ostatním účastníkům). Paní Wolfová správně konstatuje, že percentil je relativní hodnocení.

Testy užívané v rámci NSZ jsou totiž testy tzv. relativního výkonu, tedy srovnávací testy. Jejich výsledkem není odraz úrovně vůči stanovenému penzu vědomostí/schopností/dovedností (tzv. absolutní výkon, typicky při hodnocení naučené látky ve škole), ale srovnání výkonu s ostatními účastníky téhož měření.

Tento postup je vzhledem k účelu (přijímací řízení, tedy určitý typ výběrového řízení) zcela logický. V přijímacím řízení na VŠ (v případě převisu poptávky) vždy dochází k selekci pouze v rámci určité skupiny, tedy k hodnocení relativního výkonu. V tomto smyslu je tedy výsledek vyjádřený percentilem adekvátní dané situaci.

To, že účastníci zkoušky "nebývají vždy stejného věkového průměru, nemívají stejné znalosti ze středních škol" je samozřejmé, právě proto se hodnotí relativní, nikoliv absolutní výkon (nutno podotknout, že "znalosti" v případě testu OSP nerozhodují, což je jeho další výhoda: eliminuje do značné míry rozdíly v kvalitě předchozího vzdělávání).

Že se nejedná o "běžnou populaci" je také zřetelné a já jsem v předchozím textu také netvrdil, že by tomu tak bylo. Jedná se o uchazeče o studium na VŠ, což z podstaty diskutovaného problémy vyplývá, a k tomu se také vztahuje moje konstatování o "nevýznamném statistickém rozdílu při opakování zkoušky". Paní Wolfová se navíc mýlí ve svém odhadu počtu účastníků zkoušek.

Jen testem OSP letos projde více než 35 000 uchazečů, což je zhruba třetina všech letošních uchazečů o studium na VŠ. Při takovém počtu se rozhodně nejedná o "nezobecnitelný vzorek několika set studentů", jak se paní Wolfová domnívá:) Co se týká zkušenosti paní Wolfové s organizací NSZ, kterých se zúčastnila "asi před čtyřmi roky" (NSZ se poprvé staly hlavním či jediným kritériem pro přijetí na vybrané fakulty v roce 2006/2007, před tím probíhaly jako příprava a alternativní kritérium pro přijetí na několik málo fakult, pozn. autora), může mít nepochybně pravdu. Nicméně za dobu, kdy jsou NSZ velmi rozšířeným nástrojem výběru, došlo zejména v organizaci, logistice a zabezpečení k významnému (a nutnému) posunu.

To samozřejmě není omluva možných nedostatků z minulosti, pouze konstatování faktu. K drobným chybám může docházet i nyní, lidský faktor je nevyzpytatelný a při koordinaci cca 2 000 lidí, kteří zajišťují průběh zkoušek ve stejném čase pro až 25 000 účastníků, nelze chybu vyloučit. V tomto směru je důležité vytvořit takový systém, v rámci nějž je možné pomocí kontrolních a nápravných mechanismů důsledky případných chyb eliminovat. NSZ proto (mimo jiné) umožňují, aby uchazeči mohli ve třech krocích (k průběhu, k obsahu zkoušek a k jejich vyhodnocení) podávat námitky a na případné chyby tak upozornit.

To vše samozřejmě mimo možnou reklamaci, a také zcela mimo proces možné "žádosti o přezkum rozhodnutí o nepřijetí ke studiu" (toť právní označení pro tzv. odvolání). Nevím o žádném dalším přijímacím řízení, které by takovou možnost kontroly ze strany účastníka zkoušky umožňovalo. Ostatně každý si může ověřit výše uvedené v praxi, účast v NSZ je otevřená všem, bez ohledu na to, zda se hlásí na vysokou školu, či nikoliv. Přihlásit se je možné na www.scio.cz, letos proběhnou ještě dva termíny.

Dále je nutno odpovědět panu Koutníkovi na výhrady, které má vůči testu OSP. Test OSP skutečně obsahuje úlohy založené na "schopnosti chápat význam slov, kontextu, schopnost číst text a interpretovat jeho obsah." Pan Koutník to nejprve zpochybňuje, aby o několik řádek níže potvrdil, že "text předkládaný ve Sciotestech je vzhledem k časovému limitu velmi dlouhý, obsahově nevýrazný a otázka následně položená se často dotýká detailu, který nemusí být z hlediska pointy (pokud ji vybraný text náhodou zrovna má) ani příliš podstatný." Je nutné pouze korigovat přesvědčení pana Koutníka, že "texty jsou dlouhé".

Nikoliv, jsou v rámci několikanásobné pretestace a pilotáže voleny tak, aby odpovídaly diskriminačním kritériím nutným pro funkčnost testu. Dále je nutné upozornit na tvrzení, že "texty jsou obsahově nevýrazné". Netuším, jakou roli hraje "výraznost" textu pro plnění jeho funkce v testu a netuším ani, co to "výraznost" textu je a jak se hodnotí. Mohu ale zodpovědně prohlásit, že texty pro použití v testových úlohách jsou voleny tak, aby respektovaly úroveň dané věkové skupiny, která je cílovou skupinou testu. A konečně pro splnění funkce textu (vždy úryvku, jehož celkový kontext není pro řešení dané úlohy důležitý) nemá žádný význam "pointa", kterou pan Koutník hledal.

Význam mají pouze a jen tvrzení v textu uvedená, pouze s nimi řešitel pracuje a pouze od se odvíjí zadání úloh. Textové pasáže jsou voleny tak, aby bylo možné je interpretovat a v oblasti prokazatelné interpretace hledat možné vazby, z nichž konstrukce úloh čerpá.

Mimo to pan Koutník správně uvádí, že v testu OSP se vyskytují také úlohy, které předkládají sadu podmínek, na jejichž základě řešitel zodpovídá otázky (pracuje se zadanými podmínkami a z předložených souvislostí činí závěry. Pan Koutník pravděpodobně nikdy žádný test OSP sám neřešil, nenaznačoval by totiž, že tyto úlohy jsou nesmyslné. Každá z nich má své logické vazby a modeluje situaci, kdy je nutné z předložených souvislostí vyvodit závěry. Pokud toto panu Koutníkovi připadá pochybné, měl by uvést proč. A pokud soudí, že test OSP není tím pravým testem OSP, doporučuji panu Koutníkovi srovnání.

Třeba příbuzný TSA Test nebo SAT Reasoning Test lze absolvovat v ČR.

Závěrem bych rád upozornil, že stejně jako se vyvíjí podobné testy v zahraničí (často již desítky let, jako v případě SAT Reasoning Test) i test OSP se vyvíjí a příští rok čeká uchazeče nová a o další typ úloh obohacená verze.

Vytisknout