Výzkum s předem daným výsledkem

6. 11. 2009

Metodologie pro prváky

Výzkum akademických pracovníků vysokých škol MŠMT je především dobrý výukový materiál, jako příklad nehodný následování. Autoři v něm "dokázali", co předem chtěli, a rezignovali na základní metodologické zásady. Omezený prostor neumožňuje probrat všechny jejich triky, ukážeme proto, že špatný je již dotazník, na kterém stojí veškerá statistická ekvilibristika.

Nepřípustné jsou například dvojité otázky (A9a, A9c, A14 a dalších devět), kdy se respondenti vyjadřují k více jevům prostřednictvím jediné odpovědi. Není proto jasné, ke které části otázky se odpověď váže. Autoři však data "čtou jednoznačně" a nutně tedy manipulují.

Běžné jsou technické termíny (manažerský způsob vedení, externí aktéři či reforma), u kterých není upřesněn význam. Není proto zaručeno, že jim respondenti rozumí stejně. Na otázku "Domníváte se, že české vysoké školství potřebuje hlubokou reformu?" (B15) by asi každý odpověděl: "To záleží na podobě reformy!" Není jasné, o jakých prvcích "řízení velkých firem" je řeč v položce B11. Nejde jen o pravidla oblékání? Názor na efektivnost řízení zase závisí na významu slova "efektivní" (z hlediska ekonomického, vzdělávacího, demokracie rozhodování?).

Použity jsou i manipulativní otázky, které sugerují určitou odpověď nebo přenášejí pozornost k dílčímu aspektu hodnoceného jevu místo zjišťování skutečné šíře postojů. Položka "Akademický senát hraje v řízení vysoké školy (univerzity), na které působím, velmi pozitivní roli..." (A9c) hraje na zdrženlivost akademiků vůči vyhraněným výrokům. V citaci položky v Závěrečné zprávě slovo "velmi" výmluvně chybí (!). Stejně funguje spojení "v co nejvyšší míře" (B12). Nadbytečné slovo "profesionální" v položce B11 zase sugeruje pozitivní vnímání korporátního řízení.

Manipulativní je i řazení položek, kdy některé předurčují odpovědi na ty, které následují. (On-line dotazník, kdy se odpovídá bez znalosti všech položek, problém umocňuje.) Například v sekvenci položek A15 až A18 první tři nejprve spojují školné pouze s pozitivními přínosy: lepší prací studentů, vyšší odpovědností učitelů a zvýšením kvality vzdělání. Podsouvají tak kladnou odpověď na položku A18 "Mělo by být podle Vašeho názoru na veřejných vysokých školách zavedeno odložené školné s možností splácení v závislosti na výši příjmu až po zahájení výdělečné činnosti absolventa? Předpokládá se, že by školné bylo příjmem školy a kromě toho by byly zavedeny půjčky na životní náklady během studia." Ta je ale také sugestivní - vztahuje školné k osobnímu zájmu respondenta a mírní pochyby ohledně možné asociálnosti. Zároveň kontaminuje odpovědi na položky ke školnému v části C (obdobně B15).

Jak vyrobit "stoupence"

Podle materiálů MŠMT bylo cílem výzkumu "zjistit názory akademických pracovníků na stav českého vysokého školství a na hlavní problémy, s nimiž se v současné době naše vysoké školy potýkají" a dále "představy akademických pracovníků o možných řešeních těchto problémů a jejich názory na různé reformní kroky", Navzdory této široké proklamaci bylo zaměření výzkumu podstatně užší. Autoři výzkumu se dotazovali téměř výhradně na ty oblasti, které korespondují s jimi připravovanou reformou VŠ (především způsob řízení VŠ, vstup externích aktérů, samospráva VŠ a školné) a jiné neméně důležité ignorovali (např. normativy na studující, hodnocení vědy a výzkumu aj.).

V prezentaci výsledků věnovali autoři hlavní pozornost názorovým rozdílům mezi "stoupenci" a "odpůrci" reformy, které pak explicitně srovnávají s požadavky Bílé knihy terciárního vzdělávání: "Ta část akademické obce, která by si přála reformu, v zásadě podporuje změny, které jsou v hlavních obrysech identické s těmi, které doporučuje Bílá kniha". Aniž by v dotazníku byla Bílá kniha zmíněna, jeho výsledky jsou interpretovány jejím prizmatem: Reforma = Bílá kniha.

Autoři postupovali tak, že na základě jedné otázky v druhé části dotazníku "Domníváte se, že české vysoké školství potřebuje hlubokou reformu?" rozdělili vyučující na "odpůrce" a "stoupence" reformy. Není překvapivé, že v situaci dlouhodobého podfinancování VŠ, masifikace výuky, zhoršujících se podmínek pro výzkum v řadě oborů a zároveň intenzivní mediální masáže o nutnosti zásadních změn většina lidí odpověděla souhlasně. Z prostého souhlasu však nelze vyčíst, v čem považují fungování VŠ za problematické a čeho by se měly reformy týkat. Pojem reforma je v tomto smyslu mnohoznačný. Autoři ovšem v souladu s výše uvedenou premisou podsouvají interpretaci: souhlas s potřebou reformy = souhlas s Bílou knihou.

Při bližším pohledu na názory "stoupenců" a "odpůrců" je zřejmé, jak je toto dělení zavádějící. Obě skupiny nejsou z hlediska odpovědí na další otázky ani zcela homogenní, ani vzájemně protikladné. Pokud autoři chtěli najít různé názorové skupiny vyučujících, mohli za pomoci statistických postupů identifikovat segmenty respondentů se shodným profilem odpovědí a případně prostřednictvím odpovědí na zmíněnou otázku prověřit, nakolik jsou jejich stanoviska spojena s představou "hluboké reformy". Naproti tomu opačný postup použitý autory není sice ze statistického hlediska chybný, ale jeho jednostrannost přesto metodologicky neobstojí. Proč se podobně nezkoumaly např. rozdíly v názorech vyučujících z technických, humanitních a dalších škol? Nebo rozdíly mezi zhruba stejně velkými skupinami respondentů, kteří diskusi k reformě sledují "s velkým zájmem", a těch, kteří ji sledují "jen okrajově"? Zřetelně se ukazuje, že výzkum měl jasné zadání: vyrobit "stoupence reformy".

Kejkle s čísly

Existence protikladných táborů stoupenců a odpůrců nenaráží "jen" na realitu. Příkladem toho, že některé závěry jsou v rozporu se samotnými daty z dotazníkového šetření, je již zmíněná věta z tiskové i závěrečné zprávy: "Ta část akademické obce, která by si přála reformu, vidí hlavní problémy vysokého školství v zásadě tam, kde je identifikovala Bílá kniha," za níž následuje výčet údajných oblastí shody. Patří sem například teze, že příliš velký vliv akademických senátů na operativní řízení VŠ představuje problém. S tou však nesouhlasí 75 % "stoupenců" a 58 % "stoupenců" si myslí, že by se senáty měly podílet na řízení VŠ v co nejvyšší míře. Jak z toho lze vyvodit, že souhlasí s omezením role AS? Podobně proti tezi, že mezi hlavní problémy patří nezřetelné nastavení pravomocí a odpovědností rektora, správních rad a senátů se vyslovilo 59 % "stoupenců", proti tezi, že absolventi nejsou dobře připravováni na měnící se trh práce 60 % "stoupenců", a proti tezi, že vysoké školy mají slabý vliv na konkurenceschopnost ekonomiky 66 % "stoupenců".

Ukazuje se, že srovnávání dvou táborů autoři také využívají k tomu, aby upravili nevyhovující výsledky. Případy, kdy souhlas vyjádřila pouze menšina "stoupenců", klidně prezentují jako podporu, pokud souhlas mezi "odpůrci" byl ještě o něco nižší. Tímto trikem se z menšiny "stoupenců" stává masivní podpora reformy.

Manipulativní je i tvrzení o souhlasu ohledně slabé spolupráce VŠ s podniky, protože dotazník takovou otázku neobsahuje. Respondenti pouze srovnávali situaci u nás se zahraničím a i zde nižší úroveň spolupráce přisuzovali nesrovnatelným podmínkám v ČR (85 % "stoupenců"). Totéž platí o tvrzení o zablokovaném školném a slabém vlivu studenta jako klienta, nebo o nedostatečném vlivu hodnocení kvality na rozpočty škol. Žádné takové otázky v dotazníku nejsou.

Řada dalších údajných bodů shody je postavena na nejasných otázkách. Autoři navíc zamlčují zjištění, která jim nevyhovují. Nedozvíme se například, že 91 % "stoupenců" považuje za problém nedostatek financí z veřejného sektoru a 88 % souhlasí, že kvalita poskytovaného vzdělání na většině VŠ by se výrazně zvýšila, pokud by výdaje na VŠ u nás dosáhly úrovně vyspělých zemí. Podobně celých 41 % "stoupenců" si myslí, že zavedení školného zhorší dostupnost vysokoškolského vzdělání zejména pro nízkopříjmové skupiny, i když bude zavedeno jako odložené školné a budou zavedeny nástroje finanční pomoci studentům.

Dvojí hra: Stejný údaj, různý výsledek

Autoři výzkumu používají při interpretaci výsledků dvojí metr a zlehčují či zpochybňují údaje, které neodpovídají jejich očekávání. Například vzájemně nesouladné odpovědi na otázky týkající se samosprávy VŠ (str. 9 Závěrečné zprávy) označují autoři za "hádanku" a shazují je tím, že "řadoví akademičtí pracovníci nemají na problémy řízení vysokého školství vytvořený ucelený a vnitřně konzistentní názor."

Jakmile však jsou výsledky autorům po chuti, jsou považovány za neproblematické, ačkoliv bližší pohled radí k opatrnosti. Například rozpor mezi většinovým požadavkem na zvýšení pravomocí odpovědných řídících pracovníků a nesouhlasem s omezováním role akademických senátů.

Ještě zřetelněji je dvojí metr vidět na používání slov s hodnotícím potenciálem. V rámci jednoho odstavce se můžeme setkat například s těmito dvěma větami: 1) "`pravomoci a odpovědnosti managementu a senátů jsou v účelné a účinné rovnováze': tento názor sdílí jen polovina dotázaných (51 %)", 2) "více než polovina (54 %) dotázaných, kteří uvedli, že v řízení vysokých škol je třeba více uplatnit prvky `korporátního` řízení...". Pokud odpověď autorům konvenuje, použijí spojení "více než polovina", pokud se jim odpověď nehodí, zlehčí ji použitím slova "jen". Tři procentní body se tak v interpretaci změní v zásadní rozdíl.

Manipulace posvěcená "experty"

Protože už v průběhu výzkumu zaznívaly výhrady vůči kvalitě dotazníku, formě sběru dat, souboru respondentů i samotnému cíli šetření, rozhodli se autoři zadat nezávislé odborné posouzení. Ladislav Rabušic, profesor sociologie na Masarykově univerzitě, překvapivě dospěl k následujícímu závěru: "výsledky výzkumu jsou z hlediska použité metodologie validní".

Z čeho kvalitu výzkumu odvozuje? "Rozbor výsledků výzkumu navíc prokázal, že získané údaje odpovídají vstupním předpokladům o logických souvislostech mezi relevantními proměnnými." Jeho slova můžeme přeložit takto: Výzkum je validní, pokud získaná data potvrdí, co jsme si předem mysleli -- odhlédnout v takovém případě můžeme i od elementárních chyb v dotazníku, prostřednictvím kterého tato data získáváme.

S výhradou, že část otázek v dotazníku je návodná, se prof. Rabušic chce vyrovnat tvrzením, že takové otázky poznáme podle statistického rozložení odpovědí vykazující výrazné zkreslení od normality rozložení. Když však nalezne řadu otázek, kde odpovědi jsou rozloženy abnormálně, prohlásí, že: "příčina tkví prostě v tom, že podnět B5 vzbudil u velké části respondentů zápornou (nesouhlasnou) reakci a u B7 reakci kladnou (souhlasnou)." Význam zkreslení se tedy také odvíjí od našich zájmů.

Prof. Rabušic však Petra Matějů, který je členem vědecké rady jeho fakulty a získal profesuru tamtéž, nekryje jen ve své expertíze. Sepsal také polemiku s naší kritikou metodologie výzkumu, která byla uveřejněna v Lidových novinách (22. 9. 2009). Zde "vyvrací" náš argument, že řada otázek v dotazníku je dvojitá a respondenti se tedy vyjadřovali k více jevům prostřednictvím jedné odpovědi. Konkrétně tvrdí, že otázka A9a) "Vysoká škola, na které působím, má strategickou vizi a je vedená profesionálním a manažerským způsobem," není dvojitá, protože nelze manažersky řídit a nemít strategickou vizi. Je zjevné, že tento protiargument vůbec neřeší opačnou možnost, ale ani to, zda lze školu vést profesionálně a přitom nemanažerským způsobem. Prof. Rabušic navíc neuhlídal své podvědomí, když poznamenal: "A mimochodem, další dvojitá otázka v dotazníku není."

Prof. Rabušic dále argumentuje, že ani obvinění, že "respondenti musejí zaujímat v odpovědích jednoznačná stanoviska nesedí - měli totiž možnost odpovědět variantou 'nevím, nedovedu posoudit'." Sám se však usvědčuje z nepravdy, když ve své Expertíze dotazníku píše: "To, že většinou nenabízejí položky [v části A, ale i v části B] neutrální variantu střední ("ani spokojen, ani nespokojen") nebo variantu únikovou ("nevím") je v pořádku" (str. 3).

Nedůvěryhodný výzkum, nedůvěryhodná reforma

Naše každodenní zkušenosti vyučujících na VŠ závěrům provedeného výzkumu neodpovídají. Za prvé se liší v tom, jaké názory na problémy a řešení situace na vysokých školách převládají v okruhu našich kolegů/yň -- nesouhlas se záměry Bílé knihy je podle našich zkušeností podstatně větší, než jak jej prezentuje výzkum. Za druhé se liší ve faktech o fungování VŠ. Například finanční ohodnocení, i se započtením všech vedlejších úvazků, kterým se ale vyučující povětšinou musí věnovat mimo pracovní dobu, je ve skutečnosti výrazně nižší, a to zvláště v humanitních oborech.

Propastný rozdíl mezi realitou, která nás obklopuje, a výsledky výzkumu je částečně důsledkem skutečnosti, že autoři při interpretaci dat vesměs nezohledňovali pestrost akademické obce z hlediska oboru. Přitom je zřejmé, že situace na humanitních a sociálně-vědních oborech je naprosto rozdílná od oborů technických, ale také lékařských a přírodovědných. To se týká například odlišných příležitostí k získání grantů a komerčních zakázek, na to navazujícího rozdílného finančního ohodnocení a také rozdílných názorů na vstup "externích aktérů" do řízení vysokých škol. Řadu rozdílů mezi obory potvrdila i sebraná data, autoři se však rozhodli je ignorovat.

Nesoulad mezi výsledky výzkumu a našimi vlastními zkušenostmi by nebyl směrodatný, pokud by výzkum byl proveden standardně a bylo by možné jeho výstupům důvěřovat. Situace je ale opačná. Způsob, jakým byl výzkum proveden, nás vede k jedinému závěru: MŠMT je rozhodnuto prosadit reformu VŠ v linii Bílé knihy a ve své "argumentaci" se nezastaví ani před flagrantním porušováním vědeckých principů.

Vytisknout