Metody volebních speciálů: reloaded

10. 9. 2012 / Jan Podhajský

Kotrba mj. píše:

Dále budu pokračovat komentováním Kotrbových "podezření":

JP: Ne tak zcela ojedinělou praxí ve výzkumech je sdílení kvótních předpisů pro jeden výzkum dvěma či více agenturami. Znamená to, že dvě či více angentur plní sběrem dat jeden předem dohodnutý kvótní předpis. Jedná se tedy o plnění kvót v rámci sdíleného předpisu. Podle publikovaných prezentací jednotlivých šetření v krajích to vypadá, že se skutečně jedná o n=1000 a nikoli o n=500x2.

Ke sdílění kvót a nebo k subkontraktování tazatelské sítě dochází časo tehdy, když v se výzkum týká např. jenom určité geografické oblasti a kapacity tazatelské sítě dodavatelské agentury nestačí sběr uskutečnit, když je na něj třeba málo času. Což je případ volebních speciálů

Kotrba intuitivně tuší, že by zde mohl být zakopaný pes. Tím psem je  systematická chyba, kterou ve srovnání s chybou statistickou moc nelze kvantifikovat. Systematická chyba nevyplývá ze zvolené metody sběru dat.

Správně bychom se tedy měli ptát: jestli si obě agentury nějak rozdělily kvóty (např. každá agentura sbírá v jiných VMB - "velikostech místa bydliště" ) či si agentury rozdělily kraj na geografické oblasti a v nich pak plnily kvótní předpis?

Jestli si obě agentury rozdělily kvóty pro velikost místa bydliště (VMB), můžeme si představit, že např. StemMark sbírá dotazníky ve VMB do 4999 obyvatel, SCaC např. VMB od 5000 do 49999 a VMB od 50000 se o terén podělí. Toto je ale jenom hypotéza, protože neznáme třeba smlouvy, které ČT uzavřela s agenturami. Ve smlouvách by měl být přístup ke sběru dat předem popsán.

Otázka na rozdělení kvót či kraje do oblastí směřuje k použitým technikám sběru dat a ke kvalitě tazatelských sítí obou agentur.

a) pokud každá s agentur sbírá jiné kvóty (asi VMB) či oblast, používají pro každé VMB/oblast nějaký rovnoměrný mix dotazovacích technik CAPI a PAPI? Ačkoli se můžou zdát rozdíly v datech sebraných CAPI a PAPI zanedbatelné, je zde jisté riziko systematické chyby, pokud každá VMB či oblast je sbíraná jenom jednou technikou.

b) každá z agentur disponuje svojí tazatelskou sítí. Každá z agentur školí svojí tazatelskou síť jinak a jinak mají nastolené standardy pro tazatele, jinak svoji tazatelskou síť řídí. Tedy tazatel z jedné agentury provádí svou práci jinak, než tazatel z druhé agentury. Tedy, pokud si agentury rozdělily mezi sebe sběr VMB či oblasti, hrozí zde riziko systematické chyby způsobené tazatelskou sítí.

c) a ještě jednu otázku bychom měli oběma agenturám položit: provádějí sběr v krajích nově rekrutovaní brigádníci a nebo stálí tazatelé? Je zde další riziko systematické chyby a to v tom, že "profesionální" tazatel je schopný kontaktovat širší spektrum lidí (ví jak oslovit) než nově rekrutovaný brigádník (i když řádně proškolený). A nebo možná naopak: profík předem odhadne typ člověka, kterého lehce "uloví" :)

JP: Zde je potřeba rozeznat sběr dat od pořízení, zpracování a analýzy dat.

a) Respondenty samozřejmě oslovují tazatelé a hledají takové respondenty, kteří odpovídají tazatelskému úkolu. Tazatelský úkol vypadá při kvótním výběru, který je použit při výzkumech pro volební speciály např. takto: 5 lidí VMB do 1999, 5 VMB 2000-4999, 6 žen, 4 muži, 2 18-29 let, 3 30-44 let,  3 45-59 let, 2 60+, 6 se ZŠ nebo vyučených, 3 SŠ, 1 VŠ. Výzkumná zpráva neuvádí, jestli se jednalo o vázané kvóty, tedy se automaticky bere, že šlo o kvóty volné.

b) otázka by měla znít, která ze zainteresovaných stran projektu měla hlavní slovo při stavbě nebo výběru volebního/prediktivního modelu? Kdo osobně rozhodoval za ČT? Popř. jakou měli lidé kontrolující za ČT kvalifikaci?

JP: zde opravdu není jasné, z čeho jsou spočítané preference. Jsou výsledkem prediktivního modelu (jehož parametry nejsou známé) a nebo volebního modelu (kerý je popsán v apendixu prezentací)? Ale i v případě prediktivního modelu se rozhodně se nedá mluvit o cucání z prstu, ale o ustáleném postupu analýzy dat, který upřesňuje deklarované hodnoty respondenty. Prediktivní modely můžou skvěle sloužit pro např. pro tvorbu strategií a jsou tak i používány. Je třeba ale mít na paměti jejich "virtuální" charakter. Musí se ale k nim vždy přistupovat jako jenom podpůrným prostředkům rozhodování. Zastávám ale názor, že jakákoli matematická predikce by měla být vyřazena v jakékoli roli z tak pro veřejnost citlivých  masmediálních relací, jako třeba volební speciály ČT. Pálí mě totiž otázka, jestli chceme být "manipulováni" počítači či ne.

a) Správná otázka by měla znít: jaké všechny proměnné vstupují do prediktivního modelu? Popř. je prediktivní model budován ad-hoc pro volební speciály a nebo je to již ověřený model některé z agentur, který vznikly na základě předchozích výzkumů a srovnávání se realným voličským chováním? Jaký je vztah prediktivního modelu a modelu volebního chování? jsou zveřejněné preference výsledkem volebního nebo prediktivního modelu?

b) otázka na formální podobu prezentací - proč je jenom na jednom slidu uváděný počet případů a popis podsouboru, kterých se daná informace týká? korektní by bylo udávat počty případů na ze, kerých jsou grafy na všech slidech.

JP: a) ano, ČT či agentury by mohly vydat pomůcky pro odhadování statistické chyby. Sám takovou v práci používám. Takové pěkné kolečko :)

b) ČT by měla ovšem zároveň informovat o rizicích systematických chyb, kterých si jsou agentury jistě vědomy. o některých typických systematických chybách jsme referovali v tomto článku výše.

c) uvádění možných systematických chyb by mělo být součástí etického kodexu ČT.

JP: vezmeme-li v potaz, že publikované preference jsou výsledkem volebního modelu nikoli prediktivního (alespoň se mi to tak jeví), dostaneme následující počet voličů:

130 ČSSD

99 KSČM

88 ODS

63 TOP09

47 KPK

28 NEZ

25 SPOZ

14 ČPS

11 SZ

11 VC

36 OSTATNÍ

Celkem 552 rozhodnutých o volbě dané strany.

Potom se ukazuje, že třídění specifických otázek podle stranických preferencí je poněkud problematické. Poslední stranu, kterou bych přijal, by byla TOP09 a už u ní by výsledky specifických otázek vykazovaly vysokou standardní chybu. A n=130 pro ČSSD také není žádná velká láce.

Tedy publikovaný slide 11 - přesvědčení voličů KSČM jít volit, si klidně mohli nechat v ČT od cesty. Podle mě je tento slide nejvíce sporný z hlediska nároků na přesnost, po kterých volá Kotrba.

Statistical significance test ZDE

Kotrbův požadavek na sociology jako stroje na analýzu je naivní. Sociologie a sociologové řeší otázku ne/zaujatosti analýzy v podstatě už od svých klasiků. Dalo by se říct, že sociologické školy se dokonce z určitého úhle pohledu podle této osy i štěpí. I nejtvrdší zastánci nehodnotícího přístupu se vždy vztahují k nějakým hodnotám, které jsou v pozadí jejich analýz. Kdo by měl v tomto případě vystupovat v roli "osekávačů" hodnocení jsou spíš analytici ČT, kterými se ČT chlubí ve své tiskové zprávě...

Osobně si myslím, že třídění specifických otázek podle preferencí stran by nemělo být v případě výzkumů pro volební speciály, tak jak jsou navrženy, součástí prezentace vůbec, a to kvůli nízkému počtu odpovědí pro většinu stran. Pokud bychom trvali na třídění podle preferencí, tak to bude jako ve vtipu: Tři statistici loví jelena. První vystřelí a mine ho o půl metru vlevo. Druhý vystřelí a mine ho o půl metru vpravo. Třetí volá: "máme ho, máme ho!"

Kotrba se správně pustil se na tenký led odborné debaty. Ale je potřeba přesně zasahovat bolestivá místa, a to tak, aby si z nich nemohli profesionálové utahovat, tak jak udělal  třeba František Bartoš z PPM Factum v případě M. Škopa.

Situace vypadá tak, že je potřeba začít mluvit "jejich jazykem".

Vytisknout