Audit bol konštruovaný tak, aby zodpovedal maximu okruhov otázok, ktoré sú pre výberové skúmanie všeobecne relevantné, či boli spomínané v uplynulých rokoch v súvislosti s prieskumom MML-TGI SK:
- Je použitá metodika (zberu dát, výberu respondentov, váženia, a pod.) vhodná?
- Je kvalita a rozsah vzorky postačujúca?
- Sú výstupy projektu relevantné?
- Je práca s anketárskou sieťou štandardná a jej kontrola dostatočná?
Výsledky auditu spoločnosť MEDIAN sprístupňuje v plnej verzii a jeho zhrnutie v tejto tlačovej správe.
ZAMERANIE A PRIEBEH AUDITU
Zástupcom SOÚ AV ČR boli v novembri a decembri 2012 auditované predovšetkým činnosti a metodické postupy realizované spoločnosťou MEDIAN v rámci prieskumu MML-TGI SK, ktoré spoločnosť zabezpečuje v Českej republike. A to napríklad:
- Výberová procedúra prieskumu
- Reprezentativita výsledného súboru
- Metodika váženia (optimalizácie) a jej vplyv na výsledky
- Validita výsledkov
- Vplyv anketárov na výsledky
- Vplyv zaradenia CAWI zberu dát na reprezentativitu, ABCDE klasifikáciu a heterogénnosť vzorky
Zástupcovia Univerzity Komenského v Bratislave potom v marci 2013 vypracovali oponentúru auditu spracovaného SOÚ AV ČR a doplnili materiál o audit činností vykonávaných na území Slovenskej republiky – teda o analýzu anketárskej siete, jej charakteristík, správy a mechanizmov kontrol anketárov.
Výsledkom auditu sú tri materiály:
- Audit metodických postupov realizovaný SOÚ AV ČR1
- Oponentúra tohto Auditu spracovaná Univerzitou Komenského v Bratislave
- Audit anketárskej siete spracovaný Univerzitou Komenského v Bratislave
VÝSLEDKY AUDITU
Na základe výsledných materiálov sa dá konštatovať, že spoločnosť MEDIAN pri realizácii prieskumu MML-TGI SK dodržiava všetky štandardy používané a kodifikované v oblasti prieskumu trhu v ČR a na Slovensku a v niektorých parametroch tieto štandardy prevyšuje.
Z podrobných záverov auditu vyberáme niektoré citácie:
„Tazatelská síť Medianu SK má srovnatelné parametry s renomovanými firmami v ČR (např. Stemmark, GfK...). Počet tazatelů je více než dostačující pro realizaci MML-TGI. Plošné rozmístění tazatelské sítě zahrnuje jak odpovídající počet tazatelů v různých velikostních skupinách obcí, tak jejich odpovídající regionální rozmístění, ..." (Audit výzkumu poslechovosti, SOÚ AV ČR, str. 11)
„Výzkum má 60 % všech rozhovorů získaných formou rozhovoru tazatele s respondentem (pozn.: pozitivně) ověřených, což je výjimečně vysoké číslo. Profesní sdružení pro výzkum trhu SIMAR (ČR) doporučuje kontrolovat 30 % vzorku, což je podle našich znalostí vyžadováno i jinde ve světě." (Audit výzkumu poslechovosti, SOÚ AV ČR, str. 11)
„Na rozdíl od kvótního výběru, který byl v projektu MML-TGI prováděn do konce roku 2011, stratifikovaný (určení dotazovacích bodů) pravděpodobnostní (náhodná procházka) výběr adres je považován za vskutku reprezentativní, kdy výběr dotázaných není dán volbou tazatele (šetření mezi známými, šetření mezi ochotnými lidmi...)." (Audit výzkumu poslechovosti, SOÚ AV ČR, str. 11)
„[...]co se týče reprezentativity vyšetřeného souboru, technika CAWI uplatněná na jedné pětině vzorku přinesla z hlediska podstatných sociodemografických charakteristik vyšší shodu s cílovou populací, takže došlo ke zkvalitnění výběrové procedury." (Audit výzkumu poslechovosti, SOÚ AV ČR, str. 15)
„Vliv tazatelů s menší kvalitou dotazování na výsledky se ukazuje jako minimální [...]hypotéza, že rozhovory, od nichž není pozitivní kontrola, významně deformují výsledky médií, se nepotvrzuje," (Audit výzkumu poslechovosti, SOÚ AV ČR, str. 22 a 24)
„V rámci reálných možností a praktického provádění výzkumu v terénu se stávající metodologie jeví jako optimální. [...] Celkově je možné konstatovat, že projekt je realizován na vysoce profesionální a seriózní bázi jak z hlediska koncepčně metodologického, z hlediska sběru dat i celkového zpracování výsledků." (Audit výzkumu poslechovosti, SOÚ AV ČR, str. 29)
„Realizované změny projektu z hlediska přechodu na náhodnou procházku, zúžení počtu tazatelů, intenzivní školení a edukace tazatelů, prohloubení systému kontrol lze celkově považovat za posunutí vývoje správným směrem." (Audit výzkumu poslechovosti, SOÚ AV ČR, str. 29)
ODPORÚČANIA
Z auditu vzišli aj odporúčania pre ďalšiu činnosť spoločnosti MEDIAN SK v rámci realizácie prieskumu MML-TGI SK, z ktorých, okrem iného, vyplýva:
1. Nie je nutné dlhodobo vykonávať tak rozsiahle a detailné kontroly práce anketárov (100 % adries), postačuje zachovať súčasnú kombináciu metód kontrol (telefonická, emailová, poštová) na primerane rozsiahlom podsúbore.
2. Je možné zvážiť vynaloženie časti prostriedkov doposiaľ investovaných do celkom nadštandardného rozsahu a detailnosti kontrol práce anketárov do iných postupov, ktoré zabezpečujú kvalitu prieskumu, napr.:
a. Uvažovať o posilnení alternatívnych foriem zberu dát (CAWI, CAPI) a ďalších opatrení, ktoré môžu zvyšovať návratnosť a uľahčovať prácu anketárskej siete a tým prispievať k eliminácii chybovosti.
b. Investovať do sofistikovaných vyhodnocovacích procedúr kontrol anketárov a komplexné kontroly konkrétnych anketárov aplikovať v prípade podozrenia na nekvalitu práce, ktoré budú výstupom týchto vyhodnocovaných procedúr.
3. Súčasná veľkosť výberovej vzorky MML-TGI SK je vzhľadom k veľkosti ekonomiky, sile trhu a celkovej veľkosti populácie SR dostatočná. Skôr než zväčšovanie výberovej vzorky je z hľadiska budúcnosti a kvality prieskumu vhodnejšie venovať prostriedky práve na ďalšie prepracovanie metodických postupov a zapojenie nových technológií (CAPI, CAWI, elektronické meranie rozhlasu).
4. Aktuálne navýšenie výberovej vzorky pre potreby podrobnejšieho merania rozhlasových staníc sa javí ako optimálny variant, pokiaľ bude zachovaný postup optimalizácie výsledkov. Dá sa totiž predkladať, že single-source prieskum poskytujúci ako dôveryhodné údaje o počúvanosti rozhlasových staníc a pod., tak aj informácie o životnom štýle, spotrebnom a mediálnom (tlač, televízia, internet) správaní je pre mediálne plánovanie v rozhlasovom segmente všeobecne výhodnejší, než dve oddelené, potenciálne samostatné a nekomplementárne skúmania.
5. Je vhodné naďalej podporovať vlastné technické riešenia, ktoré uľahčujú manažment anketárskej siete. Zvážiť sa dajú napríklad možnosti e-learningového školenia a zvyšovanie odbornosti anketárov, a pod.
Realizácia týchto odporúčaní v spoločnosti MEDIAN prebehne po komunikácii a spresnení so zadávateľmi a odberateľmi prieskumu.
DOSTUPNOSŤ VÝSTUPOV AUDITU
Podrobné správy z auditu (Audit SOÚ AV ČR, jeho oponentúra /UK v Bratislave/, Audit anketárskej siete MEDIAN SK /UK v Bratislave/) budú záujemcom predložené na nahliadnutie na vyžiadanie v sídlach spoločnosti MEDIAN v Českej republike či na Slovensku.
