Jak zmieniała się dokładność sondaży

Drugi TNS Polska pomylił się o 17,42 p.p., także dając zwycięstwo B. Komorowskiemu i to z przewagą nad A. Dudą sięgającą ponad 9 p.p. Na trzecim miejscu znalazł się z kolei sondaż Estymator, którego błąd wyniósł 22,44 p.p., a przewaga Komorowskiego nad Dudą miała wynosić 11 p.p.

Tym samym, jeżeli weźmiemy pod uwagę 5 najlepszych badań przed pierwszą turą wyborów prezydenckich z 2015 r. (czwarte miejsce zajęło badanie PP/ROBOP z błędem 25,24 p.p., a piąte Millward Brown z błędem 28,48 p.p.), ich średni błąd sięgnął aż 21,15 p.p. 

Po wyborach prezydenckich w 2015 roku mogło się wydawać, że sondaże przedwyborcze już na zawsze stracą szacunek wśród odbiorców i mediów. Tak wielkich błędów kluczowych firm badawczych trudno szukać w poprzednich latach. Jak się jednak szybko okazało, bardzo szybko firmy badawcze zrehabilitowały się w wyborach parlamentarnych. Warto zwrócić uwagę na to, że firmy te musiały dokładnie przeanalizować swoje błędy i wyciągnąć wnioski metodologiczne, musiały po prostu zmienić swoje badania. 

Drugie miejsce zajęło badanie IBRiS z błędem 6,63 p.p. (poprawa względem wyborów prezydenckich z 2015 r. o 5,55 p.p.). Z kolei trzecie było badanie zrealizowane przez pracownię Estymator z błędem 8,15 p.p. (poprawa względem wyborów prezydenckich z 2015 r. aż o 14,29 p.p.).

Czwarte i piąte miejsce trafiły kolejno w ręce PP/ROBOP (błąd 9,57 p.p. i poprawa o 15,67 p.p.) oraz IPSOS (błąd 12,67 p.p.).

Na tle wyborów prezydenckich w 2015 roku nietrafione sondaże w wyborach europejskich wyglądają nieco mniej tragicznie, choć na pewno na długo zapamiętają je firmy badawcze. Średni błąd 5 najlepszych sondaży wyniósł 13,85 p.p., co w świetle wyborów prezydenckich z 2015 r. nie wydaje się aż tak wygórowanym błędem, ale to drugie najmniej dokładne sondaże przedwyborcze w historii.

Wyniki do PE najlepiej przewidział Indicator, jednak nawet w przypadku tej firmy, błąd przekroczył 10 p.p. (10,99 p.p.). Drugie miejsce zajęło z kolei badanie przeprowadzone przez Estymator, z błędem 12,73 p.p. kolejny był IBRiS, z błędem 14,65 p.p. a sondaż Kantar metodą F2F (błąd 15,39 p.p.) okazał się dokładniejszy niż badanie Kantar metodą CATI (błąd 15,51 p.p.). Jednym z mniej dokładnych sondaży w tych wyborach był sondaż IBSP z błędem 18,75 p.p. Gorsze okazały się tylko sondaże Pollster, Ariadna oraz Social Changes. Uniwersytet Jagielloński, który tradycyjnie przyznaje nagrody po każdych wyborach za najdokładniejsze sondaże, tym razem nie przyznał Pucharu Pytii ze względu na kiepskie sondaże całej branży badawczej. 

Dla wielu firm, po małej dokładności przewidywań z wyborów europejskich, jesienne wybory parlamentarne były prawdziwym testem. Czy udało się im znaleźć błędy metodologiczne i poprawić dokładność przewidywań, podobnie jak to się stało w wyborach parlamentarnych w 2015 roku?

Z tego testu obronną ręką zdecydowanie wyszedł Kantar Millward Brown, którego sondaż przed wyborami parlamentarnymi okazał się najdokładniejszy, a jego błąd wyniósł 4,28 p.p. (przy błędzie z wyborów PE sięgającym 15,51 p.p.). 

Drugim najdokładniejszym sondażem okazał się Pollster z błędem 7,80 p.p. (przy błędzie z wyborów do PE sięgającym 23,69 p.p.), a trzecie miejsce zajęło badanie firmy Indicator, którego błąd wyniósł 8,33 p.p. (poprawa w stosunku do PE o 2,66 p.p.). Czwarty najlepszy sondaż należał do IBSP z błędem 9,78 p.p. (o 8,97 p.p. lepiej niż w wyborach do PE).

Tym samym, średni błąd 5 najlepszych sondaży przed wyborami parlamentarnymi wyniósł 8,04 p.p., czyli zdecydowanie lepiej niż w wyborach do PE. Branża badawcza, znowu mogła powiedzieć, że potrafi przewidzieć wyniki wyborów. Co ciekawe dwa sondaże, które były w czołówce najlepszych w wyborach do PE, tym razem okazały się jednymi z gorszych. IBRiS z błędem w wyborach parlamentarnych 13,10 p.p. zajął trzecie miejsce od końca, a Estymator z błędem 12,30 p.p. zajął dopiero 7. miejsce. 

W wyborach prezydenckich widać dalszy pozytywny trend, jeżeli chodzi o dokładność przedwyborczych przewidywań, średni błąd 5 najlepszych sondaży wyniósł zaledwie 7,12 p.p. – najmniej od 2015 r.

Najdokładniejsze było badanie Instytutu Badań Spraw Publicznych (IBSP), którego błąd wyniósł 3,72 p.p. i tym samym, było to badanie dokładniejsze także niż exit poll, oraz drugi najdokładniejszy sondaż w Polsce od 2009 r.

Na drugim miejscu w wyborach prezydenckich znalazł się sondaż Kantar Millward Brown z błędem 4,26 p.p., a na podium trzecie miejsce zajął IBRiS z błędem 8,34 p.p.

Porównując dokładność sondaży z wyborów europejskich, których drugą rocznicę dziś obchodzimy, z ostatnimi wyborami prezydenckimi cała branża (5 najdokładniejszych sondaży) poprawiła się o 6,73 p.p. Wśród poszczególnych firm badawczych Social Changes poprawiło się o 17,03 p.p., IBSP był lepszy o 15,03 p.p., Pollster był o 14,07 p.p. lepszy, a Kantar MB poprawił się o 11,25 p.p.

Gdy przyjrzymy się najlepszym i najgorszym sondażom po ‘89 roku, w pierwszej piątce najlepszych znajdziemy aż 4 sondaże firm, które dziś należą do Kantar oraz sondaż IBSP (drugi najdokładniejszy).

Wśród najgorszych sondaży ostatnich lat na pierwszym miejscu znajdziemy GFK Polonia, która (chyba na szczęście) nie realizuje już sondaży przedwyborczych, za nią CBOS oraz Kantar MB (wszystkie trzy z wyborów prezydenckich w 2015 roku). Na liście najmniej dokładnych znajdziemy też badania IBRiS, Estymator, TNS (dzisiejszy Kantar), Pollster, Social Changes i Ariadny.