Jak zmieniała się dokładność sondaży

Autor: OGB Pro 26 maja 2021

26 maja mijają dokładnie 2 lata od wyborów do Parlamentu Europejskiego, w których firmy badawcze (w tym IBSP) nie popisały się dokładnością. To dobry moment, by sprawdzić, jak zmieniała się skuteczność przewidywań firm badawczych w ostatnich latach i od czego to zależało. Sprawdzamy też, które firmy badawcze od 2019 roku najbardziej poprawiły swoje przewidywania.

Wybory prezydenckie 2015 r.

Zanim zajmiemy się wyborami z 2019 roku, warto wrócić do wyborów prezydenckich z 2015 roku. To wtedy, ku zaskoczeniu wszystkich, pierwszą turę wyborów wygrał Andrzej Duda, a Paweł Kukiz osiągnął wynik ponad 20%, wielokrotnie czasem przebijając wskazania przedwyborczych sondaży.

Badaniem, które najdokładniej przewidziało wynik wyborów prezydenckich w 2015 r. w pierwszej turze, był sondaż IBRiS, którego błąd sięgnął 12,18 p.p., a samo badanie zakładało, że zwycięzcą pierwszej tury zostanie Bronisław Komorowski. 

Błąd 5 najdokładniejszych sondaży w wyborach prezydenckich 2015 r. (w p.p.)

  • IBRiS
  • TNS Polska
  • Estymator
  • PP/ROBOP
  • Millward Brown

Drugi TNS Polska pomylił się o 17,42 p.p., także dając zwycięstwo B. Komorowskiemu i to z przewagą nad A. Dudą sięgającą ponad 9 p.p. Na trzecim miejscu znalazł się z kolei sondaż Estymator, którego błąd wyniósł 22,44 p.p., a przewaga Komorowskiego nad Dudą miała wynosić 11 p.p.

Tym samym, jeżeli weźmiemy pod uwagę 5 najlepszych badań przed pierwszą turą wyborów prezydenckich z 2015 r. (czwarte miejsce zajęło badanie PP/ROBOP z błędem 25,24 p.p., a piąte Millward Brown z błędem 28,48 p.p.), ich średni błąd sięgnął aż 21,15 p.p. 

Po wyborach prezydenckich w 2015 roku mogło się wydawać, że sondaże przedwyborcze już na zawsze stracą szacunek wśród odbiorców i mediów. Tak wielkich błędów kluczowych firm badawczych trudno szukać w poprzednich latach. Jak się jednak szybko okazało, bardzo szybko firmy badawcze zrehabilitowały się w wyborach parlamentarnych. Warto zwrócić uwagę na to, że firmy te musiały dokładnie przeanalizować swoje błędy i wyciągnąć wnioski metodologiczne, musiały po prostu zmienić swoje badania. 

Wybory parlamentarne 2015 r.

Błąd 5 najdokładniejszych sondaży w wyborach parlamentarnych 2015 r. (w p.p.)

  • TNS Polska
  • IBRiS
  • Estymator
  • PP/ROBOP
  • IPSOS

Jak porażka firm badawczych z wyborów prezydenckich w 2015 r. wpłynęła na ich sondaże parlamentarne kilka miesięcy później? Zdecydowanie motywująco. Tym razem, średni błąd 5 najlepszych badań wyniósł już tylko 8,09 p.p., czyli 2,5 razy mniej niż jeszcze kilka miesięcy temu.

Najdokładniejsze okazało się badanie zrealizowane przez TNS Polska, którego błąd wyniósł 3,43 p.p. (poprawa względem wyborów prezydenckich z 2015 r. o 13,99 p.p.). 

Drugie miejsce zajęło badanie IBRiS z błędem 6,63 p.p. (poprawa względem wyborów prezydenckich z 2015 r. o 5,55 p.p.). Z kolei trzecie było badanie zrealizowane przez pracownię Estymator z błędem 8,15 p.p. (poprawa względem wyborów prezydenckich z 2015 r. aż o 14,29 p.p.).

Czwarte i piąte miejsce trafiły kolejno w ręce PP/ROBOP (błąd 9,57 p.p. i poprawa o 15,67 p.p.) oraz IPSOS (błąd 12,67 p.p.).

Średni błąd 5 najlepszych sondaży w poszczególnych wyborach (w p.p.)

  • Prezydenckie 2015 r.
  • Parlamentarne 2015 r.
  • Europejskie 2019 r.
  • Parlamentarne 2019 r.
  • Prezydenckie 2020 r.

Wybory europejskie 2019 r.

 

Na tle wyborów prezydenckich w 2015 roku nietrafione sondaże w wyborach europejskich wyglądają nieco mniej tragicznie, choć na pewno na długo zapamiętają je firmy badawcze. Średni błąd 5 najlepszych sondaży wyniósł 13,85 p.p., co w świetle wyborów prezydenckich z 2015 r. nie wydaje się aż tak wygórowanym błędem, ale to drugie najmniej dokładne sondaże przedwyborcze w historii.

Wyniki do PE najlepiej przewidział Indicator, jednak nawet w przypadku tej firmy, błąd przekroczył 10 p.p. (10,99 p.p.). Drugie miejsce zajęło z kolei badanie przeprowadzone przez Estymator, z błędem 12,73 p.p. kolejny był IBRiS, z błędem 14,65 p.p. a sondaż Kantar metodą F2F (błąd 15,39 p.p.) okazał się dokładniejszy niż badanie Kantar metodą CATI (błąd 15,51 p.p.). Jednym z mniej dokładnych sondaży w tych wyborach był sondaż IBSP z błędem 18,75 p.p. Gorsze okazały się tylko sondaże Pollster, Ariadna oraz Social Changes. Uniwersytet Jagielloński, który tradycyjnie przyznaje nagrody po każdych wyborach za najdokładniejsze sondaże, tym razem nie przyznał Pucharu Pytii ze względu na kiepskie sondaże całej branży badawczej. 

Wybory parlamentarne 2019 r.

Dla wielu firm, po małej dokładności przewidywań z wyborów europejskich, jesienne wybory parlamentarne były prawdziwym testem. Czy udało się im znaleźć błędy metodologiczne i poprawić dokładność przewidywań, podobnie jak to się stało w wyborach parlamentarnych w 2015 roku?

Z tego testu obronną ręką zdecydowanie wyszedł Kantar Millward Brown, którego sondaż przed wyborami parlamentarnymi okazał się najdokładniejszy, a jego błąd wyniósł 4,28 p.p. (przy błędzie z wyborów PE sięgającym 15,51 p.p.). 

Drugim najdokładniejszym sondażem okazał się Pollster z błędem 7,80 p.p. (przy błędzie z wyborów do PE sięgającym 23,69 p.p.), a trzecie miejsce zajęło badanie firmy Indicator, którego błąd wyniósł 8,33 p.p. (poprawa w stosunku do PE o 2,66 p.p.). Czwarty najlepszy sondaż należał do IBSP z błędem 9,78 p.p. (o 8,97 p.p. lepiej niż w wyborach do PE).

Tym samym, średni błąd 5 najlepszych sondaży przed wyborami parlamentarnymi wyniósł 8,04 p.p., czyli zdecydowanie lepiej niż w wyborach do PE. Branża badawcza, znowu mogła powiedzieć, że potrafi przewidzieć wyniki wyborów. Co ciekawe dwa sondaże, które były w czołówce najlepszych w wyborach do PE, tym razem okazały się jednymi z gorszych. IBRiS z błędem w wyborach parlamentarnych 13,10 p.p. zajął trzecie miejsce od końca, a Estymator z błędem 12,30 p.p. zajął dopiero 7. miejsce. 

Wybory prezydenckie 2020 r.

W wyborach prezydenckich widać dalszy pozytywny trend, jeżeli chodzi o dokładność przedwyborczych przewidywań, średni błąd 5 najlepszych sondaży wyniósł zaledwie 7,12 p.p. – najmniej od 2015 r.

Najdokładniejsze było badanie Instytutu Badań Spraw Publicznych (IBSP), którego błąd wyniósł 3,72 p.p. i tym samym, było to badanie dokładniejsze także niż exit poll, oraz drugi najdokładniejszy sondaż w Polsce od 2009 r.

Na drugim miejscu w wyborach prezydenckich znalazł się sondaż Kantar Millward Brown z błędem 4,26 p.p., a na podium trzecie miejsce zajął IBRiS z błędem 8,34 p.p.

Porównując dokładność sondaży z wyborów europejskich, których drugą rocznicę dziś obchodzimy, z ostatnimi wyborami prezydenckimi cała branża (5 najdokładniejszych sondaży) poprawiła się o 6,73 p.p. Wśród poszczególnych firm badawczych Social Changes poprawiło się o 17,03 p.p., IBSP był lepszy o 15,03 p.p., Pollster był o 14,07 p.p. lepszy, a Kantar MB poprawił się o 11,25 p.p.

Najdokładniejsze i najmniej dokładne sondaże

Gdy przyjrzymy się najlepszym i najgorszym sondażom po ‘89 roku, w pierwszej piątce najlepszych znajdziemy aż 4 sondaże firm, które dziś należą do Kantar oraz sondaż IBSP (drugi najdokładniejszy).

Wśród najgorszych sondaży ostatnich lat na pierwszym miejscu znajdziemy GFK Polonia, która (chyba na szczęście) nie realizuje już sondaży przedwyborczych, za nią CBOS oraz Kantar MB (wszystkie trzy z wyborów prezydenckich w 2015 roku). Na liście najmniej dokładnych znajdziemy też badania IBRiS, Estymator, TNS (dzisiejszy Kantar), Pollster, Social Changes i Ariadny.

Komentarz eksperta

Dyskusja o sondażach zawsze jest trudna, gdy mylą się one w swoich przewidywaniach. Tym trudniejsza była ona dla nas, gdy sondaż IBSP odbiegał w wyborach do PE mocno od rzeczywistych wyników. Jako IBSP przechodziliśmy to pierwszy raz, nie mając za sobą “traumy” wyborów prezydenckich 2015 roku (OGB jeszcze wtedy nie istniała). Jednak jak widać choćby na przykładzie firmy Kantar, dziś (muszę to przyznać z nieukrywaną zazdrością) najdokładniejszej firmy badawczej w Polsce, nawet najlepszym zdarzają się poważne wpadki. Byłoby wielką niesprawiedliwością, gdyby firmę, która zajmuje aż 4 pozycje wśród 5 najdokładniejszych sondaży w historii oceniać wyłącznie na bazie wyborów prezydenckich z 2015 r. W tak spolaryzowanej debacie publicznej, gdzie osoby o różnych poglądach nie tylko mają swoje “ulubione” media, ale także swoje “ulubione” sondaże łatwo zgubić sens, jaki jest prawdziwy stan polityki w Polsce.

Łukasz Pawłowski
Prezes OGB

Czytasz ten artykuł w ramach darmowego dostępu. Aby uzyskać więcej treści, analiz, badań i raportów - zarejestruj się i sprawdź 2 tygodniowy okres próbny.

Unikalne poszerzone sondaże i badania, przygotowywane specjalnie dla StanPolityki.pl przez IBSP
Prognozy podziału mandatów do Sejmu, Senatu, Europarlamentu
Raporty specjalne, rankingi miast oraz rankingi prezydentów
Cykliczny newsletter w wersji polskiej i angielskiej oraz indywidualny dostęp do sondaży i prognoz przed ich publikacją
Dostęp do wszystkich aktualnych i archiwalnych analiz StanPolityki.pl
Sesje Q&A dotyczące polityki ogólnopolskiej

Przeczytaj także

Kto utrzyma, a kto straci mandat wyborczy?

Na StanPolityki.pl analizujemy wyniki poparcia dla posłów, senatorów i europarlamentarzystów w ich okręgach wyborczych i sprawdzamy, kto utrzyma, a kto straci mandat. Jak zmieni...

Czy podział mandatów do PE jest sprawiedliwy?

To, w jaki sposób rozłożą się mandaty w wyborach do Parlamentu Europejskiego, w dużej mierze zależy od frekwencji oraz poparcia dla poszczególnych partii. Skomplikowana...