Qu’est-ce qu’un bon sondage?

Campagne électorale oblige, les sondages se multiplient et les résultats sont scrutés à la loupe par les partis politiques, les médias et les électeurs. Cependant, tous les sondages ne se valent pas. Le Devoir vous propose un guide pour vous aider à déterminer quels sondages méritent votre confiance.

Comment identifier un sondage fiable ?

« Les sondages électoraux, ce sont les meilleurs sondages que vous pouvez avoir, parce que les firmes de sondage jouent leur crédibilité », constate Claire Durand, professeure au Département de sociologie de l’Université de Montréal. Mais cela ne veut pas dire pour autant qu’on puisse s’y référer aveuglément.

La spécialiste en méthodologie des sondages soulève une qualité essentielle à tout bon sondage : la transparence. Un sondeur doit expliquer sa méthodologie en détail pour asseoir sa crédibilité. « [Est-ce que], à la fin de son rapport, j’ai les chiffres non pondérés et pondérés ? […] Comment il a traité les indécis ? Quel jour il a fait son terrain ? Quelle source il a utilisée ? On veut tout savoir. Et si vous avez l’information, ça va. »

Plusieurs indicateurs, dont la taille de l’échantillon et la marge d’erreur, sont aussi à prendre en compte pour bien interpréter les résultats.

Quelle est l’importance de la taille de l’échantillon ?

« Toujours, toujours regarder le nombre de répondants », met en garde Claire Durand. Ce paramètre est important, car la marge d’erreur — qui mesure l’incertitude liée à un échantillonnage — diminue entre autres quand la taille de l’échantillon augmente.

Plusieurs sondages parus depuis le début de la campagne électorale ont un échantillon d’environ 1000 répondants. Ce nombre n’est pas problématique, mais il faut redoubler de prudence en ce qui a trait aux sous-échantillons, précise M^me Durand. Les répondants dans certaines catégories, comme les jeunes ou les non-francophones, peuvent être très peu nombreux.

Par exemple, si 30 % des 1000 répondants à un sondage disent vouloir voter pour un parti, la marge d’erreur est de plus ou moins 2,8 % avec un seuil de confiance de 95 %. C’est donc dire que l’intention de vote réelle dans la population se situe entre 27,2 % et 32,8 %, 19 fois sur 20.

Par contre, si on regarde un sous-échantillon de 150 répondants, une intention de vote de 30 % est plutôt associée à une marge d’erreur de 7,3 % — le résultat dans la population est plutôt compris entre 22,7 % et 37,3 %.

Comment interpréter les résultats avec prudence ?

Un sondage s’interprète avec plus de justesse lorsqu’on le compare à d’autres. « Deux sondages valent mieux qu’un, trois sondages valent mieux que deux, quatre sondages valent mieux que trois », résume la professeure Durand. C’est en comparant les coups de sondes qu’on peut vraiment déchiffrer une tendance.

« Si vous voyez un sondage qui a des chiffres qui s’écartent de façon trop importante des autres, ce n’est pas parce qu’un mouvement soudain est arrivé durant la nuit. C’est habituellement parce que les chiffres ne sont pas bons. » Mais attention, il ne faut pas discréditer le sondeur pour autant, prévient-elle. Il pourrait faire face à une aberration statistique. « C’est ça, la marge d’erreur. »

La prudence est aussi de mise en comparant des intentions de vote pour deux partis. Si la différence obtenue entre les intentions de vote est inférieure à la marge d’erreur, elle n’est pas significative. Dans un tel cas, on ne peut pas conclure qu’un parti est en avance sur un autre. En d’autres mots, « une différence non significative n’est pas une différence ». M^me Durand a d’ailleurs mis au point un outil qui permet de déterminer si une différence observée entre deux pourcentages est significative.

Quelle est la différence entre des échantillons aléatoire et tiré d’un panel Web ?

Les sondages téléphoniques construisent leur échantillon de façon aléatoire (ou probabiliste). Les sondeurs sélectionnent les répondants au hasard. « Le problème, c’est un taux de non-réponse qui peut être très important et ça, ça peut entraîner possiblement une plus grande variation que nécessaire. »

Les sondages menés à l’aide d’un panel Web vont plutôt piger dans une banque de volontaires afin de construire leur échantillon. Puisque le bassin de répondants est limité, « on risque de piger les mêmes personnes », ce qui fait en sorte qu’il est plus difficile de « détecter le mouvement ».

Notons aussi que pour des raisons méthodologiques, les sondages aléatoires sont assortis d’une marge d’erreur, tandis qu’il n’est pas possible d’en calculer pour un sondage fait à partir d’un panel Web. Pour ces derniers, les sondeurs offrent un « intervalle de crédibilité », qui correspond essentiellement à une marge d’erreur pour un sondage aléatoire, explique Claire Durand.