Loi des grands nombres

Visualisation de la loi des grands nombres

En mathématiques, la loi des grands nombres permet d’interpréter la probabilité comme une fréquence de réalisation, justifiant ainsi le principe des sondages, et présente l’espérance comme une moyenne. Plus formellement, elle signifie que la moyenne empirique, calculée sur les valeurs d’un échantillon, converge vers l’espérance lorsque la taille de l’échantillon tend vers l’infini.

Plusieurs théorèmes expriment cette loi, pour différents types de convergence en théorie des probabilités. La loi faible des grands nombres met en évidence une convergence en probabilité, tandis que la loi forte des grands nombres donne une convergence presque sûre.

La convergence ne s’applique pas pour des lois de probabilité sans espérance, comme la loi de Cauchy.

D’autres théorèmes affinent l’énoncé de cette loi, comme le théorème central limite et la loi du logarithme itéré, qui précisent la vitesse de convergence, ou le théorème de Glivenko-Cantelli sur la convergence de la fonction de répartition empirique.

Présentation

Probabilité et fréquence

Écarts entre pile et face lors d’une simulation de lancers sur Python
Nombre de lancers	100	1000	10000	100000
Nombre de « pile »	51	477	5074	50026
Nombre de « face »	49	523	4926	49974
Écart absolu	2	46	148	52
Écart relatif	2%	4,6%	1,48%	0,05%

Lors d’un lancer d’une pièce de monnaie équilibrée, les deux côtés « pile » et « face » apparaissent de façon équiprobable pour des raisons de symétrie : on ne s’attend pas plus à l’un ou à l’autre côté. Cette mesure de l’attente s’appuie souvent sur une considération statistique : sur un grand nombre de lancers, on observe à peu près autant d’occurrences pour chaque côté de la pièce, même s’il est rare d’en obtenir exactement autant.

En réalité, le nombre d’occurrences pour pile est différent du nombre d’occurrences pour face, avec une différence qui a tendance à s’accroître quand on augmente le nombre de lancers. Mais la fréquence des occurrences de chaque côté se rapproche de $1/2$ .

De même, lors de lancers d’un dé équilibré les six faces n’apparaîtront pas aussi souvent les unes que les autres en pratique, mais la fréquence d’apparition de chaque face sera proche de $1/6$ .

Ce constat ne se cantonne pas aux situations d’équiprobabilité. Il s’applique aussi à des problèmes dans lesquels aucune considération de symétrie ne permet de prédire par défaut les fréquences de réalisation. La modélisation d’une épreuve aléatoire ne peut alors être satisfaisante que si elle aboutit à une probabilité cohérente avec sa fréquence d’occurrence en réalité.

Espérance et moyenne

Simulation sur Python de 100000 lancers d’un dé équilibré, de moyenne 3,50131
Valeur	1	2	3	4	5	6
Occurrences	16620	16815	16558	16687	16461	16859

Sur un grand nombre de lancers d’un dé équilibré à six faces numérotées de 1 à 6, la moyenne arithmétique des résultats obtenus est la somme des résultats divisée par le nombre de lancers. En rassemblant les occurrences de chaque face, cette moyenne est obtenue en pondérant chaque valeur $k\in [\![1;6]\!]$ par sa fréquence d’apparition $f k$ , d’où la formule $m={\frac {1}{N}}\sum _{i=1}^{N}x_{i}={\frac {1}{N}}(n_{1}+n_{2}\times 2+n_{3}\times 3+n_{4}\times 4+n_{5}\times 5+n_{6}\times 6)=\sum _{k=1}^{6}k\times f_{k}$ avec $\sum _{k=1}^{6}n_{k}=N$ et $f_{k}={\frac {n_{k}}{N}}$

Or les fréquences d’apparition $f k$ se rapprochent des probabilités associées pour chaque valeur quand $N\to +\infty$ , donc la moyenne $m$ obtenue se rapproche de la somme $E=\sum _{k=1}^{6}k\times p_{k}$ , qui correspond à la définition de son espérance.

La démonstration mathématique de ce rapprochement repose sur la notion de variable aléatoire réelle, dont l’ensemble des valeurs prises dans $\mathbb {R}$ est muni d’une loi de probabilité, c’est-à-dire qu'à chaque valeur ou intervalle de valeurs réelles on lui associe un nombre entre 0 et 1, sa probabilité, de façon à satisfaire quelques règles de calcul. Chaque lancer de dé est donc représenté par une variable aléatoire, mais la notion permet de traiter beaucoup plus de phénomènes aléatoires discrets ou continus. La répétition des lancers est formalisée par la notion d’échantillon, qui résume deux propriétés :

toutes les variables considérées ont la même loi (on lance le même dé, ou des dés semblables) ;
les variables sont indépendantes (le résultat d’un lancer n’a pas d’influence sur les résultats suivants).

Si le traitement de certaines lois de probabilité peut se résumer à la convergence des fréquences d’apparition (comme dans le cas du dé), les résultats mathématiques ci-dessous s’appliquent plus généralement à toute variable aléatoire admettant une espérance. Réciproquement, en démontrant la loi des grands nombres pour les variables aléatoires réelles, on peut l’appliquer aux variables de Bernoulli qui indiquent la réalisation d’évènements, et obtenir ainsi la convergence des fréquences d’apparition vers les probabilités associées.

Énoncés

Loi faible des grands nombres

La forme faible de la loi des grands nombres repose sur une convergence en probabilité, c’est-à-dire qu’elle affirme que parmi tous les échantillons de valeurs possibles, ceux dont la moyenne s’éloigne de la probabilité sont rares, et que cette rareté s’accentue avec la taille de l’échantillon. Ce phénomène était déjà remarqué dans l’étude statistique sur des jeux de hasard, en astronomie et en finance notamment^[1].

Jacques Bernoulli publie en 1713 son Ars Conjectandi (« Art de la conjecture ») dans lequel il montre, dans la quatrième partie, que dans le cas d’épreuves indépendantes avec la même probabilité de succès, l’écart entre la fréquence de succès observée et la fréquence attendue peut être majorée par une constante arbitrairement petite, avec une probabilité qui se rapproche de 1 lorsque le nombre d’épreuves augmente. En termes modernes, il montre que si $X$ est une variable binomiale, représentant la somme de $N$ variables de Bernoulli indépendantes et de même paramètre $p$ , la probabilité $\mathbf {P} \left(\left|{\frac {1}{N}}X-p\right|\leq {\frac {1}{t}}\right)$ est supérieure à une constante proche de 1, dépendant de $t$ et $N$ .

Ce résultat est appelé « loi des grands nombres » par Siméon Denis Poisson, et sera généralisé à toutes les lois de probabilités admettant une variance notamment grâce à l’inégalité de Markov au début du XX^e siècle. Diverses généralisations apparaitront ensuite, remplaçant la condition d’indépendance par l’absence de corrélation linéaire entre les variables, ou en autorisant les variables à suivre des lois différentes mais de variance bornée. La suppression de la condition de variance finie est obtenue par Alexandre Khintchine pour obtenir l’énoncé suivant :

Théorème (Khintchine) — Soit $(X_{n})$ une suite de variables aléatoires réelles indépendantes et de même loi (ie variables aléatoires iid) admettant une espérance $\mu .$ La moyenne empirique ${\overline {X}}_{n}={\frac {1}{n}}\sum _{k=1}^{n}X_{k}$ converge en probabilité vers cette espérance : pour tout $\varepsilon >0$ , on a

$\lim _{n\to +\infty }\mathbf {P} \left(\left|{\overline {X}}_{n}-\mu \right|>\varepsilon \right)=0$ .

Ce résultat assure en particulier que la moyenne empirique est un estimateur convergent de l'espérance.

Dans le cas d’une loi de probabilité admettant une variance finie, la loi faible des grands nombres se démontre en utilisant l'inégalité de Bienaymé-Tchebychev :

Démonstration

$\mathbb {P} (|Y-E(Y)|\geqslant \varepsilon )\leqslant {\frac {V(Y)}{\varepsilon ^{2}}}$ .

On remarque que la variable aléatoire $Y_{n}={\frac {X_{1}+X_{2}+\cdots +X_{n}}{n}}$ a pour espérance $E (X)$ et pour variance ${\frac {V(X)}{n}}$ . Ainsi, pour tout n : $\mathbb {P} \left(\left|{\frac {X_{1}+X_{2}+\cdots +X_{n}}{n}}-E(X)\right|\geqslant \varepsilon \right)\leqslant {\frac {V(X)}{n\,\varepsilon ^{2}}}$ .

Dans le cas général, la démonstration repose sur un développement limité de la fonction caractéristique à l’ordre 1, permettant de montrer que la moyenne empirique converge en loi vers la valeur (déterministe) de l’espérance. Puis on utilise le fait que la convergence en loi vers une constante implique la convergence en probabilité.

Loi forte des grands nombres

Considérons une suite $(X_{n})_{n\in \mathbb {N} }$ de variables aléatoires indépendantes qui suivent la même loi de probabilité, intégrables, i. e. $E (| X 0 |) < +\infty$ . En reprenant les notations ci-dessus, la loi forte des grands nombres précise que $({\overline {X}}_{n})_{n\in \mathbb {N} }$ converge vers $E (X)$ « presque sûrement ».

C’est-à-dire que :

Théorème — $\mathbb {P} \left(\lim _{n\to +\infty }{\overline {X}}_{n}=E(X)\right)=1.$

Autrement dit, selon la loi forte des grands nombres, la moyenne empirique est un estimateur fortement convergent de l'espérance.

Applications

Fonction de répartition empirique

La loi des grands nombres permet de dire que la fonction de répartition de $X$ peut être approchée par la fonction de répartition empirique calculée sur les valeurs d’un échantillon.

En effet, pour tout réel $x$ , la probabilité $\mathbb {P} ({\overline {X}}_{n}\leq x)$ converge vers la valeur de la fonction de répartition en $x$ :

en probabilité (d'après la loi faible des grands nombres) ;
presque sûrement (d'après la loi forte des grands nombres).

Cette convergence simple est en fait uniforme d’après le théorème de Glivenko-Cantelli.

Physique statistique

La physique statistique décrit le comportement d’un grand nombre de particules pour lesquelles les grandeurs individuelles sont inconnues mais leur accumulation peut être évaluée avec la loi des grands nombres. En particulier, la désintégration d’un atome radioactif se présente comme un évènement aléatoire, sans vieillissement, qui se traduit à un niveau macroscopique par la décroissance exponentielle de la radioactivité.

Notes et références

↑ Oscar Sheynin, « On the Law of Large Numbers », page 5, traduction de Ars Conjectandi de Jacques Bernoulli.

Voir aussi

Bibliographie

(en) Geoffrey Grimmett et David Strizaker, Probability and Random Processes.
Dominique Foata et Aimé Fuchs, Calcul des Probabilités.
Daniel Dugué, « Calcul des probabilités », Dictionnaire des mathématiques, fondements, probabilités, applications, Encyclopædia Universalis et Albin Michel, Paris 1998.

Lien externe

Une démonstration algébrique de la loi faible des grands nombres (théorème de Bernoulli) par de La Vallée Poussin, en ligne et commentée sur BibNum
Kelly Sedor, The Law of Large Numbers and its Applications, Lakehead University, Ontario, Canada 2015.