Dans tout ce qui suit, \( (X_n) \) désigne une suite de variables aléatoires réelles, indépendantes et identiquement distribuées, définies sur un espace probabilisé \( (\Omega, {\cal M}, P) \).

Supposons que la loi suivie par chaque \( X_n \) possède une espérance, et notons

\( \displaystyle \mu = E(X_1) = {\small\dots} = E(X_n) \)

Dans la suite du document, nous allons nous intéresser à la moyenne empirique définie pour tout \( n\in{\mathbb N}^* \) par :

\( \displaystyle \overline{X_n} = \frac{1}{n}\sum_{i=1}^n X_i \)

Commençons par remarquer que :

Propriété : \( E\Big( \overline{X_n} \Big) = \mu \)

Démonstration : c'est immédiat au vu de la linéarité de l'espérance !

\( \displaystyle E\Big(\overline{X_n}\Big) = E\Big(\frac{1}{n} \sum_{i=1}^n X_i\Big) \)\( \displaystyle = \frac{1}{n} \sum_{i=1}^n E(X_i) \)\( \displaystyle = \frac{1}{n} \sum_{i=1}^n \mu = \mu \)

■

1. Loi faible des grands nombres

Supposons maintenant que chaque variable \( X_n \) admette la même variance, et donc le même écart-type noté \( \sigma \).

1. Propriété : \( V\Big( \overline{X_n} \Big) = \dfrac{\sigma^2}{n} \)

Démonstration : commençons par remarquer que :

\( \displaystyle V\Big( \overline{X_n} \Big) = V\Big( \frac{1}{n}\sum_{i=1}^n X_i \Big) = \frac{1}{n^2} V\Big( \sum_{i=1}^n X_i \Big) \)

Puisque les \( X_n \) sont indépendantes,

\( \displaystyle V\Big( \overline{X_n} \Big) = \frac{1}{n^2} \sum_{i=1}^n V( X_i) = \frac{1}{n^2} n\sigma^2 = \frac{\sigma^2}{n} \)

■

L'inégalité de Bienaymé-Tchebychev donne alors pour tout \( \lambda > 0 \)

\( \displaystyle P\Big( | \overline{X_n} - \mu | > \lambda \Big) \leqslant \frac{\sigma^2}{n\lambda^2} \)

Nous passons alors à la limite pour \( n\rightarrow+\infty \) :

Théorème [Loi faible des grands nombres]

Pour tout \( \lambda> 0 \), \( \displaystyle\lim_{n\rightarrow +\infty} P\Big(|\overline{X_n} - \mu| > \lambda\Big) = 0 \)

On dit que la suite \( (\overline{X_n}) \) converge vers \( \mu \) en probabilité.

2. Loi forte des grands nombres

On peut - en quelque sorte - inverser limite et probabilité : ainsi la suite \( (\overline{X_n}) \) converge vers \( \mu \) presque surement. Autrement dit,

Théorème [Loi forte des grands nombres]

\( \displaystyle P \Big(\lim_{n\rightarrow +\infty} \overline{X_n} = \mu\Big) = 1 \)

Démonstration : ce théorème est admis au programme de l'agrégation interne.

Ouf ! ■

Notons que la converge vers \( \mu \) presque surement implique une convergence en probabilité. Il n'y avait donc pas vraiment besoin de l'existence d'une variance commune dans le théorème précédent… mais la démonstration est bien plus ardue !

3. Théorème central de la limite

Supposons - de nouveau - que chaque variable \( X_n \) admette la même variance, et donc le même écart-type noté \( \sigma \).

1. Propriété : la variable \( \frac{\sqrt{n}}{\sigma} \big(\overline{X_n} - \mu\big) \) est centrée et réduite.

Démonstration : en effet :

\( \displaystyle E\Big(\frac{\sqrt{n}}{\sigma} \big(\overline{X_n} - \mu\big)\Big) = \frac{\sqrt{n}}{\sigma} \big(\underbrace{E(\overline{X_n})}_{\mu} - \mu\big) = 0 \)

\( \displaystyle V\Big(\frac{\sqrt{n}}{\sigma} \big(\overline{X_n} - \mu\big)\Big) = \frac{\sqrt{n}^2}{\sigma^2} V(\overline{X_n} - \mu) = \dfrac{n}{\sigma^2}\frac{\sigma^2}{n} = 1 \)

■

2. Théorème [central de la limite]

Pour tout \( x\in\mathbb{R} \), \( \displaystyle\lim_{n\rightarrow +\infty} P\left( \frac{\sqrt{n}}{\sigma} \big(\overline{X_n} - \mu\big) \leq x\right) \) \( \displaystyle = \frac{1}{\sqrt{2\pi}}\int_{\small-\infty}^x {e^{-t^2 / 2}dt} \)

Démonstration : ce théorème est admis au programme de l'agrégation interne.

Ouf ! ■

Ce théorème est d'une utilité quasi systématique en probabilité.
D'où son appellation de théorème "central" !

Pour conclure

Il reste que le calcul de \( \overline{X_n} \) n'est pas forcément chose aisée… sauf dans quelques cas précis déjà détaillés : la loi binomiale et la loi de Poisson évidemment !