Une alternative robuste au maximum de vraisemblance: la $\rho$-estimation

TL;DR

This paper introduces the $ ho$-estimation method as a robust alternative to maximum likelihood estimation, highlighting its optimality and robustness properties through examples and connecting it to previous estimators.

Contribution

It presents the $ ho$-estimation framework, demonstrating its advantages over traditional estimators like MLE in terms of robustness and optimality across various statistical models.

Findings

$ ho$-estimators outperform MLE in robustness.

The method offers optimal properties in diverse frameworks.

Examples illustrate improved performance of $ ho$-estimators.

Abstract

This paper is based on our personal notes for the short course we gave on January 5, 2017 at Institut Henri Poincar\'e, after an invitation of the SFdS. Our purpose is to give an overview of the method of $\rho$-estimation and of the optimality and robustness properties of the estimators built according to this procedure. This method can be viewed as the sequel of a long series of researches which were devoted to the construction of estimators with good properties in various statistical frameworks. We shall emphasize the connection between the $\rho$-estimators and the previous ones, in particular the maximum likelihood estimator, and we shall show, via some typical examples, that the $\rho$-estimators perform better from various points of view. ------ Cet article est fond\'e sur les notes du mini-cours que nous avons donn\'e le 5 janvier 2017 \`a l'Institut Henri Poincar\'e \`a l'occasion d'une journ\'ee organis\'ee par la SFdS et consacr\'ee \`a la Statistique Math\'ematique. Il vise \`a donner un aper\c{c}u de la m\'ethode de $\rho$-estimation ainsi que des propri\'et\'es d'optimalit\'e et de robustesse des estimateurs construits selon cette proc\'edure. Cette m\'ethode s'inscrit dans une longue lign\'ee de recherches dont l'objectif a \'et\'e de produire des estimateurs poss\'edant de bonnes propri\'et\'es pour un ensemble de cadres statistiques aussi vaste que possible. Nous mettrons en lumi\`ere les liens forts qui existent entre les $\rho$-estimateurs et ces pr\'ed\'ecesseurs, notamment les estimateurs du maximum de vraisemblance, mais montrerons \'egalement, au travers d'exemples choisis, que les $\rho$-estimateurs les surpassent sur bien des aspects.

Equations

$$p(x)=(1/6)\left[|x{|}^{-1/2}1{\mathrm{l}}_{(0,1]}(|x|)+x^{-2}1{\mathrm{l}}_{]1;+\infty [}(|x|)\right],$$

$$\Theta =\left\{\theta \in {\mathbb{R}}^{k+1}||{\theta }_0|\le k^{1/4}\text{mbox}et\Vert {\theta }^{\prime }\Vert \le 2\left(1-k^{-1/4}|{\theta }_0|\right)\right\}.$$

$$\underset{\theta \in \Theta }{\sup }{\mathbb{E}}_{\theta }\left[\Vert \theta -\hat{\theta }{\Vert }^2\right]\ge (3/4)\sqrt{k}+3\text{mbox}et\underset{\tilde{\theta }}{\inf }\underset{\theta \in \Theta }{\sup }{\mathbb{E}}_{\theta }\left[\Vert \theta -\tilde{\theta }{\Vert }^2\right]\le 5.$$

$${\mathbb{E}}_{\theta }\left[\Vert \theta -\tilde{\theta }{\Vert }^2\right]={\mathbb{E}}_0\left[({\theta }_0-X_0{)}^2\right]+\Vert {\theta }^{\prime }{\Vert }^2\le 1+4=5\text{mbox}pourtout\theta \in \Theta .$$

$$p_{\theta}(x)=\left\{\begin{array}[]{ll}\exp\left[{\theta x-\left(\theta^{2}/2\right)}\right]&\mbox{si $x\neq\theta$ ou $\theta\leq 0$},\\ \exp\left[{\theta x-\left(\theta^{2}/2\right)+(\theta^{2}/2)\exp\left(x^{2}\right)}\right]&\mbox{sinon.}\end{array}\right.$$

$$P_{\alpha ,\theta }=(1-\alpha )\mathcal{U}([\theta ,\theta +1])+\alpha \mathcal{U}([100+\theta ,101+\theta ],$$

$$(1-\alpha {)}^n+{\alpha }^n\le \exp [-n\alpha ]+{\alpha }^n.$$

$$V_{\mathbf{X}}(t)=\prod _{i=1}^{n}t(X_i),\text{mbox}donc\log \left(V_{\mathbf{X}}(t)\right)=\sum _{i=1}^n\log \left(t(X_i)\right),$$

$${\mathbb{P}}_s\left[V_{\mathbf{X}}(t)>V_{\mathbf{X}}(s)\right]\le {\rho }^n(P_s,P_t),$$

$$\rho (P_s,P_t)=\int \sqrt{s(x)t(x)}d\mu (x)<1.$$

$$\max \left\{{\mathbb{P}}_s\left[V_{\mathbf{X}}(t)>V_{\mathbf{X}}(s)\right],{\mathbb{P}}_t\left[V_{\mathbf{X}}(t)<V_{\mathbf{X}}(s)\right]\right\}\le {\rho }^n(P_s,P_t),$$

$${\mathbb{P}}_s\left[\underset{t\in \text{mathscrbf}S}{\sup }{V}_{\mathbf{X}}(t)>V_{\mathbf{X}}(s)\right]\le \sum _{t\in \text{mathscrbf}S,t\ne s}{\mathbb{P}}_s\left[V_{\mathbf{X}}(t)>V_{\mathbf{X}}(s)\right]\le \sum _{t\in \text{mathscrbf}S,t\ne s}{\rho }^n(P_s,P_t),$$

$${\hat{t}}_n(\mathbf{X})={\mathrm{argmax}}_{t\in \text{mathscrbf}S}{V}_{\mathbf{X}}(t)={\mathrm{argmax}}_{t\in \text{mathscrbf}S}\left[\sum _{i=1}^n\log \left(t(X_i)\right)\right],$$

$$\underset{s\in \text{mathscrbf}S}{\sup }{\mathbb{P}}_s\left[{\hat{t}}_n(\mathbf{X})\ne s\right]{⟶}_{n\to +\infty }0.$$

$$\log \left(\frac{V_{\mathbf{X}}(t)}{V_{\mathbf{X}}(u)}\right)=\sum _{i=1}^n\log \left(\frac{t(X_i)}{u(X_i)}\right)$$

$$\sum _{i=1}^n\log \left(\frac{t(X_i)}{u(X_i)}\right)=2\sum _{i=1}^n\log \left(\sqrt{\frac{t(X_i)}{u(X_i)}}\right)$$

$$\sum _{i=1}^n\log \left(\sqrt{\frac{t(X_i)}{u(X_i)}}\right)\text{mbox}par\sum _{i=1}^n\psi \left(\sqrt{\frac{t(X_i)}{u(X_i)}}\right),$$

$$\underset{t\in \text{mathscrbf}S}{\sup }\sum _{i=1}^n\psi \left(\sqrt{\frac{t(X_i)}{u(X_i)}}\right)\text{mbox}estgrand.$$

$${\tilde{t}}_n(\mathbf{X})={\mathrm{argmin}}_{u\in \text{mathscrbf}S}\left[\underset{t\in \text{mathscrbf}S}{\sup }\sum _{i=1}^n\psi \left(\sqrt{\frac{t(X_i)}{u(X_i)}}\right)\right],$$

$${\mathrm{argmin}}_{u\in \text{mathscrbf}S}\left[\underset{t\in \text{mathscrbf}S}{\sup }\sum _{i=1}^n\log \left(\sqrt{\frac{t(X_i)}{u(X_i)}}\right)\right]$$

$$=\frac{1}{2}{\mathrm{argmin}}_{u\in \text{mathscrbf}S}\left[\left(\underset{t\in \text{mathscrbf}S}{\sup }\sum _{i=1}^n\log \left(t(X_i)\right)\right)-\sum _{i=1}^n\log \left(u(X_i)\right)\right]$$

$$=\frac{1}{2}{\mathrm{argmin}}_{u\in \text{mathscrbf}S}\left[\sum _{i=1}^n\log \left({\hat{t}}_n(X_i)\right)-\sum _{i=1}^n\log \left(u(X_i)\right)\right]$$

$$=\frac{1}{2}{\mathrm{argmax}}_{u\in \text{mathscrbf}S}\left[\sum _{i=1}^n\log \left(u(X_i)\right)-\sum _{i=1}^n\log \left({\hat{t}}_n(X_i)\right)\right]$$

$$={\mathrm{argmax}}_{u\in \text{mathscrbf}S}\sum _{i=1}^n\log \left(u(X_i)\right)={\hat{t}}_n(\mathbf{X}).$$

$$\sum _{i=1}^n\psi \left(\sqrt{\frac{t(X_i)}{u(X_i)}}\right)\text{mbox}ne{s}^{\prime }\acute{e}critpas\sum _{i=1}^n\psi \left(\sqrt{t(X_i)}\right)-\sum _{i=1}^n\psi \left(\sqrt{u(X_i)}\right).$$

$${\mathrm{argmax}}_{t\in \text{mathscrbf}S}\left[\sum _{i=1}^n\psi \left(\sqrt{t(X_i)}\right)\right].$$

$$\mathbf{T}(\mathbf{X},\mathbf{q},{\mathbf{q}}^{\prime })=\sum _{i=1}^n\psi \left(\sqrt{\frac{q_i^{\prime }(X_i)}{q_i(X_i)}}\right)\text{mbox}pourtousles\mathbf{q},{\mathbf{q}}^{\prime }\in \text{mathscrbf}Q.$$

$$\hat{\mathbf{P}}=\hat{\mathbf{p}}\cdot \mathbf{\mu }=\underset{i=1}{\overset{n}{⨂}}\left({\hat{p}}_i\cdot {\mu }_i\right)\text{mbox}avec\hat{\mathbf{p}}={\mathrm{argmin}}_{\mathbf{q}\in \text{mathscrbf}Q}\underset{{\mathbf{q}}^{\prime }\in \text{mathscrbf}Q}{\sup }\mathbf{T}(\mathbf{X},\mathbf{q},{\mathbf{q}}^{\prime }).$$

$$\underset{\mathbf{q}\in \text{mathscrbf}Q}{\min }\underset{{\mathbf{q}}^{\prime }\in \text{mathscrbf}Q}{\sup }\mathbf{T}(\mathbf{X},\mathbf{q},{\mathbf{q}}^{\prime })\ge 0$$

$$h^2(P,Q)=\frac{1}{2}\int {\left(\sqrt{\frac{dP}{d\nu }}-\sqrt{\frac{dP}{d\nu }}\right)}^{2}d\nu \text{mbox}et\rho (P,Q)=\int \sqrt{\frac{dP}{d\nu }\frac{dQ}{d\nu }}d\nu .$$

$$h^2(P,Q)=1-\rho (P,Q)\text{mbox}et\rho \left(P^{\otimes n},Q^{\otimes n}\right)={\rho }^n(P,Q).$$

$$H^2(\mathbf{P},\mathbf{Q})=\sum _{i=1}^n{h}^2(P_i,Q_i)\in [0,n].$$

Full text

1 Bref historique

Il y a bien longtemps que les statisticiens ont cherché une méthode générale pour construire, dans des contextes divers, des estimateurs disposant de bonnes propriétés, en particulier asymptotiques. En régression, il y a eu le minimum $\ell_{1}$ attribué à Pierre Simon de Laplace et les moindres carrés (minimum $\ell_{2}$) de Carl Friedrich Gauß autour des années 1800. Pour des modèles paramétriques généraux sur variables i.i.d. la méthode des moments est connue depuis longtemps et celle du maximum de vraisemblance, développée et popularisée d’abord par Sir Ronald Fisher dans les années 1920, a connu un succès considérable et elle est, aujourd’hui encore, très largement utilisée. L’estimateur du maximum de vraisemblance (en abrégé e.m.v.) est, en un certain sens, le premier estimateur à visées “universelles" dans la mesure où il s’applique à de très nombreux modèles statistiques et permet aussi de retrouver, en régression, la méthode des moindres carrés (maximum de vraisemblance pour des erreurs gaussiennes) ou du minimum $\ell_{1}$ (lorsque les erreurs ont une loi de Laplace).

L’e.m.v., qui a d’excellentes propriétés asymptotiques dans les modèles paramétriques réguliers, sous réserve de consistance, souffre néanmoins, dans un cadre général, de certains défauts connus depuis longtemps et mis en évidence par des statisticiens tels que Bahadur dès 1958 — cf. Bahadur (1958) — ou Le Cam — cf. Le Cam (1990) —, entre autres. Il n’est pas possible de construire une théorie générale de consistance des estimateurs du maximum de vraisemblance sans utiliser des hypothèses relativement fortes comme on peut le voir par exemple dans le livre de van der Vaart (1998). Le problème est encore plus délicat si l’on veut étudier les vitesses de convergence des e.m.v. Le Cam en était très conscient, cela apparaît dans ses écrits et il s’est efforcé de résoudre le problème en construisant — cf. Le Cam (1973) et (1975) — un estimateur qui est automatiquement consistant sous des hypothèses relativement faibles. C’était là une nouvelle tentative, plus féconde, pour fabriquer une méthode d’estimation “universelle", au moins pour les modèles en variables indépendantes.

C’est en se fondant sur ces travaux de Le Cam en vue de généraliser les choses à des variables non nécessairement indépendantes, en recherchant des vitesses de convergence et en étudiant leur optimalité éventuelle et leur robustesse, que le second auteur de cet article a construit ce qu’il a appelé les d-estimateurs dans Birgé (1983). Plus tard ceux-ci se sont transformés en T-estimateurs par l’adjonction de pénalités qui ont conduit à la sélection de modèle et l’adaptativité dans Birgé (2006). Néanmoins, les T-estimateurs, tout comme leurs prédécesseurs, souffrent encore de diverses limitations, en particulier la nécessité de travailler avec des modèles compacts, ce qui s’avère bien trop restrictif pour les applications à la régression.

Il est important de noter ici que ces différentes constructions, celle de Le Cam comme celles de Birgé, reposent sur la construction de familles de tests robustes (tests entre deux boules de Hellinger initialement). On peut d’ailleurs aussi interpréter le maximum de vraisemblance comme le résultat de la combinaison de nombreux tests de rapport de vraisemblances comme nous le verrons plus loin. C’est en partant d’une idée originale du premier auteur pour construire de nouvelles familles de tests — cf. Baraud (2011) — qu’est venue l’idée des $\rho$-estimateurs. Ces nouveaux tests sont fondés sur l’idée suivante : étant donné trois lois de probabilité $P$, $Q$ et $R$ et $X_{1},\ldots,X_{n}$ i.i.d. de loi $P$, on peut déduire un test entre $Q$ et $R$ (comme meilleur approximant de $P$) d’une estimation du signe de la différence $h^{2}(P,Q)-h^{2}(P,R)$ où $h$ désigne la distance de Hellinger.

Dans le cas de modèles compacts, les $\rho$-estimateurs peuvent être vus comme une variante des T-estimateurs fondés également sur des tests robustes, mais ils permettent en outre de traiter des problèmes à modèles non compacts comme la régression linéaire en plan fixe ou aléatoire, avec des erreurs de lois très variées, ou des problèmes d’estimation de densités sous contraintes de forme. Comme les T-estimateurs ils sont robustes et permettent de considérer de nombreux modèles simultanément, d’où leurs propriétés d’adaptation, mais leurs performances vont très au-delà et permettent bien davantage que les T-estimateurs, par exemple l’estimation d’une densité unimodale sur ${\mathbb{R}}$ de mode et support inconnus. Enfin, comme nous le verrons, dans des situations favorables, l’e.m.v. est un $\rho$-estimateur ; la $\rho$-estimation peut donc, dans une certaine mesure, être considérée comme une manière de rendre robuste la célèbre procédure introduite il y a près d’un siècle par Sir Ronald Fisher.

Ce qui va suivre peut être considéré comme une introduction (voire une incitation) à la lecture des articles suivants : Baraud, Birgé et Sart (2017), Baraud et Birgé (2016a) et Baraud et Birgé (2016b).

() ()

2 Quelques problèmes liés à l’utilisation des estimateurs du maximum de vraisemblance

2.1 Instabilité de la méthode du maximum de vraisemblance

On dispose d’un million d’observations $X_{1},\ldots,X_{10^{6}}$ que l’on suppose i.i.d. de loi uniforme sur $[0,\theta]$, de paramètre inconnu $\theta>0$ et que l’on modélise donc comme telles. L’e.m.v. relatif à ce modèle est $\widehat{\theta}=\max_{i=1,\ldots,10^{6}}X_{i}$. Si toutes les observations suivent effectivement ce modèle avec $\theta=1$ sauf une seule d’entre elles qui, suite à une erreur de manipulation ou de transcription, vaut 100, alors le maximum de vraisemblance vaut 100 et l’erreur d’estimation de $\theta$ sera d’au moins 99. Il suffit donc d’une seule observation aberrante parmi un million pour rendre l’e.m.v. inopérant dans ce cadre.

Le même problème se pose pour l’estimation du paramètre de centrage $\theta$ de la gaussienne ${\mathcal{N}}(\theta,1)$ par la moyenne empirique, qui est aussi l’e.m.v. ; une seule observation aberrante peut conduire à une erreur d’estimation considérable, autrement dit l’e.m.v. n’est absolument pas robuste. Pour plus de détails sur la notion de robustesse, on pourra se référer à l’excellent livre de Peter Huber — Huber (1981) — et à sa bibliographie.

La détection d’une valeur aberrante en dimension 1 (ou 2) est en général relativement facile car on peut visualiser les données. En revanche, les choses se compliquent sérieusement en grande dimension !

2.2 Non-existence de l’estimateur du maximum de vraisemblance

Soit la densité $p$ sur ${\mathbb{R}}$ définie par

[TABLE]

laquelle est symétrique, mais discontinue et non bornée en 0. Si l’on considère la famille de translation $\{p_{\theta}(x),\theta\in\Theta\}$ où $p_{\theta}(x)=p(x-\theta)$ et $\Theta$ est un intervalle compact de ${\mathbb{R}}$, la vraisemblance s’écrit $p(X_{1}-\theta)\times\ldots\times p(X_{n}-\theta)$ et tend vers l’infini dès que $\theta\rightarrow X_{i}$, quel que soit $i$. On ne peut donc définir un e.m.v. Le même phénomène se produit pour tout modèle de translation pour lequel la densité $p$ n’est pas bornée.

Dans le cas où $p$ est donnée par (1), il est néanmoins facile de montrer que la médiane empirique va converger vers $\theta$ à vitesse $1/n$. On peut même construire des intervalles de confiance non-asymptotiques pour $\theta$; ce n’est donc pas le problème qui est difficile à résoudre mais plutôt la méthode du maximum de vraisemblance qui est inadaptée à celui-ci.

Néanmoins, si l’on remplace le modèle initial $\{p_{\theta},\theta\in\Theta\}$ par le modèle approché $\{p_{\theta},\theta\in\Theta^{\prime}\}$ où $\Theta^{\prime}$ est une discrétisation finie de l’intervalle $\Theta$, l’e.m.v. relatif à $\Theta^{\prime}$ sera bien défini.

2.3 Le risque quadratique de l’e.m.v. peut être bien plus grand que le risque minimax

Soit ${\boldsymbol{X}}=(X_{0},\ldots,X_{k})$ un vecteur gaussien $(k+1)$-dimensionnel de loi ${\cal N}(\theta,I_{k+1})$, où $I_{k+1}$ est la matrice identité de dimension $k+1$. Étant donné un vecteur $\theta=(\theta_{0},\ldots,\theta_{k})$ de $\mathbb{R}^{k+1}$, on note $\theta^{\prime}=(\theta_{1},\ldots,\theta_{k})$ sa projection sur le sous-espace vectoriel de dimension $k$ engendré par les $k$ dernières coordonnées, $\|\theta\|$ sa norme euclidienne et ${\mathbb{E}}_{\theta}$ l’espérance quand $\theta$ est la vraie valeur du paramètre.

Proposition 1**.**

Supposons que $k\geq 128$ et considérons l’espace de paramètres

[TABLE]

Le risque quadratique de l’e.m.v. $\widehat{\theta}$ et le risque minimax sur $\Theta$ vérifient respectivement

[TABLE]

On voit que le risque quadratique de l’e.m.v. sur $\Theta$ peut être beaucoup plus grand que le risque minimax. La démonstration se trouve dans Birgé (2006).

Pour obtenir la borne supérieure du risque quadratique dans (2) il suffit de remplacer le modèle initial $\Theta$ par le modèle approché $\Theta^{\prime}=\left\{{\left.(\theta_{0},0)\in{\mathbb{R}}^{k+1}\,\right|\,\theta_{0}\in{\mathbb{R}}}\right\}$ et de construire l’e.m.v. sur $\Theta^{\prime}$ ce qui donne $\widetilde{\theta}=(\widetilde{\theta}_{0},0)=(X_{0},0)$. On vérifie alors que

[TABLE]

2.4 La valeur et les performances de l’e.m.v. dépendent du choix de la famille des densités

Que la valeur de l’e.m.v. dépende du choix que l’on fait des densités par rapport à une mesure dominante est à peu près évident et connu depuis longtemps. Qu’un choix inadapté puisse mener à des résultats catastrophiques, comme le montre l’exemple suivant, l’est sans doute nettement moins.

Proposition 2**.**

Soit une suite $(X_{k})_{k\geq 1}$ de v.a.r. i.i.d. de loi $P_{\theta}={\mathcal{N}}(\theta,1)$ pour un réel $\theta$ inconnu. Pour tout $\theta\in{\mathbb{R}}$, fixons la version $p_{\theta}$ de la densité $dP_{\theta}/dP_{0}$ de $P_{\theta}$ par rapport à la mesure de référence $P_{0}={\mathcal{N}}(0,1)$ de la manière suivante :

[TABLE]

Alors, quelle que soit la vraie valeur de $\theta\in{\mathbb{R}}$, sur un ensemble dont la $P_{\theta}$-probabilité tend vers 1 quand $n$ tend vers l’infini, l’e.m.v. s’écrit $\widehat{\theta}_{n}=X_{(n)}=\max\{X_{1},\ldots,X_{n}\}$ et n’est donc pas consistant.

On trouvera la preuve de cette assertion dans Baraud et Birgé (2016b).

Si l’on remplace le modèle initial avec $\theta\in{\mathbb{R}}$ par sa restriction à $\theta\in{\mathbb{Q}}$ et si l’on accepte de prendre pour maximum de vraisemblance un point maximisant la vraisemblance appproximativement seulement, le problème ne se posera plus.

2.5 Construction de l’e.m.v. sur un modèle approché

Nous venous de remarquer que certains des problèmes rencontrés par l’e.m.v.  pouvaient être résolus en construisant l’estimateur non pas sur l’ensemble initial des paramètres $\Theta$ mais sur un sous-ensemble $\Theta^{\prime}$ de $\Theta$ ayant de bonnes qualités d’approximation par rapport aux élements de $\Theta$. Maleureusement, l’utilisation de tels sous-ensembles approchants peut aussi conduire à d’autres ennuis comme le montre l’exemple suivant.

Considérons le problème d’estimation du paramètre $\theta\in{\mathbb{R}}$ à partir de l’observation d’un $n$-échantillon $X_{1},\ldots,X_{n}$ dont la loi appartient à l’ensemble de probabilités ${\mathscr{P}}_{{\varepsilon}}=\left\{{P_{\alpha,\theta},\;(\alpha,\theta)\in[0,{\varepsilon}]\times{\mathbb{R}}}\right\}$ avec $0\leq\varepsilon<1/2$ et

[TABLE]

où ${\mathcal{U}}([a,b])$ désigne la loi uniforme sur l’intervalle $[a,b]$ pour $a<b$. Si $\varepsilon$ est petit le modèle plus simple ${\mathscr{P}}_{0}\subset{\mathscr{P}}_{{\varepsilon}}$ des lois uniformes sur $[\theta,\theta+1]$ avec $\theta\in{\mathbb{R}}$ fournit une bonne approximation de ${\mathscr{P}}_{{\varepsilon}}$. Comme la loi $P_{\alpha,\theta}$ est un mélange de deux lois uniformes sur deux intervalles disjoints, la vraisemblance sur le modèle ${\mathscr{P}}_{0}$ est constamment nulle sauf si toutes les observations appartiennent à l’un ou l’autre de ces deux intervalles ce qui arrive avec une probabilité

[TABLE]

Lorsque $\alpha$ est grand devant $1/n$ et petit devant $1/2$, cette probabilité est petite. Donc, en dehors de cet événement de petite probabilité, la méthode du maximum de vraisemblance sur le modèle approché ${\mathscr{P}}_{0}$ ne fournit aucune estimation de $\theta$.

2.6 Les modèles approchés

Si nous considérons les exemples précédents, nous pouvons constater que les problèmes liés à l’utilisation de l’e.m.v. sur un modèle statistique donné par une famille de lois $\{P_{\theta},\theta\in\Theta\}$ peuvent souvent être en partie résolus en remplaçant le modèle initial par un modèle approché $\{P_{\theta},\theta\in\Theta^{\prime}\}$. Pour obtenir un résultat général fondé sur l’estimation sur des modèles approchés, il convient de s’assurer que, si l’on utilise comme modèle une famille de lois ${\mathcal{P}}=\{P_{\theta},\theta\in\Theta^{\prime}\}$ et si la vraie loi $P$ des observations est proche d’un élément de ${\mathcal{P}}$, le comportement de l’estimateur construit sur ${\mathcal{P}}$ est à peu près le même que ce qu’il serait si $P$ appartenait effectivement à ${\mathcal{P}}$, c’est-à-dire que l’estimateur est robuste. Malheureusement l’e.m.v. ne l’est pas toujours, d’où la nécessité de le remplacer par un estimateur robuste permettant de travailler avec des modèles approchés de manière systématique.

3 Comment résoudre les problèmes précédents : une heuristique

Plaçons-nous ici dans le cadre d’un $n$-échantillon ${\boldsymbol{X}}=(X_{1},\ldots,X_{n})$ et d’une famille ${\mathscrbf{S}}$ de densités par rapport à une mesure de référence $\mu$ avec $P_{t}=t\cdot\mu$ pour $t\in{\mathscrbf{S}}$. Notons ${\mathbb{P}}_{t}[A]$ la probabilité de l’évènement $A$ quand les $X_{i}$ ont la loi $P_{t}$, la vraisemblance de $t$ par

[TABLE]

et supposons, pour simplifier les choses, que ${\mathbb{P}}_{s}\left[V_{{\boldsymbol{X}}}(t)=V_{{\boldsymbol{X}}}(u)\right]=0$, quels que soient $s,t,u\in{\mathscrbf{S}}$ et $t\neq u$. Alors on sait que, si $P_{s}\neq P_{t}$

[TABLE]

avec

[TABLE]

La quantité $\rho(P_{s},P_{t})$, dénommée affinité de Hellinger entre $P_{s}$ et $P_{t}$, est seulement fonction des deux lois $P_{s}$ et $P_{t}$ et non pas du choix de la mesure dominante $\mu$ ni de celui des versions des densités $dP_{s}/d\mu$ et $dP_{t}/d\mu$. Comme $\rho(P_{s},P_{t})<1$, $\rho^{n}(P_{s},P_{t})$ tend vers [math] quand $n$ tend vers l’infini et l’on voit bien qu’en choisissant en fonction de ${\boldsymbol{X}}$ celle des deux lois qui a la plus grande vraisemblance, on trouvera asymptotiquement la vraie loi des $X_{i}$. On contrôle même les probabilités d’erreurs du test pour $n$ fixé :

[TABLE]

puisque $V_{{\boldsymbol{X}}}(t)\neq V_{{\boldsymbol{X}}}(s)$ presque sûrement. Le résultat s’étend immédiatement au cas d’un modèle ${\mathscrbf{S}}$ fini et identifiable. En effet, pour tout $s\in{\mathscrbf{S}}$,

[TABLE]

donc, si

[TABLE]

alors

[TABLE]

Remarquons ici que la recherche de $\widehat{t}_{n}$ revient à faire simultanément tous les tests de rapport de vraisemblances entre les paires $(t,u)$ de ${\mathscrbf{S}}^{2}$ avec $t\neq u$ en comparant $V_{{\boldsymbol{X}}}(t)$ à $V_{{\boldsymbol{X}}}(u)$, ce qui revient à étudier le signe de

[TABLE]

et à choisir l’élément de ${\mathscrbf{S}}$ accepté par tous ces tests simultanément, lequel existe toujours sous nos hypothèses.

Malheureusement, ce résultat ne s’étend pas sans hypothèses fortes au cas d’un ensemble ${\mathscrbf{S}}$ infini ni à celui d’une vraie loi $P^{\star}$ des $X_{i}$ n’appartenant pas à $\{P_{t},t\in{\mathscrbf{S}}\}$, même lorsque $P^{\star}$ est très proche de l’ensemble en question. Une des raisons de cet échec est liée au fait que la fonction $\log$ n’est pas bornée comme le montre l’exemple de la section 2.2. Les tests de rapport de vraisemblances évoqués ci-dessus reposent sur l’évaluation des rapports $V_{{\boldsymbol{X}}}(t)/V_{{\boldsymbol{X}}}(u)$ ou, de manière équivalente, sur les signes des quantités $\sum_{i=1}^{n}\log\left(t(X_{i})/u(X_{i})\right)$. Mais il faut noter que c’est la propriété magique de la fonction $\log$ : $\log(a/b)=\log a-\log b$ qui fait que trouver un point $\widehat{t}_{n}$ de ${\mathscrbf{S}}$ tel que $\log\left[V_{{\boldsymbol{X}}}(\widehat{t}_{n})/V_{{\boldsymbol{X}}}(u)\right]>0$ pour tout $u\neq\widehat{t}_{n}$ équivaut à chercher le point $\widehat{t}_{n}$ qui maximise sur ${\mathscrbf{S}}$ la fonction $u\mapsto\sum_{i=1}^{n}\log\left(u(X_{i})\right)$. Les fonctions de la forme $\alpha\log$ avec $\alpha>0$ sont les seules qui possèdent cette propriété mais elles ne sont pas bornées ce qui explique certains des problèmes que l’on rencontre avec la méthode du maximum de vraisemblance.

Néanmoins, l’idée même de rapport de vraisemblances nous dit que $P_{t}$ est d’autant plus «  vraisemblable   » comparé à $P_{u}$ que le rapport $V_{{\boldsymbol{X}}}(t)/V_{{\boldsymbol{X}}}(u)$ est plus grand ou que $\sum_{i=1}^{n}\log\left(t(X_{i})/u(X_{i})\right)$ l’est. De manière heuristique, la valeur de

[TABLE]

permet de comparer la qualité de $t$ par rapport à celle de $u$. Soit alors $\psi$ une fonction strictement croissante, bornée et telle que $\psi(1)=0$. On peut envisager de comparer, de manière analogue, la qualité de $t$ par rapport à celle de $u$ en remplaçant dans (5),

[TABLE]

de sorte que l’on puisse dire que la loi $P_{u}$ est d’autant moins bonne au vu des observations $X_{1},\ldots,X_{n}$ que

[TABLE]

Comme le meilleur $u$ est aussi le moins mauvais, on peut penser à choisir comme estimateur de $P^{\star}$ la loi $P_{\widetilde{t_{n}}}$ avec

[TABLE]

en supposant ici, pour simplifier l’exposé, que l’$\mathop{\rm argmin}$ existe (mais n’est pas nécessairement unique). Lorsque $\psi$ est la fonction $\log$ et $\widehat{t}_{n}$ l’e.m.v.,

[TABLE]

On retrouve ainsi le maximum de vraisemblance parce que $\log(a/b)=\log a-\log b$, mais cet argument ne fonctionne plus avec une fonction $\psi\neq\alpha\log$ parce qu’alors

[TABLE]

Dans ce cas, on ne peut plus caractériser $\widetilde{t}_{n}({\boldsymbol{X}})$ défini par (8) comme

[TABLE]

4 Les fondamentaux des $\rho$-estimateurs

4.1 Cadre statistique et définitions

Comme nous voulons que ce qui va suivre s’applique aussi à des problèmes de régression pour lesquels les observations ne sont pas nécessairement i.i.d., nous allons travailler dans le cadre plus général suivant, en omettant délibérément un certain nombre de points techniques (en particulier liés à des problèmes de mesurabilité) qui ne pourraient que nuire à la clarté de cette présentation.

On observe ${\boldsymbol{X}}=(X_{1},\ldots,X_{n})\in{\mathscrbf{X}}=\prod_{i=1}^{n}{\mathscr{X}}_{i}$ et les v.a. $X_{i}\in{\mathscr{X}}_{i}$ sont indépendantes, de lois respectives $P^{\star}_{i}$, donc le vecteur ${\boldsymbol{X}}$ a pour loi ${\mathbf{P}}^{\star}=\bigotimes_{i=1}^{n}P^{\star}_{i}$. Pour estimer ${\mathbf{P}}^{\star}$ à partir de ${\boldsymbol{X}}$ on se donne un modèle statistique ${\mathscrbf{P}}$ dominé par ${\boldsymbol{\mu}}=\bigotimes_{i=1}^{n}\mu_{i}$ avec ${\mathbf{Q}}=\bigotimes_{i=1}^{n}Q_{i}$ pour tout ${\mathbf{Q}}\in{\mathscrbf{P}}$, $Q_{i}=q_{i}\cdot\mu_{i}$ et $d{\mathbf{Q}}/d{\boldsymbol{\mu}}={\mathbf{q}}=\bigotimes_{i=1}^{n}q_{i}$ ${\boldsymbol{\mu}}$-p.p., les versions des densités pouvant être choisies de manière arbitraire. On associe ainsi à ${\mathscrbf{P}}$ un ensemble ${\mathscrbf{Q}}$ de densités ${\mathbf{q}}$ par rapport à ${\boldsymbol{\mu}}$ et ${\mathscrbf{P}}=\{{\mathbf{Q}}={\mathbf{q}}\cdot{\boldsymbol{\mu}},\,{\mathbf{q}}\in{\mathscrbf{Q}}\}$. Clairement, étant donné ${\mathscrbf{P}}$, l’ensemble des fonctions ${\mathbf{q}}$ n’est pas unique mais nous passerons ici sur cet aspect technique comme indiqué précédemment, les résultats que nous présenterons ne dépendant pas du choix que l’on fait des versions de ces densités. Il est important de noter que nous ne supposons pas que ${\mathbf{P}}^{\star}\in{\mathscrbf{P}}$ mais seulement qu’il s’agit d’une loi produit.

On se donne sur $[0,+\infty]$ une fonction $\psi$ vérifiant $\psi(1)=0$ et l’on considère la famille de statistiques

[TABLE]

On définit alors un estimateur $\widehat{{\mathbf{P}}}$ par

[TABLE]

Pour simplifier, ici comme dans toute la suite, nous supposerons que l’$\mathop{\rm argmin}$ est atteint donc que $\widehat{{\mathbf{p}}}$ existe. Notons qu’il n’est pas nécessairement unique. Dans le cas général, il suffit de choisir pour $\widehat{{\mathbf{p}}}$ un élément de ${\mathscrbf{Q}}$ qui minimise $\sup_{{\mathbf{q}}^{\prime}\in{\mathscrbf{Q}}}{\mathbf{T}}({\mathbf{X}},{\mathbf{q}},{\mathbf{q}}^{\prime})$ approximativement.

**Remarque​ **.

Comme $\psi(1)=0$, ${\mathbf{T}}({\mathbf{X}},{\mathbf{q}},{\mathbf{q}})=0$, donc

[TABLE]

et si l’on trouve un élément ${\mathbf{q}}$ de ${\mathscrbf{Q}}$ tel que $\sup_{{\mathbf{q}}^{\prime}\in{\mathscrbf{Q}}}{\mathbf{T}}({\mathbf{X}},{\mathbf{q}},{\mathbf{q}}^{\prime})=0$, alors c’est un $\rho$-estimateur.

4.2 Choix de la fonction de perte

Pour évaluer les performances d’un estimateur de ${\mathbf{P}}^{\star}$, nous utiliserons des fonctions de perte liées à la distance de Hellinger.

Définition 1**.**

Étant donné deux probabilités $P$ et $Q$ et une mesure arbitraire $\nu$ qui domine $P$ et $Q$ on définit la distance de Hellinger $h$ et l’affinité de Hellinger $\rho$ entre $P$ et $Q$ par

[TABLE]

On notera que ces deux quantités ne dépendent ni du choix de $\nu$ ni de celui des versions des deux densités $dP/d\nu$ et $dQ/d\nu$ et que

[TABLE]

Dans le cas des lois produits qui nous intéressent, soit ${\mathbf{P}}=\bigotimes_{i=1}^{n}P_{i}$ et ${\mathbf{Q}}=\bigotimes_{i=1}^{n}Q_{i}$, nous considérerons la distance $H$ (également appelée ici distance de Hellinger, bien que $H({\mathbf{P}},{\mathbf{Q}})\neq h({\mathbf{P}},{\mathbf{Q}})$) définie par

[TABLE]

La qualité d’un estimateur $\widehat{{\mathbf{Q}}}({\boldsymbol{X}})$ de la vraie loi ${\mathbf{P}}^{\star}$ sera mesurée par son risque quadratique

[TABLE]

Un cas particulier important est celui de lois produits correspondant à des v.a. i.i.d. : ${\mathbf{P}}=P^{\otimes n}$ et ${\mathbf{Q}}=Q^{\otimes n}$ pour lequel $H^{2}({\mathbf{P}},{\mathbf{Q}})=nh^{2}(P,Q)$.

4.3 Quelles conditions sur la fonction $\psi$ ?

Comme nous l’avons expliqué, l’idée de cette construction est de remplacer, dans le calcul de la log-vraisemblance, la fonction $\log$ par une fonction $\psi$ bornée. Néanmoins, afin de préserver certaines des propriétés du log, en particulier d’obtenir un analogue de (4), il convient que la fonction $\psi$ ait certaines similitudes avec la fonction $\log$. Nous demanderons donc que $\psi$ soit continue et strictement croissante avec $\psi(1/x)=-\psi(x)$. Comme elle est bornée et continue, la fonction $\psi$ vérifie

[TABLE]

Le remplacement de $\psi$ par $\alpha\psi$ avec $\alpha>0$ ne modifiant pas la valeur des $\rho$-estimateurs, nous conviendrons de fixer $\psi(0)=-1$ donc $\psi(+\infty)=1$ et, comme nous voulons utiliser la distance de Hellinger pour mesurer les performances des $\rho$-estimateurs, nous imposerons les relations suivantes :

Quelles que soient les densités ${\mathbf{q}},{\mathbf{q}}^{\prime}\in{\mathscrbf{Q}}$, la probabilité ${\mathbf{R}}\in{\mathscrbf{P}}$ et $i\in\{1,\ldots,n\}$,

[TABLE]

et

[TABLE]

où les constantes $a_{0}$, $a_{1}$ et $a_{2}$ satisfont aux relations

[TABLE]

Pour que les rapports $q^{\prime}_{i}/q_{i}$ soient toujours bien définis, nous utilisons les conventions $0/0=1$ et $a/0=+\infty$ pour tout $a>0$.

La relation (9) montre que si $R_{i}$ est la vraie loi de $X_{i}$ et $Q_{i}$ est bien plus proche de $R_{i}$ que ne l’est $Q^{\prime}_{i}$ alors l’intégrale de gauche qui est l’espérance de $\psi\left(\sqrt{q^{\prime}_{i}(X_{i})/q_{i}(X_{i})}\right)$ est négative. Quant à (10) elle permet de contrôler la variance de la même quantité. Comme la fonction $\psi$ est bornée, on peut en déduire des inégalités de déviations de type Bernstein pour ${\mathbf{T}}({\mathbf{X}},{\mathbf{q}},{\mathbf{q}}^{\prime})$ qui est une somme de variables indépendantes, bornées et dont on contrôle la variance. D’où l’importance de cette bornitude.

Dans la situation idéale où l’on aurait $a_{0}=a_{1}=1$, on déduirait de (9) que

[TABLE]

et, en inversant les rôles de ${\mathbf{Q}}$ et ${\mathbf{Q}}^{\prime}$, que

[TABLE]

parce que $\psi(1/x)=-\psi(x)$. Finalement, comme $\left[{\mathbf{T}}({\mathbf{X}},{\mathbf{q}}^{\prime},{\mathbf{q}})\right]=-\left[{\mathbf{T}}({\mathbf{X}},{\mathbf{q}},{\mathbf{q}}^{\prime})\right]$,

[TABLE]

donc

[TABLE]

De même

[TABLE]

La première égalité est à rapprocher, dans le cadre i.i.d., de

[TABLE]

pourvu que les deux divergences de Kullback-Leibler, $K(P^{\star},Q)$ et $K(P^{\star},Q^{\prime})$, soient finies, ce qui n’est absolument pas garanti, $P^{\star}$ étant inconnue.

Nous ignorons combien de fonctions satisfont aux relations (9) et (10) mais nous n’en connaissons que deux :

[TABLE]

la première fonction $\psi_{1}(x)$ étant la plus simple et très proche de la fonction $x\mapsto(1/2)\log(x)$ au voisinage de 1 puisque

[TABLE]

et

[TABLE]

Pour la fonction $\psi_{1}$, $a_{0}=4$, $a_{1}=3/8$ et $a_{2}^{2}=3\sqrt{2}$, et pour la fonction $\psi_{2}$, $a_{0}=4,97$, $a_{1}=0,083$ et $a_{2}^{2}=3+2\sqrt{2}$.

5 Les performances des $\rho$-estimateurs

5.1 Un résultat général

La qualité d’un $\rho$-estimateur $\widehat{{\mathbf{P}}}$ défini par (8), mesurée par son risque quadratique ${\mathbb{E}}_{{\mathbf{P}}^{\star}}\left[H^{2}\left(\widehat{{\mathbf{P}}}({\boldsymbol{X}}),{\mathbf{P}}^{\star}\right)\right]$, ne dépend que du modèle ${\mathscrbf{P}}$ choisi et de la vraie loi ${\mathbf{P}}^{\star}$. Plus précisément,

Théorème 1**.**

Pour toute mesure-produit ${\mathbf{P}}^{\star}=\bigotimes_{i=1}^{n}P^{\star}_{i}$, toute probabilité $\overline{\mathbf{P}}\in{\mathscrbf{P}}$ et tout réel positif $\xi$,

[TABLE]

où $C\geq 1$ est une constante numérique universelle (on peut prendre $C=26350$) et $D_{n}^{{\mathscrbf{P}}}({\mathbf{P}}^{\star},\overline{\mathbf{P}})\in[1,n]$ un terme de dimension locale (relative à $\overline{{\mathbf{P}}}$) du modèle ${\mathscrbf{P}}$.

En intégrant par rapport à $\xi$ l’inégalité précédente, on obtient, puisque $D_{n}^{{\mathscrbf{P}}}({\mathbf{P}}^{\star},\overline{\mathbf{P}})\geq 1$,

[TABLE]

Dans la suite, $C$ désignera une constante numérique qui pourra changer de ligne en ligne. La dimension $D_{n}^{{\mathscrbf{P}}}({\mathbf{P}}^{\star},\overline{\mathbf{P}})$ est définie à partir des fluctuations du processus ${\mathbf{T}}({\mathbf{X}},\overline{{\mathbf{p}}},{\mathbf{q}})$ pour ${\mathbf{q}}\in{\mathscrbf{Q}}$ autour de son espérance sous ${\mathbf{P}}^{\star}$. Dans un grand nombre de situations (mais pas toujours), on peut borner cette dimension uniformément en $\overline{{\mathbf{P}}}$ et ${\mathbf{P}}^{\star}$ par une quantité $D_{n}({\mathscrbf{P}})$ qui ne dépend que du modèle que l’on utilise. Dans ce cas, la borne (12) devient

[TABLE]

avec

[TABLE]

En particulier,

[TABLE]

On retrouve dans (13) une majoration classique du risque par la somme d’un terme d’approximation $H^{2}({\mathbf{P}}^{\star},{\mathscrbf{P}})$ et d’un terme de dimension $D_{n}({\mathscrbf{P}})$, lequel caractérise la “taille" du modèle ${\mathscrbf{P}}$. Cette formule met clairement en évidence la robustesse d’un tel estimateur à un écart possible de la vraie loi au modèle : si ${\mathbf{P}}^{\star}$ appartient au modèle ${\mathscrbf{P}}$ le risque est majoré par la dimension de ${\mathscrbf{P}}$ qui permet de contrôler le risque maximum sur ${\mathscrbf{P}}$ par (14), sinon il faut y ajouter un terme d’approximation proportionnel à $H^{2}({\mathbf{P}}^{\star},{\mathscrbf{P}})$ traduisant le fait que le modèle ${\mathscrbf{P}}$ est inexact. Si l’erreur de modélisation est suffisamment faible, ce terme sera petit et la borne de risque comparable à celle que l’on obtient lorsque le modèle est exact.

5.2 Quelques cas particuliers

— Dans le cadre de l’estimation d’une densité à partir de $n$ observations i.i.d. de densité $p^{\star}$ avec ${\mathbf{P}}^{\star}=(p^{\star}\cdot\mu)^{\otimes n}$ et d’un modèle ${\mathscrbf{P}}=\{P^{\otimes n},P\in{\mathscr{P}}\}$, les $\rho$-estimateurs prennent la forme $\widehat{\mathbf{P}}=\widehat{P}^{\otimes n}$ avec $\widehat{P}\in{\mathscr{P}}$ et la borne de risque (13) s’écrit alors

[TABLE]

— Lorsque le modèle $({\mathscrbf{P}},H)$ est de dimension métrique finie majorée par $\overline{D}$, ce qui signifie que l’on peut recouvrir toute boule de ${\mathscrbf{P}}$ de rayon $x\eta$ (avec $x\geq 2$) par un nombre de boules de rayon $\eta$ majoré par $\exp\left(\overline{D}x^{2}\right)$, alors $D_{n}^{{\mathscrbf{P}}}({\mathbf{P}}^{\star},\overline{\mathbf{P}})\leq C\overline{D}$. Dans ce cas, les $\rho$-estimateurs ont les mêmes performances que les T-estimateurs de Birgé (2006) mais, comme dans le cas des T-estimateurs, l’hypothèse de dimension métrique finie nécessite que l’espace métrique $({\mathscrbf{P}},H)$ soit compact.

— Dans un cadre de régression à “plan fixé" pour lequel $X_{i}=(w_{i},Y_{i})$, $\lambda$ est la mesure de Lebesgue sur ${\mathbb{R}}$ et

[TABLE]

on utilise un modèle correspondant aux lois possibles des $Y_{i}$ donné par

[TABLE]

où $r$ est une densité fixée et $f\in{\mathcal{F}}$. Si la famille ${\mathcal{F}}$ est incluse dans un espace vectoriel de dimension $k$ et la densité $r$ est unimodale, on peut montrer que $D_{n}^{{\mathscrbf{P}}}({\mathbf{P}}^{\star},\overline{\mathbf{P}})\leq Ck\log n$ en utilisant des arguments de classes de Vapnik. On perd alors un facteur $\log n$ dans les bornes de risque mais on s’est débarassé des hypothèses de compacité puisque ${\mathcal{F}}$ peut être un espace vectoriel. Nous ignorons si un tel facteur logarithmique est nécessaire ou non si l’on se restreint à des estimateurs robustes au sens ci-dessus.

6 Liens entre $\rho$-estimateurs et e.m.v.

Considérons un modéle paramétrique très simple dans lequel les $X_{i}$ sont supposées i.i.d.  et uniformes sur $[\theta-1,\theta+1]$. On peut montrer dans ce cas que, si le modèle est exact, c’est-à-dire si les $X_{i}$ sont effectivement i.i.d.  et uniformes sur $[\theta^{\star}-1,\theta^{\star}+1]$ pour un $\theta^{\star}\in{\mathbb{R}}$, alors l’estimateur $\left(X_{(1)}+X_{(n)}\right)\!/2$, qui est un estimateur du maximum de vraisemblance, est aussi un $\rho$-estimateur. La différence entre l’e.m.v. et le $\rho$-estimateur est que, si le modèle est légèrement inexact, le $\rho$-estimateur donnera un résultat sensé, c’est-à-dire une estimation par une loi uniforme sur $[\widetilde{\theta}-1,\widetilde{\theta}+1]$ proche de la vraie loi, alors que le maximum de vraisemblance peut fort bien ne pas exister, par exemple si $X_{(n)}-X_{(1)}>2$.

Dans un modèle paramétrique très régulier $\{p_{\theta},\theta\in[0,1]\}$ avec des observations i.i.d., si les estimateurs du maximum de vraisemblance $p_{\widehat{\theta}_{n}}$ sont consistants alors ce sont aussi des $\rho$-estimateurs avec une probabilité tendant vers 1 lorsque $n\rightarrow+\infty$ — cf.  le théorème 19 de Baraud, Birgé and Sart (2017) —.

Toujours dans un cadre i.i.d., si le modèle consiste en un ensemble convexe ${\mathscr{Q}}$ de densités par rapport à une mesure de référence $\mu$, et que la fonction $\psi$ vaut $\psi_{1}$ ou $\psi_{2}$, alors l’application

[TABLE]

admet un point selle sur ${\mathscr{Q}}\times{\mathscr{Q}}$ car l’application $(x,y)\mapsto\psi(\sqrt{x/y})=-\psi(\sqrt{y/x})$ est concave en $x$ pour $y>0$ fixé et convexe en $y$ pour $x>0$ fixé. Ce point selle est à la fois un $\rho$-estimateur et l’e.m.v. sur ${\mathscr{Q}}$. Ce résultat, qui repose sur un argument dû à Su Weijie (2016, communication personnelle), est démontré dans la section 6 de Baraud et Birgé (). Une telle situation, pour laquelle l’e.m.v. est un $\rho$-estimateur et en a donc toutes les propriétés, se retrouve dans les exemples suivants:

1. a)

l’ensemble des densités sur ${\mathscr{X}}$ qui sont constantes par morceaux sur une partition fixée de ${\mathscr{X}}$ de cardinal $D$. Dans ce cas, notons que l’e.m.v. est alors l’histogramme associé à cette partition; 2. b)

l’ensemble des densités décroissantes sur $[0,+\infty)$ ou croissantes sur $(-\infty,0]$ ou unimodales sur ${\mathbb{R}}$ avec un mode en 0. En particulier, l’estimateur de Grenander pour les densités décroissantes sur ${\mathbb{R}}_{+}$, qui est l’e.m.v., est un $\rho$-estimateur; 3. c)

l’enveloppe convexe d’une nombre fini de densités (estimateurs préliminaires obtenus à partir d’un échantillon indépendant), ce qui nous fournit le cadre de l’agrégation convexe.

Un résultat analogue pour des cadres statistiques plus généraux que l’estimation de densité a été montré par Mathieu Sart (2017, communication personnelle).

En résumé, sous des conditions convenables, le maximum de vraisemblance est un $\rho$-estimateur, exactement (cadre convexe) ou asymptotiquement (modèle paramétrique suffisamment régulier).

En revanche, si la vraie loi dévie un peu du modèle, il se peut, lorsque l’on ne se trouve pas dans le cadre de variables i.i.d. et d’un modèle convexe, que le maximum de vraisemblance en soit gravement affecté alors que les $\rho$-estimateurs ne le seront que faiblement.

Pour en revenir à l’exemple de la section 2.3, nous allons vérifier que le $\rho$-estimateur sur le modèle associé à l’espace des paramètres $\Theta^{\prime}$ est l’estimateur du maximum de vraisemblance $\widetilde{\theta}=(X_{0},0)$. Donc que son risque quadratique est borné par 5.

En choisissant comme mesure de réference la mesure ${\boldsymbol{\mu}}$ ayant pour densité (par rapport à la mesure de Lebesgue sur ${\mathbb{R}}^{k+1}$) la fonction

[TABLE]

les lois du modèle statistique $\{{\mathbf{P}}_{\theta},\;\theta\in\Theta^{\prime}\}=\{{\mathbf{P}}_{(\theta_{0},0)},\;\theta_{0}\in{\mathbb{R}}\}$ ont pour densités respectives (par rapport à ${\boldsymbol{\mu}}$) ${\mathbf{p}}_{\theta_{0}}:(x_{0},x^{\prime})\mapsto\exp\left[{-x_{0}\theta_{0}+(\theta_{0}^{2}/2)}\right]$ de sorte que le $\rho$-estimateur $\widehat{\theta}_{0}$ du paramètre $\theta_{0}$, au vu de la seule observation ${\boldsymbol{X}}=(X_{0},\ldots,X_{k})$, ce qui correspond à $n=1$ dans (7), minimise l’application

[TABLE]

La fonction $\psi$ étant strictement croissante, le maximum, pour un $\theta_{0}$ fixé, est atteint lorsque $\theta^{\prime}_{0}=X_{0}$ (indépendamment de $\theta_{0}$) et le minimum en $\theta_{0}$ atteint au point $\widehat{\theta}_{0}=X_{0}$. Le $\rho$-estimateur du paramètre $\theta=(\theta_{0},\theta^{\prime})$ est donc l’estimateur du maximum de vraisemblance $\widetilde{\theta}$.

7 Extension

Afin de rendre cette présentation aussi simple que possible, nous nous sommes contentés jusqu’ici d’exposer la construction des $\rho$-estimateurs sur un seul modèle ${\mathscrbf{P}}$ mais, comme dans le cadre des T-estimateurs ou autres, il est possible de travailler avec une famille dénombrable $\{{\mathscrbf{P}}_{m},m\in{\mathcal{M}}\}$ de modèles simultanément en ajoutant à la statistique ${\mathbf{T}}$ une pénalité.

Comme précédemment, chaque modèle ${\mathscrbf{P}}_{m}$ est décrit par un ensemble ${\mathscrbf{Q}}_{m}$ de densités par rapport à ${\boldsymbol{\mu}}$, c’est-à-dire que ${\mathscrbf{P}}_{m}=\{{\mathbf{Q}}={\mathbf{q}}\cdot{\boldsymbol{\mu}},\,{\mathbf{q}}\in{\mathscrbf{Q}}_{m}\}$ pour tout $m$. En outre, ${\mathscrbf{P}}_{m}$ est affecté d’un poids $\exp[-\Delta(m)]$ avec

[TABLE]

de sorte que cette famille de poids peut être considérée comme une loi a priori sur l’ensemble des modèles. Pour simplifier la présentation et bien que ceci ne soit en aucun cas nécessaire, nous supposerons que tous nos modèles sont disjoints de sorte qu’à chaque loi ${\mathbf{Q}}\in{\mathscrbf{P}}=\bigcup_{m\in{\mathcal{M}}}{\mathscrbf{P}}_{m}$ correspond un unique $m$ tel que ${\mathbf{Q}}\in{\mathscrbf{P}}_{m}$. On associe alors à chaque ${\mathbf{Q}}\in{\mathscrbf{P}}$ une pénalité $\mathop{\rm pen}\nolimits({\mathbf{Q}})\geq 0$ telle que, pour tout $\overline{{\mathbf{P}}}\in{\mathscrbf{P}}$,

[TABLE]

où $\kappa$ est une constante numérique et $G({\mathbf{P}}^{\star},\cdot)$ une fonction sur ${\mathscrbf{P}}$. Notons que si l’on ne dispose que d’un seul modèle ${\mathscrbf{P}}_{0}$, c’est-à-dire si ${\mathcal{M}}=\{0\}$, on peut fixer $\Delta(0)=0=\mathop{\rm pen}\nolimits({\mathbf{Q}})$ pour tout ${\mathbf{Q}}\in{\mathscrbf{P}}_{0}$ et $G({\mathbf{P}}^{\star},\overline{\mathbf{P}})=\kappa D^{{\mathscrbf{P}}_{0}}_{n}({\mathbf{P}}^{\star},\overline{\mathbf{P}})$.

Dans la situation type où $D^{{\mathscrbf{P}}_{m}}_{n}({\mathbf{P}}^{\star},\overline{\mathbf{P}})=D_{n}({\mathscrbf{P}}_{m})$ ne dépend que du modèle ${\mathscrbf{P}}_{m}$, on peut prendre la fonction $G$ identiquement nulle et

[TABLE]

c’est-à-dire une pénalité constante sur chaque modèle.

Dans ce cadre, la définition des $\rho$-estimateurs doit être modifiée comme suit. L’on définit

[TABLE]

et un $\rho$-estimateur s’écrit $\widehat{{\mathbf{P}}}=\widehat{{\mathbf{p}}}\cdot{\boldsymbol{\mu}}$ avec $\widehat{{\mathbf{p}}}=\mathop{\rm argmin}_{{\mathbf{q}}\in{\mathscrbf{Q}}}\boldsymbol{\Upsilon}({\boldsymbol{X}},{\mathbf{q}})$. Tout $\rho$-estimateur $\widehat{{\mathbf{P}}}$ satisfait alors au résultat suivant.

Théorème 2**.**

Pour toute mesure-produit ${\mathbf{P}}^{\star}=\bigotimes_{i=1}^{n}P^{\star}_{i}$, toute probabilité $\overline{\mathbf{P}}\in{\mathscrbf{P}}$ et tout réel positif $\xi$,

[TABLE]

où $\overline{C}=\overline{C}(a_{0},a_{1},a_{2})\geq 1$ dépend uniquemement de $a_{0}$, $a_{1}$ et $a_{2}$.

Dans la suite, comme ici, nous désignerons par $\overline{C}$ des quantités qui peuvent dépendre de certains paramètres correspondant aux hypothèses que nous ferons, afin de les distinguer des constantes universelles notées $C$ ou $C^{\prime}$. Lorsque la fonction $G$ est nulle et la pénalité est donnée par (18), (20) devient

[TABLE]

et, après intégration par rapport à $\xi>0$,

[TABLE]

Notons que si l’on utilisait le seul modèle $m$, on déduirait de (13) que

[TABLE]

et l’inégalité (21) conduirait alors à un analogue de (13) avec un terme supplémentaire $\Delta(m)$. Si $\Delta(m)$ est au plus du même ordre de grandeur que $D_{n}({\mathscrbf{P}}_{m})$ pour tout $m\in{\mathcal{M}}$, on obtient l’exact analogue de (13) à la constante $\overline{C}$ près et la sélection de modèle ne coûte rien au sens où la borne de risque obtenue n’est jamais beaucoup plus grande que celle que l’on obtiendrait en faisant un choix a priori d’un modèle dans la famille. Cette borne est en fait du même ordre de grandeur que celle que l’on obtiendrait en utilisant seulement le “meilleur" modèle, c’est-à-dire celui qui minimise en $m$ la quantité $H^{2}({\mathbf{P}}^{\star},{\mathscrbf{P}}_{m})+D_{n}({\mathscrbf{P}}_{m})$ et optimise ainsi la borne (22).

8 Introduction aux propriétés des $\rho$-estimateurs

Considérons d’abord ici la situation d’un seul modèle ${\mathscrbf{P}}$ pour lequel la borne (12) est valide, c’est-à-dire que

[TABLE]

La quantité $D_{n}^{{\mathscrbf{P}}}({\mathbf{P}}^{\star},\overline{\mathbf{P}})$ dépend en théorie de la loi ${\mathbf{P}}^{\star}$ des observations mais dans toutes les situations que nous avons étudiées il est possible de la majorer par une quantité $D_{n}^{{\mathscrbf{P}}}(\overline{\mathbf{P}})$ qui ne dépend que du modèle ${\mathscrbf{P}}$ et de $\overline{\mathbf{P}}$. Dans ce cas, notre borne de risque devient

[TABLE]

Lorsque ${\mathbf{P}}^{\star}$ est un élément $\overline{\mathbf{P}}$ de ${\mathscrbf{P}}$ la borne devient

[TABLE]

D’après (23), si ${\mathbf{P}}^{\star}\neq\overline{{\mathbf{P}}}$, la borne ne se détériore pas plus que d’une quantité $CH^{2}({\mathbf{P}}^{\star},\overline{\mathbf{P}})$, ce qui signifie en particulier que la borne de risque reste stable (comme fonction de ${\mathbf{P}}^{\star}$) au voisinage de chaque point $\overline{\mathbf{P}}$ du modèle. Il s’agit là de la propriété fondamentale des $\rho$-estimateurs que nous allons à présent illustrer. Pour ce faire, il conviendra de bien distinguer la vraie loi ${\mathbf{P}}^{\star}$ des observations ${\boldsymbol{X}}$ du modèle statistique ${\mathscrbf{P}}$ que nous introduisons pour construire nos estimateurs. La seule hypothèse que nous faisons sur ${\mathbf{P}}^{\star}$ est que c’est une loi produit (qui n’appartient pas nécessairement au modèle). Le choix du modèle est fondé sur certaines hypothèses dont on espère seulement qu’elles ne sont pas trop erronées si l’on veut que ${\mathbf{P}}^{\star}$ ne soit pas trop loin de ${\mathscrbf{P}}$.

Tous les modèles statistiques que nous considérerons dans la suite supposent les observations i.i.d. (alors qu’elles ne le sont pas forcément). Cela revient à choisir un modèle statistique ${\mathscr{P}}$ pour la loi marginale des observations de sorte que

[TABLE]

Un $\rho$-estimateur s’écrit donc $\widehat{\mathbf{P}}=\widehat{P}^{\otimes n}$ avec $\widehat{P}\in{\mathscr{P}}$ alors que ${\mathbf{P}}^{\star}=\bigotimes_{i=1}^{n}P_{i}^{\star}$.

9 Robustesse

9.1 Robustesse à l’hypothèse d’équidistribution

Nous supposons ici qu’il existe une loi marginale $\overline{P}\in{\mathscr{P}}$ telle que $P_{i}^{\star}=\overline{P}$ pour tous les indices $i\in\{1,\ldots,n\}\setminus I$ où $I$ est un sous-ensemble de $\{1,\ldots,n\}$ et si $i\in I$, la loi $P_{i}^{\star}$ est arbitraire. Par exemple, si pour tout $i\in I$, $P_{i}^{\star}=\delta_{x_{i}}$ (mesure de Dirac au point $x_{i}$) où les $x_{i}$ sont des points arbitraires, cela signifie que notre supposé $n$-échantillon contient en fait $|I|$ valeurs atypiques (où $|I|$ désigne le cardinal de l’ensemble $I$). Nous pouvons alors écrire que

[TABLE]

et

[TABLE]

Il découle donc de (23) que

[TABLE]

1. a)

Lorsque $I=\varnothing$, c’est-à-dire lorsque les observations sont vraiment i.i.d. et que le modèle est exact, on obtient la borne $CD_{n}^{{\mathscrbf{P}}}(\overline{\mathbf{P}})/n$ comme attendu. 2. b)

Si les données ne sont pas exactement i.i.d., c’est-à-dire si $I\neq\varnothing$, mais que son cardinal n’est pas trop grand devant $D_{n}^{{\mathscrbf{P}}}(\overline{\mathbf{P}})\leq n$, nous obtenons une borne de risque du même ordre de grandeur que la précédente. En particulier, le risque de l’estimateur reste stable à un possible écart à l’hypothèse d’équidistribution et notamment à la présence de quelques valeurs atypiques.

9.2 Robustesse à la contamination

Supposons à présent que les données sont vraiment i.i.d. et qu’il existe une loi $\overline{P}\in{\mathscr{P}}$ et un nombre ${\varepsilon}\in[0,1]$ (typiquement petit) tels que

[TABLE]

où $Q$ est une loi arbitraire. Cela revient à supposer qu’une proportion $1-{\varepsilon}$ de l’échantillon est correctement modélisée par une loi $\overline{P}$ du modèle, qu’une proportion ${\varepsilon}$ est distribuée selon une loi $Q$ quelconque et que ce dernier échantillon vient contaminer le premier.

Comme $h^{2}(P,R)\leq\|P-R\|$ où $\|P-R\|$ désigne la distance en variation totale,

[TABLE]

de sorte que

[TABLE]

et (23) conduit alors à la borne de risque

[TABLE]

Cette borne reste donc stable à une contamination possible des données dans une proportion ${\varepsilon}$, tant que celle-ci n’est pas trop grande par rapport à $D_{n}^{{\mathscrbf{P}}}(\overline{\mathbf{P}})/n$.

10 Deux exemples

Nous allons à présent considérer deux types de modèles statistiques particuliers et étudier les propriétés des $\rho$-estimateurs pour chacun d’eux. Nous ne reviendrons plus dans la suite sur les propriétés de robustesse vues ci-dessus.

10.1 Modèles de densités sous contrainte de forme

Nous supposerons ici que les variables $X_{i}$ sont i.i.d.  de densité $s^{\star}$ par rapport à la mesure de Lebesgue $\lambda$ sur ${\mathbb{R}}$ de sorte que ${\mathbf{P}}^{\star}={\mathbf{P}}_{\!s^{\star}}=(s^{\star}\cdot\lambda)^{\otimes n}$ et

[TABLE]

Pour simplifier, nous noterons $h(s^{\star},s)$ pour $h(s^{\star}\cdot\lambda,s\cdot\lambda)$.

Le modèle statistique consiste à supposer que $s^{\star}$ appartient à une famille $S$ de densités définies par des propriétés qualitatives. Par exemple, $S$ est l’ensemble des densités décroissantes sur $[0,+\infty)$. Nous allons montrer comment on peut analyser les performances du $\rho$-estimateur de $s^{\star}$ sur ce type de modèles qui sont en général très gros (non-compacts pour la distance $H$) et pour lesquels il n’existe pas de vitesse d’estimation minimax.

Nous n’allons en fait pas traiter l’exemple typique des densités décroissantes sur $[0,+\infty)$ puisque, comme nous l’avons dit précédemment, Su Weijie a démontré que dans cette situation le $\rho$-estimateur coïncide exactement avec l’estimateur du maximum de vraisemblance, c’est-à-dire l’estimateur de Grenander, bien connu et très abondamment étudié — cf. par exemple Birgé (1989) et les références incluses dans cet article —.

Nous allons plutôt nous intéresser à un problème plus complexe en choisissant pour $S$ l’ensemble de toutes les densités qui sont monotones sur une demi-droite et nulles ailleurs. Cet ensemble contient les densités précédentes et plus généralement toutes les densités décroissantes sur un intervalle de la forme $[a,+\infty)$, mais aussi toutes celles qui sont croissantes sur un intervalle de la forme $(-\infty,a]$ ainsi que toutes les densités des lois uniformes sur un intervalle compact. L’ensemble $S$ est stable par translation et changement d’échelle. Notre modèle statistique est donc

[TABLE]

Bien que ce modèle soit très riche (il n’existe pas de vitesse minimax sur un tel ensemble), le $\rho$-estimateur $\widehat{\mathbf{P}}={\mathbf{P}}_{\widehat{s}}$ sur ${\mathscrbf{P}}$ n’est pas dégénéré, comme nous allons le voir, et nous allons pouvoir étudier ses propriétés à partir de l’inégalité (23).

Certains sous-ensembles de $S$ vont jouer un rôle tout à fait particulier dans l’analyse de $\widehat{s}$. Ce sont les suivants : pour $d\geq 1$, soit $S_{d}$ l’ensemble des densités de $S$ qui sont constantes sur une partition de ${\mathbb{R}}$ contenant au plus $d+2$ intervalles. Le “+2" correspond au fait qu’une densité constante par morceaux sur ${\mathbb{R}}$ est nécessairement nulle sur les deux intervalles non bornés de la partition ; l’entier $d$ est donc le nombre maximal d’intervalles sur lesquels $s$ est non nulle. Notons que les ensembles $(S_{d})_{d\geq 1}$ sont croissants pour l’inclusion, contiennent donc tous $S_{1}$ qui est l’ensemble des densités uniformes sur un intervalle, et qu’ils sont stables par translation et changement d’échelle. Ils ne sont, en particulier, pas compacts.

Le résultat suivant est démontré dans Baraud et Birgé (2016a):

Proposition 3**.**

Quelle que soit la densité $s\in S_{d}$,

[TABLE]

donc, en notant ${\mathbb{E}}_{s^{\star}}$ pour ${\mathbb{E}}_{{\mathbf{P}}^{\star}}$,

[TABLE]

On a ainsi obtenu une borne de risque uniforme sur chaque ensemble $S_{d}$, ce qui signifie que si $s^{\star}\in S_{d}$, $\widehat{s}$ converge vers $s^{\star}$ (dans le gros espace $S$) quand $n\rightarrow+\infty$ à vitesse (en termes de distance de Hellinger) presque paramétrique, c’est-à-dire en $1/\sqrt{n}$ au facteur logarithmique près. Notons que cette vitesse ne dépend que du nombre de morceaux $d$ et non de leur longueur : on estime donc aussi bien une densité sur $[0,1]$ qu’une densité sur $[0,10^{6}]$ ou sur $[0,10^{-6}]$, puisque l’espace $S_{d}$ est stable par changement d’échelle. La vitesse ne dépend pas davantage de la norme infinie de la densité $s^{\star}$. La vitesse est (probablement) approximativement minimax et le facteur $\log$ nécessaire (mais peut-être pas à cette puissance). En effet, il est connu que le risque minimax sur l’ensemble des densités sur $[0,1]$, constantes par morceaux avec $d$ morceaux est au moins $C(d/n)\log_{+}(n/d)$ — cf. Birgé et Massart (1998) — et il est peu probable que la contrainte de monotonie permette de supprimer le $\log$.

La propriété fondamentale de stabilité exprimée par (23) (en prenant $\overline{\mathbf{P}}={\mathbf{P}}_{\!s}$ avec $s\in S_{d}$) dit que

[TABLE]

Comme $d$ et $s$ dans $S_{d}$ sont arbitraires, on conclut que

[TABLE]

Donc, si $s^{\star}$ est proche d’une densité $s\in S_{d}$ pour un certain $d$, la borne de risque précédente est pratiquement la même que celle que l’on obtiendrait pour $s^{\star}=s\in S_{d}$.

Nous allons utiliser ce dernier résultat pour aller plus loin dans l’analyse des performances de $\widehat{s}$. Pour $M\geq 0$, soit $S(M)$ l’ensemble des densités $s$ de $S$ à support sur un intervalle compact $I_{s}$ (pouvant donc dépendre de $s$) et telles que

[TABLE]

L’ensemble $S(M)$ est encore stable par translation et changement d’échelle et contient toutes les lois uniformes (correspondant à $M=0$). On établit dans Baraud et Birgé (2016a) le résultat d’approximation suivant.

Proposition 4**.**

Pour tout $s\in S(M)$ et $d\geq 1$

[TABLE]

Il découle alors de (24) que, si $s^{\star}\in S(M)$,

[TABLE]

ce qui conduit à des bornes de risque de $\widehat{s}$ uniformes sur les sous-ensembles $S(M)\subset S$. Si $s^{\star}$ n’est pas dans $S(M)$ mais est proche d’un élément $s$ de $S(M)$ alors le risque en $s^{\star}$ est majoré par

[TABLE]

Comme $M$ et $s$ dans $S(M)$ et sont arbitraires, on en déduit que

[TABLE]

On peut poursuivre l’analyse de notre borne de risque pour les $\rho$-estimateurs si l’on a de l’information sur la manière dont les espaces $S(M)$ approximent la densité inconnue $s^{\star}$. Supposons, par exemple, que $s^{\star}(x)=\theta\exp\left[{-\theta x}\right]1\hskip-2.6pt{\rm l}_{{\mathbb{R}}_{+}}(x)$ pour un certain $\theta>0$, donc $s^{\star}\in S$. Pour tout $T>0$, on peut l’approximer par la densité

[TABLE]

Comme

[TABLE]

$\overline{s}_{T}\in S(\theta T)$. De plus,

[TABLE]

donc

[TABLE]

Il découle alors de (25) que, puisque $T$ est arbitraire, donc $M=\theta T$ également,

[TABLE]

En choisissant $M=(2/3)\log n$, on obtient finalement une borne de risque

[TABLE]

qui est indépendante de $\theta>0$, ce qui montre que $\widehat{s}$ converge à vitesse ${n^{-1/3}\log^{7/6}n}$ uniformément sur l’ensemble de toutes les lois exponentielles bien que l’estimateur n’ait pas été particulièrement conçu pour estimer de telles lois. Le résultat demeure valable pour les lois exponentielles translatées de densités $\theta\exp\left[{-\theta(x-a)}\right]1\hskip-2.6pt{\rm l}_{[a,+\infty)}(x)$ avec $a\in{\mathbb{R}}$.

La démarche précédente n’est pas spécifique à l’ensemble $S$ et l’on peut considérer d’autres exemples de familles de densités définies par des contraintes de forme et pour lesquelles les choses se passent à peu près de la même manière. On peut en particulier étudier — cf. Baraud et Birgé (2016a) — :

1. a)

l’ensemble des densités monotones sur chaque élément d’une partition de ${\mathbb{R}}$ en au plus $k$ intervalles; 2. b)

l’ensemble des densités dont la racine carrée est convexe ou concave sur chaque élément d’une partition de ${\mathbb{R}}$ en au plus $k$ intervalles; 3. c)

l’ensemble des densités qui sont log-concaves sur ${\mathbb{R}}$, c’est-à-dire de la forme $e^{g}1\hskip-2.6pt{\rm l}_{I}$ où $I$ est un intervalle de ${\mathbb{R}}$ et $g$ une fonction concave. Par exemple, les lois gaussiennes, expontielles, de Laplace ou uniformes sont log-concaves. Dans ce cas ce sont les densités de la forme $e^{g}1\hskip-2.6pt{\rm l}_{I}$ avec $g$ linéaire par morceaux qui vont jouer le rôle des fonctions constantes par morceaux de l’exemple précédent. En particulier, on peut montrer que le $\rho$-estimateur défini sur ce gros espace de densités va converger à vitesse paramétrique (à des facteurs logarithmiques près) vers toutes les lois uniformes, exponentielles, ou de Laplace (pour lesquelles $g$ est effectivement linéaire par morceaux).

10.2 Le modèle de régression à plan aléatoire

10.2.1 Estimation sur un modèle

Nous supposons ici que les observations $X_{i}$, $i\in\{1,\ldots,n\}$ sont indépendantes et de la forme $(W_{i},Y_{i})\in{\mathscr{W}}\times{\mathbb{R}}$ et que notre modèle statistique est défini sur la base des hypothèses suivantes :

1. (i)

les $W_{i}$ sont i.i.d. de loi $P_{W}$ inconnue; 2. (ii)

il existe une fonction $f^{\star}$ dans un espace vectoriel ${\mathscr{F}}$ de dimension $d$ telle que

[TABLE]

et les v.a.r. ${\varepsilon}_{i}$ sont i.i.d. de densité unimodale $q$ par rapport à la mesure de Lebesgue $\lambda$ sur ${\mathbb{R}}$.

Ceci signifie que le modèle que l’on va utiliser pour estimer la loi ${\mathbf{P}}^{\star}$ de ${\boldsymbol{X}}$ est de la forme ${\mathscrbf{P}}=\{{\mathbf{P}}_{\!f}=P_{f}^{\otimes n},\ f\in{\mathscr{F}}\}$ avec, pour tout $f\in{\mathscr{F}}$,

[TABLE]

Comme le critère permettant de calculer le $\rho$-estimateur $\widehat{\mathbf{P}}=P_{\widehat{f}}^{\otimes n}$ ne dépend que des rapports $q_{f}/q_{f^{\prime}}$ pour $f,f^{\prime}\in{\mathscr{F}}$, il n’est pas nécessaire de connaitre la loi $P_{W}$ des $W_{i}$ pour le calculer.

Sous l’hypothèse que $q$ est unimodale et que ${\mathscr{F}}$ un espace vectoriel de dimension $d\leq n$, on peut montrer que

[TABLE]

On peut même remplacer l’hypothèse “unimodale" par “$k$-modale" (qui a au plus $k$ modes) et ${\mathscr{F}}$ par une classe de fonctions VC-subgraph d’indice $d\geq 1$ et obtenir la même inégalité avec une constante $\overline{C}$ dépendant alors de $k$.

Dans cette situation, il découle de (23) que

[TABLE]

Pour analyser cette inégalité, notamment ce qu’elle dit de l’estimation d’une fonction de régression, et la comparer aux résultats habituels, il convient de supposer que le modèle de régression (26) est exact à ceci près que $f^{\star}$ n’appartient pas nécessairement à ${\mathscr{F}}$ et que les ${\varepsilon}_{i}$ n’ont pas nécessairement la densité $q$ mais une densité $p$, ce qui revient à dire que, pour tout $i\in\{1,\ldots,n\}$,

[TABLE]

Pour relier aisément la distance $H$ à une distance entre les fonctions de régression nous ferons maintenant l’hypothèse que $f^{\star}$ ainsi que tous les éléments de ${\mathscr{F}}$ sont bornés par une constante $B$ et que la densité $q$ est telle que

[TABLE]

c’est-à-dire que le carré de la distance de Hellinger entre les densités $q$ et $q(\cdot-u)$ est équivalent à $A|u|^{r}$ lorsque $u\rightarrow 0$. On sait que si le modèle de translation associé à $q$ est régulier (densités gaussienne, de Cauchy, de Laplace, etc.) alors $r=2$ et que $r=1$ si $q$ est la densité uniforme sur un intervalle. Dans ces conditions, on peut montrer que, pour tout $f\in{\mathscr{F}}$,

[TABLE]

avec des quantités $\underline{c}$ et $\overline{c}$ dépendant de nos hypothèses et

[TABLE]

Comme les paires $(f,q)$ et $(f^{\star},p)$ jouent des rôles symétriques pour le calcul de $H^{2}\left({\mathbf{P}}^{\star},{\mathbf{P}}_{\!f}\right)$, (28) demeure vraie si, pour un $r\in(0,2]$,

[TABLE]

Théorème 3**.**

Si la relation (28) est satisfaite, alors

[TABLE]

Ce résultat appelle quelques remarques:

1. a)

il ne suppose rien sur la loi $P_{W}$ des $W_{i}$; 2. b)

il ne suppose rien non plus sur l’intégrabilité des erreurs et l’on peut parfaitement prendre par exemple la loi de Cauchy pour modéliser la loi des $\varepsilon_{i}$, de même que la vraie densité $p$ des erreurs peut être la loi de Cauchy; 3. c)

les termes $\inf_{f\in{\mathscr{F}}}\left\|{f^{\star}-f}\right\|_{r}^{r}$ et $h^{2}(p,q)$ montrent que la borne reste stable à une possible erreur de spécification du modèle.

Pour analyser la borne de risque fournie par le Théorème 3, nous allons supposer que $p=q$, $f^{\star}\in{\mathscr{F}}$ (c’est-à-dire que notre modèle est exact) et que ${\mathscr{F}}$ est une partie d’un sous-espace vectoriel $\overline{{\mathscr{F}}}$ de dimension $d$ engendré par les fonctions $\varphi_{1},\ldots,\varphi_{d}$ de sorte que

[TABLE]

Dans ce cas, en vertu de (30),

[TABLE]

Donc, par l’inégalité de Markov, avec une probabilité proche de 1,

[TABLE]

et, comme sur l’espace vectoriel $\overline{{\mathscr{F}}}$ toutes les normes sont équivalentes, cette relation implique que, avec une probabilité proche de 1,

[TABLE]

où la quantité $\overline{C}$ dépend aussi de $d$. Si $r=2$ on retrouve une vitesse de convergence paramétrique classique en $1/\sqrt{n}$ (au facteur logarithmique près) mais la vitesse de convergence est plus rapide si $r<2$. Par exemple, dans le cas d’erreurs de loi uniforme pour lequel $r=1$, le $\rho$-estimateur converge à vitesse $1/n$ (au facteur $\log$ près) quand l’estimateur des moindres carrés ordinaire converge lui à vitesse $1/\sqrt{n}$. Si la densité des erreurs n’est pas bornée, $r<1$ et la convergence est encore plus rapide.

Nous insisterons ici sur le fait que les hypothèses que nous avons utilisées pour obtenir la borne générale (27) sont extrêmement faibles : aucune pour la loi $P_{W}$ ni la structure de l’espace vectoriel ${\mathscrbf{F}}$ et une simple hypothèse d’unimodalité sur la densité des erreurs $\varepsilon_{i}$ (que l’on peut d’ailleurs remplacer par une borne sur le nombre de modes de cette densité). Ceci contraste avec les hypothèses que l’on rencontre d’ordinaire pour traiter ce problème, en particulier pour contrôler le risque des estimateurs des moindres carrés. En contrepartie, on peut regretter la présence du facteur logarithmique dans nos bornes de risque puisque, dans certaines situations, on obtient, mais au prix d’hypothèses nettement plus fortes, des vitesses analogues sans le facteur logarithmique. En contrepartie, notre estimateur est robuste et ses performances ne seront que légèrement affectées par un petit nombre (petit devant $n$) d’observations $(W_{i},Y_{i})$ aberrantes. A contrario, une seule paire $(W_{i},Y_{i})$ suffisamment «  exotique   » peut complètement dérégler le comportement des estimateurs des moindres carrés.

10.2.2 Plusieurs modèles

Il est évidemment assez restrictif de ne travailler qu’avec une seule densité $q$ et un seul modèle ${\mathscr{F}}$ mais, comme indiqué à la section 7, nous pouvons en fait utiliser plusieurs modèles simultanément de manière à faire varier la densité $q$ ainsi que l’espace ${\mathscr{F}}$. Nous pouvons considérer des $\rho$-estimateurs construits à partir de familles dénombrables de densités $q$ pour modéliser $p$ et plusieurs familles d’espaces fonctionnels ${\mathscr{F}}$ pour modéliser $f^{\star}$. Nous pouvons, par exemple, utiliser une famille $\{{\mathscr{F}}_{d},d\in{\mathbb{N}}\setminus\{0\}\}$ où ${\mathscr{F}}_{d}$ est un sous-ensemble d’un espace vectoriel $\overline{{\mathscr{F}}}_{\!d}$ de dimension $d$ ainsi qu’une famille dénombrable $\{q_{k},k\in{\mathcal{K}}\subset{\mathbb{N}}\}$ de densités, ce qui fournit une famille de modèles de la forme $({\mathscr{F}}_{d},q_{k})$ indexés par $(d,k)$, un tel modèle correspondant à l’hypothèse (a priori inexacte) que

[TABLE]

Dans ce cadre, un $\rho$-estimateur aura la forme ${\mathbf{P}}_{\!(\widehat{f},\widehat{q})}$ avec $\widehat{f}\in\bigcup_{d\geq 1}{\mathscr{F}}_{d}$ et $\widehat{q}=q_{\widehat{k}}$, $\widehat{k}\in{\mathbb{N}}$. Comme nous l’avons vu, pour un modèle $({\mathscr{F}}_{d},q_{k})$,

[TABLE]

Soit alors une suite $(a_{k})_{k\in{\mathcal{K}}}$ de nombres positifs tels que $\sum_{k\in{\mathcal{K}}}e^{-a_{k}}=e-1$. Si nous fixons $\Delta(d,k)=d+a_{k}$, nous trouvons que

[TABLE]

Nous pouvons donc fixer la pénalité de la manière suivante :

[TABLE]

Un $\rho$-estimateur $(\widehat{f},\widehat{q})$ construit sur une telle famille de modèles aura alors un risque borné par

[TABLE]

Notons que, si $f^{\star}$ et tous les éléments de $\bigcup_{d\geq 1}{\mathscr{F}}_{d}$ sont uniforméments bornés par $B$ et si la densité $p$ vérifie la condition (29), les inégalités (28) seront satisfaites pour tout $f\in\bigcup_{d\geq 1}{\mathscr{F}}_{d}$, ce qui conduira à une borne de risque de la forme

[TABLE]

11 Conclusion

L’intérêt principal des $\rho$-estimateurs réside dans leur robustesse, comme le montre la borne (12), ce qui permet de travailler systématiquement avec des modèles approchés et de se protéger contre la présence éventuelle d’observations atypiques. Cette robustesse permet également de remplacer un modèle complexe par un ou plusieurs modèles plus simples de manière à optimiser le compromis entre l’erreur d’approximation et l’erreur d’estimation liée à la complexité du modèle sur lequel l’estimateur est construitet d’atteindre ainsi la vitesse optimale d’estimation (éventuellement à un facteur logarithmique près). De plus le $\rho$-estimateur s’appuie sur des modèles de probabilités et ses performances ne dépendent ni de la mesure dominante ni du choix des densités.

Comme nous l’avons vu dans la section 2, toutes ces qualités ne sont pas partagées par l’estimateur du maximum de vraisemblance ou l’estimateur des moindres carrés en régression. En revanche le $\rho$-estimateur, qui coïncide (asymptotiquement ou non) avec l’estimateur du maximum de vraisemblance dans un certain nombre de situations, bénéficie alors de ses propriétés d’optimalité.

Dans la section 2.5, nous avons mis en évidence un problème lié à l’utilisation du maximum de vraisemblance sur un modèle approché, nous allons voir à présent, en guise de conclusion, ce qui se passe si l’on remplace le maximum de vraisemblance par un $\rho$-estimateur construit sur ce même modèle approché.

Retour sur l’exemple de la section 2.5.

Nous avons vu que la méthode du maximum de vraisemblance sur le modèle approchant ${\mathscr{P}}_{0}$ ne fournissait, avec une probabilité proche de un, aucune estimation de $\theta$. Une question naturelle est de savoir ce qui se passe si nous utilisons un $\rho$-estimateur et quelles sont alors ses performances. Si l’on note $p_{\theta}$ la densité $1\hskip-2.6pt{\rm l}_{[\theta,\theta+1]}(x)$ de la loi uniforme sur $[\theta,\theta+1]$, le $\rho$-estimateur $\widehat{\theta}_{n}$ de $\theta$ minimise sur ${\mathbb{R}}$ l’application

[TABLE]

avec $\psi(1/0)=\psi(+\infty)=1=-\psi(0)$ et $\psi(1)=0$. Or, pour tout $\theta,\theta^{\prime}\in{\mathbb{R}}$ et $x\in{\mathbb{R}}$,

[TABLE]

donc $\psi\left({\sqrt{p_{\theta^{\prime}}(x)/p_{\theta}(x)}}\right)=1\hskip-2.6pt{\rm l}_{[\theta^{\prime},\theta^{\prime}+1]}(x)-1\hskip-2.6pt{\rm l}_{[\theta,\theta+1]}(x)$ et

[TABLE]

Alors

[TABLE]

et un $\rho$-estimateur $\widehat{\theta}_{n}$ est n’importe quel élément maximisant l’application

[TABLE]

En d’autres termes, calculer un $\rho$-estimateur revient à rechercher un paramètre $\theta$ maximisant le nombre de données $X_{i}$ tombant dans l’intervalle $[\theta,\theta+1]$ quand l’e.m.v. recherche un paramètre $\theta$ pour lequel toutes les données $X_{1},\ldots,X_{n}$ appartiennent à $[\theta,\theta+1]$. Mais un tel paramètre n’existe pas dès que l’on observe une valeur aberrante.

Étudions à présent les performances de $\widehat{\theta}_{n}$. Soit $\theta_{0}\in{\mathbb{R}}$ et $\alpha\in[0,{\varepsilon}]$ avec ${\varepsilon}<1/2$ les vraies valeurs des paramètres de la loi de l’observation ${\boldsymbol{X}}=(X_{1},\ldots,X_{n})$. Notre objectif est d’évaluer la probabilité

[TABLE]

Notons que sous $P_{\alpha,\theta_{0}}$, la loi jointe des variables $X_{i}-\theta_{0}$ est indépendante de $\theta_{0}$ et la valeur d’un $\rho$-estimateur $\widehat{\theta}_{n}=\widehat{\theta}_{n}(X_{1},\ldots,X_{n})$ construit à partir des observations $X_{1},\ldots,X_{n}$ s’écrit sous la forme $\theta_{0}+\widetilde{\theta}_{n}$ où $\widetilde{\theta}_{n}$ est un $\rho$-estimateur construit à partir des observations $X_{1}-\theta_{0},\ldots,X_{n}-\theta_{0}$ de sorte qu’il nous suffit d’étudier le cas $\theta_{0}=0$.

Sous $P_{\alpha,0}$, le nombre $N_{n}$ de $X_{i}$ appartenant à l’intervalle $[0,1]$ suit une loi binomiale de paramètres $n$ et $1-\alpha$ et deux situations peuvent alors se produire: soit $N_{n}\leq n/2$, ce qui arrive avec une probabilité

[TABLE]

d’après l’inégalité de Hoeffding, soit $N_{n}>n/2$ auquel cas un $\rho$-estimateur $\widehat{\theta}_{n}$ est un point arbitraire de $[X_{(n)}-1,X_{(1)}]$ où $X_{(1)}=\min_{i=1,\ldots,n}X_{i}$ et $X_{(n)}$ est le plus grand des $X_{i}$ appartenant à l’intervalle $[0,1]$. Sur l’évènement $\{N_{n}>n/2\}$, $X_{(n)}=\max_{i=1,\ldots,n}X_{i}1\hskip-2.6pt{\rm l}_{X_{i}\in[0,1]}$. Par des calculs classiques,

[TABLE]

et

[TABLE]

Ainsi, pour tout $\rho$-estimateur $\widehat{\theta}_{n}$,

[TABLE]

Ce résultat montre que pour toute loi $P_{\alpha,\theta_{0}}\in{\mathscr{P}}_{{\varepsilon}}$, le $\rho$-estimateur de $\theta$ construit sur le sous-modèle ${\mathscr{P}}_{0}$ converge à la vitesse $1/n$ dès que ${\varepsilon}<1/2$ alors même que, si $\alpha$ n’est pas nul, la distance de Hellinger entre la vraie loi $P_{\alpha,\theta_{0}}$ et le modèle ${\mathscr{P}}_{0}$ est strictement positive et indépendante de $n$. En plus d’illustrer la robustesse du $\rho$-estimateur, cet exemple montre qu’une inégalité telle que (15) sur le risque du $\rho$-estimateur en distance de Hellinger peut s’avérer pessimiste dans des cadres paramétriques pour lesquels notre objectif n’est pas d’estimer la loi de l’observation mais simplement son paramètre pour la perte euclidienne usuelle.

Références

• BAHADUR, (1958)

Bahadur, R. (1958).

Examples of inconsistency of maximum likelihood estimates.

Sankhya Ser.A, 20:207–210.

• Baraud, (2011)

Baraud, Y. (2011).

Estimator selection with respect to Hellinger-type risks.

Probab. Theory Related Fields, 151(1-2):353–401.

• (3)

Baraud, Y. and Birgé, L. (2016a).

Rho-estimators for shape restricted density estimation.

Stochastic Process. Appl., 126(12):3888–3912.

• (4)

Baraud, Y. and Birgé, L. (2016b).

Rho-estimators revisited: General theory and applications.

Technical report, http://arxiv.org/abs/1605.05051.

• Baraud et al., (2017)

Baraud, Y., Birgé, L., and Sart, M. (2017).

A new method for estimation and model selection:$\rho$-estimation.

Invent. Math., 207(2):425–517.

• Birgé, (1983)

Birgé, L. (1983).

Approximation dans les espaces métriques et théorie de l’estimation.

Z. Wahrsch. Verw. Gebiete, 65(2):181–237.

• Birgé, (1989)

Birgé, L. (1989).

The Grenander estimator: a nonasymptotic approach.

Ann. Statist., 17(4):1532–1549.

• Birgé, (2006)

Birgé, L. (2006).

Model selection via testing: an alternative to (penalized) maximum likelihood estimators.

Ann. Inst. H. Poincaré Probab. Statist., 42(3):273–325.

• Birgé and Massart, (1998)

Birgé, L. and Massart, P. (1998).

Minimum contrast estimators on sieves: exponential bounds and rates of convergence.

Bernoulli, 4(3):329–375.

• Huber, (1981)

Huber, P. J. (1981).

Robust Statistics.

John Wiley & Sons, Inc., New York.

Wiley Series in Probability and Mathematical Statistics.

• Le Cam, (1973)

Le Cam, L. (1973).

Convergence of estimates under dimensionality restrictions.

Ann. Statist., 1:38–53.

• Le Cam, (1975)

Le Cam, L. (1975).

On local and global properties in the theory of asymptotic normality of experiments.

In Stochastic processes and related topics (Proc. Summer Res. Inst. Statist. Inference for Stochastic Processes, Indiana Univ., Bloomington, Ind., 1974, Vol. 1; dedicated to Jerzy Neyman), pages 13–54. Academic Press, New York.

• Le Cam, (1990)

Le Cam, L. (1990).

Maximum likelihood: An introduction.

Inter. Statist. Review, 58(2):153–171.

• van der Vaart, (1998)

van der Vaart, A. W. (1998).

Asymptotic statistics, volume 3 of Cambridge Series in Statistical and Probabilistic Mathematics.

Cambridge University Press, Cambridge.