Cross-validation

TL;DR

This survey comprehensively reviews classical cross-validation procedures, analyzing their properties for risk estimation and estimator selection, providing guidelines for choosing the best method based on bias, variance, and overpenalization considerations.

Contribution

It offers a detailed theoretical analysis of cross-validation methods, including bias, variance, and second-order effects, to guide their effective application in model evaluation.

Findings

Bias and variance of cross-validation methods are quantified.

Second-order effects and overpenalization are analyzed for estimator selection.

Guidelines are provided for choosing appropriate cross-validation procedures.

Abstract

This text is a survey on cross-validation. We define all classical cross-validation procedures, and we study their properties for two different goals: estimating the risk of a given estimator, and selecting the best estimator among a given family. For the risk estimation problem, we compute the bias (which can also be corrected) and the variance of cross-validation methods. For estimator selection, we first provide a first-order analysis (based on expectations). Then, we explain how to take into account second-order terms (from variance computations, and by taking into account the usefulness of overpenalization). This allows, in the end, to provide some guidelines for choosing the best cross-validation method for a given learning problem.

Figures

Equations

$$\widehat{m}\in\mathop{\operatorname{argmin}}_{m\in\mathcal{M}_{n}}\bigl{\{}\operatorname{crit}(m;D_{n})\bigr{\}}\,.$$

$$D_n^E:=(X_i,Y_i{)}_{i\in E}\text{et}{D}_n^{E^c}:=(X_i,Y_i{)}_{i\in \{1,\dots ,n\}\backslash E}.$$

$$\widehat{\mathcal{R}}_{n}^{E}:f\in\mathcal{F}\mapsto\frac{1}{\operatorname{Card}(E)}\sum_{i\in E}c\bigl{(}f(X_{i}),Y_{i}\bigr{)}\,.$$

$${\hat{\mathcal{R}}}^{\mathrm{val}}({\hat{f}}_m;D_n;E)$$

$$\displaystyle=\frac{1}{\operatorname{Card}(E^{c})}\sum_{i\in E^{c}}c\bigl{(}\widehat{f}_{m}(D_{n}^{E};X_{i}),Y_{i}\bigr{)}\,.$$

$$\displaystyle\widehat{\mathcal{R}}^{\mathrm{vc}}\bigl{(}\widehat{f}_{m};D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}=\frac{1}{V}\sum_{j=1}^{V}\widehat{\mathcal{R}}^{\mathrm{val}}(\widehat{f}_{m};D_{n};E_{j})\,.$$

$$\widehat{m}^{\mathrm{vc}}\bigl{(}D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}\in\mathop{\operatorname{argmin}}_{m\in\mathcal{M}_{n}}\Bigl{\{}\widehat{\mathcal{R}}^{\mathrm{vc}}\bigl{(}\widehat{f}_{m};D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}\Bigr{\}}\,.$$

$$\widehat{\mathcal{R}}^{\mathrm{vc}}\bigl{(}\widehat{f}_{m};D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}$$

$$\widehat{\mathcal{R}}^{\mathrm{vc}}\bigl{(}\widetilde{f};D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}\,.$$

$$\widehat{\mathcal{R}}^{\mathrm{vc}}\bigl{(}\widehat{f}_{\widehat{m}^{\mathrm{vc}}(D_{n};(E_{j})_{1\leqslant j\leqslant V})};D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}=\min_{m\in\mathcal{M}_{n}}\widehat{\mathcal{R}}^{\mathrm{vc}}\bigl{(}\widehat{f}_{m};D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}\,,$$

$${\tilde{f}}^{\mathrm{vc}}:D_n\mapsto {\hat{f}}_{{\hat{m}}^{\mathrm{vc}}(D_n;(E_{j,n}{)}_{1⩽j⩽V_n})}$$

$$\widehat{\mathcal{R}}^{\mathrm{vc}}\bigl{(}\widetilde{f}^{\mathrm{vc}};D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}\,.$$

$$\forall n\geqslant 1,\qquad\mathcal{R}_{P}(f)=\mathbb{E}\bigl{[}\mathcal{E}(f;D_{n})\bigr{]}$$

$$\widehat{\mathcal{R}}^{\mathrm{val}}(\widehat{f}_{m};D_{n};E):=\mathcal{E}\Bigl{(}\widehat{f}_{m}\bigl{(}D_{n}^{E^{c}}\bigr{)};D_{n}^{E^{c}}\Bigr{)}$$

$$\mathcal{E}\bigl{(}f;(X_{i},Y_{i})_{1\leqslant i\leqslant n}\bigr{)}=\frac{1}{n}\sum_{i=1}^{n}c\bigl{(}f(X_{i}),Y_{i}\bigr{)}=\widehat{\mathcal{R}}_{n}(f)\,.$$

$$\mathcal{E}\bigl{(}f;(X_{i})_{1\leqslant i\leqslant n}\bigr{)}=\lVert f\rVert^{2}_{L^{2}}-\frac{2}{n}\sum_{i=1}^{n}f(X_{i})\,.$$

$$\mathcal{E}\bigl{(}f;(X_{i})_{1\leqslant i\leqslant n}\bigr{)}=-\frac{1}{n}\sum_{i=1}^{n}\ln\bigl{(}f(X_{i})\bigr{)}\,,$$

$$(E_j{)}_{1⩽j⩽V}\text{ est indeˊpendante de }{D}_n$$

$$\mathrm{Card}(E_1)=\mathrm{Card}(E_2)=\cdots =\mathrm{Card}(E_V)=n_e\in \{1,\dots ,n-1\}.$$

$${\hat{\mathcal{R}}}^{\mathrm{loo}}({\hat{f}}_m;D_n):=$$

$$=$$

$${\hat{\mathcal{R}}}^{\mathrm{lpo}}({\hat{f}}_m;D_n;p):=$$

$$\displaystyle\widehat{\mathcal{R}}^{\mathrm{vf}}\bigl{(}\widehat{f}_{m};D_{n};(B_{j})_{1\leqslant j\leqslant V}\bigr{)}:=$$

$$=$$

$$\bigl{\{}(B_{j}^{\ell})^{c}\,/\,j\in\{1,\ldots,V\}\text{ et }\ell\in\{1,\ldots,L\}\bigr{\}}\,.$$

$$\widehat{\mathcal{R}}^{\mathrm{vc}}\bigl{(}\widehat{f}_{m};D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}=\frac{1}{V}\sum_{j=1}^{V}\widehat{\mathcal{R}}_{n}^{E_{j}^{c}}\bigl{(}\widehat{f}_{m}(D_{n}^{E_{j}})\bigr{)}$$

$$\displaystyle\widehat{\mathcal{R}}^{\mathrm{loo}}\bigl{(}\widehat{f}_{m};(x_{i},y_{i})_{1\leqslant i\leqslant n}\bigr{)}$$

$$\displaystyle=\frac{1}{n}\sum_{i=1}^{n}\frac{\bigl{(}y_{i}-(\mathbf{H}\mathbf{y})_{i}\bigr{)}^{2}}{1-\mathbf{H}_{i,i}}$$

$$\text{ouˋ}\mathbf{H}$$

$$\mathrm{GCV}({\hat{f}}_m;D_n)=\frac{\Vert \mathbf{y}-\mathbf{Hy}{\Vert }^2}{n-\mathrm{trace}(\mathbf{H})}.$$

$$\text{ouˋ}{\mathbf{X}}_{(E_j^c)}=(x_{i,k}{)}_{1⩽i⩽n,k\in E_j^c}.$$

$$\widehat{\mathcal{R}}^{\mathrm{vc}}\bigl{(}\widehat{f}_{m};D_{n};(E_{j})_{1\leqslant j\leqslant V}\bigr{)}$$

$$\widehat{m}_{j}\in\mathop{\operatorname{argmin}}_{m\in\mathcal{M}_{n}}\bigl{\{}\widehat{\mathcal{R}}^{\mathrm{val}}(\widehat{f}_{m};D_{n};E_{j})\bigr{\}}\,.$$

Full text

1. 1 Sélection d’estimateurs

2. 2 Définition

3. 2.1 Cas général

4. 2.2 Exemples

5. 2.3 Astuces algorithmiques

6. 2.4 Variantes

7. 3 Estimation du risque : biais et variance

8. 3.1 Biais

9. 3.2 Correction du biais

10. 3.3 Variance

11. 3.3.1 Inégalité générale

12. 3.3.2 Validation croisée Monte-Carlo

13. 3.3.3 Quantification précise dans un cadre particulier

14. 4 Propriétés pour la sélection d’estimateurs

15. 4.1 Différence entre sélection d’estimateurs et estimation du risque

16. 4.1.1 Rôle des incréments

17. 4.1.2 Surpénalisation

18. 4.2 Analyse au premier ordre : espérance

19. 4.3 Analyse au deuxième ordre : variance

20. 4.4 Analyse au deuxième ordre : surpénalisation

21. 5 Conclusion

22. 5.1 Choix d’une procédure de validation croisée

23. 5.2 Validation croisée ou procédure spécifique ?

24. 5.3 Limites de l’universalité

25. 6 Annexe : exercices

Ce texte aborde deux problèmes fondamentaux qui se posent en apprentissage supervisé.

D’une part, une fois que l’on a entraîné une règle d’apprentissage $\widehat{f}$ sur un jeu de données $D_{n}$, on dispose d’un prédicteur $\widehat{f}(D_{n})$ mais d’aucune information sur sa qualité. Il est nécessairement imparfait, mais à quel point ? Avant de s’appuyer sur les prévisions qu’il fournit, il est indispensable d’évaluer son risque.

D’autre part, il est extrêmement rare que l’on ne puisse utiliser qu’une règle d’apprentissage pour un problème donné. Chaque méthode dépend en général d’un ou plusieurs paramètres (un modèle sous-jacent, un niveau de régularisation, un nombre de plus proches voisins, etc.) dont le choix impacte fortement le risque du prédicteur final. Et bien souvent, on dispose de nombreuses méthodes pour un problème donné (par exemple, en classification on peut hésiter entre des partitions cubiques, les $k$ plus proches voisins, les SVM et les forêts aléatoires). Comment choisir la meilleur méthode et ses paramètres ?

La validation croisée fournit une réponse à ces deux questions, dans un cadre très général111La validation croisée ne s’applique malheureusement pas systématiquement, voir la parenthèse 1 en section 2.1. . Ce texte vise à définir cette famille de procédures et à donner les principaux éléments de compréhension disponibles à ce jour à son sujet. Nous donnons volontairement peu de références bibliographiques ; une bibliographie complète se trouve dans l’article de survol de Arlot et Celisse (2010) et l’article récent de Arlot et Lerasle (2016).

1 Sélection d’estimateurs

Ce texte se place dans le cadre général de la prévision, tel que présenté par Arlot (2017), dont on utilise les notations et auquel on fait régulièrement référence par la suite.

On peut alors formaliser le problème de sélection d’estimateurs222Compte-tenu de la terminologie introduite par Arlot (2017), il serait plus logique de parler de sélection de règles d’apprentissage. Nous utilisons néanmoins ici l’expression «  sélection d’estimateurs  », plus courante et plus concise. comme suit.

On dispose d’une collection de règles d’apprentissage $(\widehat{f}_{m})_{m\in\mathcal{M}_{n}}$ et d’un échantillon $D_{n}$. On souhaite pouvoir choisir l’une de ces règles $\widehat{f}_{\widehat{m}}$ à l’aide des données uniquement. Cette question générale recouvre de nombreux exemples :

• —

sélection de modèles : pour tout $m\in\mathcal{M}_{n}$, $\widehat{f}_{m}$ est une règle par minimisation du risque empirique sur un modèle $S_{m}$.

• —

choix d’un hyperparamètre : $m$ désigne alors un ou plusieurs paramètres réels dont dépend la règle $\widehat{f}_{m}$ (par exemple, le nombre de voisins $k$ pour les $k$ plus proches voisins, ou bien le paramètre de régularisation $\lambda$ pour les SVM).

• —

choix entre des méthodes de natures diverses (par exemple, entre les $k$ plus proches voisins, les SVM et les forêts aléatoires).

Les enjeux du problème et approches pour le résoudre sont essentiellement les mêmes que pour le problème de sélection de modèles, que Arlot (2017, section 3.9) décrit en détail. Nous n’en rappelons donc ici que les grandes lignes.

Tout d’abord, il faut préciser l’objectif (prévision ou identification de la «  meilleure  » règle $\widehat{f}_{m}$). Ce texte se focalise sur l’objectif de prévision : on veut minimiser le risque de l’estimateur final $\widehat{f}_{\widehat{m}(D_{n})}(D_{n})$ — entraîné sur l’ensemble des données, celles-là mêmes qui ont servi à choisir $\widehat{m}(D_{n})$.

Atteindre un tel objectif nécessite d’éviter deux défauts principaux : le surapprentissage (lorsqu’un prédicteur «  colle  » excessivement aux observations, ce qui l’empêche de généraliser correctement) et le sous-apprentissage (quand un prédicteur «  lisse  » trop les observations et devient incapable de reproduire les variations du prédicteur de Bayes). Il s’agit donc de trouver le meilleur compromis entre ces deux extrêmes. Dans de nombreux cas333Par exemple, pour des estimateurs linéraires en régression, des règles par minimisation du risque empirique ou des règles par moyennes locales. , ceci se formalise sous la forme d’un compromis biais-variance ou approximation-estimation.

Comment faire ? Comme pour la sélection de modèles, on considère habituellement des procédures de la forme :

[TABLE]

On peut les analyser avec le lemme fondamental de l’apprentissage (Arlot, 2017, lemme 2). Deux stratégies principales sont possibles : choisir un critère $\operatorname{crit}(m;D_{n})$ proche du risque $\mathcal{R}_{P}(\widehat{f}_{m}(D_{n}))$ simultanément pour tous les $m\in\mathcal{M}_{n}$, ou bien choisir un critère qui majore le risque. La validation croisée suit la première stratégie. Alors, au vu du raisonnement exposé par Arlot (2017, section 3.9), il suffit444Il n’y a cependant pas équivalence, voir la section 4. de démontrer que $\operatorname{crit}(m;D_{n})$ est un bon estimateur du risque555En toute rigueur, il faut parler d’estimation du risque moyen, le risque étant une quantité aléatoire. Par abus de langage, on parle dans ce texte d’estimation (et d’estimateurs) du risque de $\widehat{f}_{m}$, et du biais et de la variance de ces estimateurs. À chaque fois, il est sous-entendu que c’est le risque moyen qu’on estime, même si c’est le risque que l’on souhaite évaluer aussi précisément que possible. de $\widehat{f}_{m}(D_{n})$ pour en déduire que la procédure définie par (1) fonctionne bien.

C’est pourquoi, après avoir défini les procédures de validation croisée (section 2), nous commençons par étudier leurs propriétés pour l’estimation du risque d’une règle d’apprentissage fixée (section 3), avant d’aborder la sélection d’estimateurs (section 4). En guise de conclusion, la section 5 considère plusieurs questions pratiques importantes, dont celle du choix de la meilleure procédure de validation croisée.

2 Définition

Étant donné une règle d’apprentissage $\widehat{f}_{m}$, un échantillon $D_{n}$ et une fonction de coût $c$, la validation croisée estime le risque $\mathcal{R}_{P}(\widehat{f}_{m}(D_{n}))$ en se fondant sur le principe suivant : on découpe l’échantillon $D_{n}$ en deux sous-échantillons $D_{n}^{(e)}$ (l’échantillon d’entraînement) et $D_{n}^{(v)}$ (l’échantillon de validation), on utilise $D_{n}^{(e)}$ pour entraîner un prédicteur $\widehat{f}_{m}(D_{n}^{(e)})$, puis on mesure l’erreur commise par ce prédicteur sur les données restantes $D_{n}^{(v)}$. Alors, du fait de l’indépendance entre $D_{n}^{(e)}$ et $D_{n}^{(v)}$, on obtient une bonne évaluation666Comme expliqué en section 3, c’est en réalité le risque de $\widehat{f}_{m}(D_{n}^{(e)})$ que l’on évalue, d’où un léger biais (beaucoup moins problématique que celui du risque empirique). du risque de $\widehat{f}_{m}(D_{n})$. En particulier, on évite l’optimisme excessif777Les raisons de cet optimisme sont détaillées par Arlot (2017, section 3.9). du risque empirique $\widehat{\mathcal{R}}_{n}(\widehat{f}_{m}(D_{n}))$. Et l’on peut procéder à un ou plusieurs découpages du même échantillon, d’où un grand nombre de procédures de validation croisée possibles.

2.1 Cas général

Dans tout ce texte, $D_{n}=(X_{i},Y_{i})_{1\leqslant i\leqslant n}$ désigne un échantillon de variables aléatoires indépendantes et de même loi $P$. On suppose qu’une fonction de coût $c:\mathcal{Y}\times\mathcal{Y}\to\mathbb{R}^{+}$ est fixée et sert à définir le risque $\mathcal{R}_{P}$ et le risque empirique $\widehat{\mathcal{R}}_{n}$ sur $D_{n}$ (une quantité définie par Arlot (2017, section 3.1)).

Un sous-ensemble propre888Un sous-ensemble propre de $\{1,\ldots,n\}$ est une partie non-vide de $\{1,\ldots,n\}$ dont le complémentaire est non-vide. La terminologie «  découpage de l’échantillon  » n’est pas classique ; nous l’utilisons ici pour clarifier l’exposition. $E$ de $\{1,\ldots,n\}$ est appelé «  découpage  » de l’échantillon. Il correspond à la partition de $D_{n}$ en deux sous-échantillons :

[TABLE]

Pour tout découpage $E$ de l’échantillon, on définit le risque empirique sur le sous-échantillon $D_{n}^{E}$ par :

[TABLE]

On peut maintenant définir formellement les estimateurs par validation croisée du risque.

Définition 1** (Validation croisée).**

Soit $\widehat{f}_{m}$ une règle d’apprentissage. L’estimateur par validation (simple)999Le terme anglais pour la validation, ou validation simple, est «  hold-out  » : il s’agit de l’erreur sur des données «  mises de côté  » au moment de l’entraînement. du risque de $\widehat{f}_{m}$ pour l’échantillon $D_{n}$ et le découpage $E$ est défini par :

[TABLE]

On appelle $D_{n}^{E}$ l’échantillon d’entraînement101010Le terme «  échantillon d’apprentissage  » est parfois utilisé pour désigner l’échantillon d’entraînement ; il arrive aussi qu’on l’utilise pour désigner la réunion de l’échantillon d’entraînement et de l’échantillon de validation, lorsqu’une partie des données est mise de côté dans un échantillon test., tandis que $D_{n}^{E^{c}}$ est appelé échantillon de validation.

L’estimateur par validation croisée111111En anglais : «  cross-validation  ». du risque de $\widehat{f}_{m}$ pour l’échantillon $D_{n}$ et la suite de découpages $(E_{j})_{1\leqslant j\leqslant V}$ est défini par :

[TABLE]

Étant donné une famille de règles d’apprentissage $(\widehat{f}_{m})_{m\in\mathcal{M}_{n}}$, la procédure de sélection d’estimateurs par validation croisée associée est définie par :

[TABLE]

Une erreur courante mais grave est d’utiliser

[TABLE]

pour estimer le risque de $\widehat{f}_{m}(D_{n})$ lorsque la règle d’apprentissage $\widehat{f}_{m}$ dépend déjà elle-même des données. Par exemple, si $\widehat{f}_{m}$ est construite sur un sous-ensemble $m$ des covariables disponibles, et si ce sous-ensemble a été choisi à l’aide d’une partie des données $D_{n}$ (par une procédure automatisée ou simplement «  à l’œil  »), alors on obtient une estimation fortement biaisée du risque ! En général, cette estimation est très optimiste, conduisant à sous-estimer le risque de prévision réel.

Pour éviter ce biais, il faut prendre en compte la totalité du processus menant des données $D_{n}$ au prédicteur $\widehat{f}_{m}(D_{n})$ (c’est-à-dire, tout ce qu’on a fait à partir du moment où l’on a eu accès à au moins une observation). Formellement, il faut décrire comment $m$ dépend des données, et le noter $\widehat{m}(D_{n})$. On définit alors $\widetilde{f}:D_{n}\mapsto\widehat{f}_{\widehat{m}(D_{n})}(D_{n})$ puis on applique la validation croisée à $\widetilde{f}$ en calculant :

[TABLE]

Le même problème se pose quand on veut estimer le risque de l’estimateur sélectionné par la validation croisée (ou par toute autre procédure de sélection d’estimateurs). Si l’on utilise la valeur (calculée en cours de procédure)

[TABLE]

alors on commet précisément l’erreur mentionnée ci-dessus, et l’on sous-estime fortement le risque. Il faut donc définir

[TABLE]

(en spécifiant bien comment la suite de découpages $(E_{j,n})_{1\leqslant j\leqslant V_{n}}$ est choisie pour chaque entier $n\geqslant 1$) et lui appliquer la validation croisée en calculant

[TABLE]

Dans le cas de la validation simple, ceci conduit à un découpage de l’échantillon en trois sous-échantillons : un échantillon d’entraînement $D_{n}^{E}$, un échantillon de validation $D_{n}^{V}$ — pour choisir parmi les $\widehat{f}_{m}(D_{n}^{E})$ —, et un échantillon test $D_{n}^{T}$ — pour évaluer le risque de l’estimateur final $\widehat{f}_{\widehat{m}(D_{n}^{E},D_{n}^{V})}(D_{n}^{E})$ —, où $E$, $V$ et $T$ forment une partition de $\{1,\ldots,n\}$.

Signalons toutefois que d’autres approches permettent d’éviter la nécessité de recourir à un découpage de l’échantillon en trois, en particulier le «  reusable hold-out  » récemment proposé par Dwork et al. (2015), qui repose sur l’idée de n’accéder à l’échantillon de validation que par l’intermédiaire d’un mécanisme de confidentialité différentielle121212Le terme anglais est «  differential privacy  ». .

{breakbox}

Parenthèse 1** (Cadre plus général).**

On peut définir la validation croisée hors du cadre de prévision ou pour une fonction de risque plus générale que celle définie par Arlot (2017). Il suffit en effet que le risque d’un élément $f$ de l’ensemble $\mathcal{F}$ des sorties possibles d’une règle d’apprentissage vérifie :

[TABLE]

où $D_{n}$ est un échantillon de $n$ variables aléatoires indépendantes et de loi $P$, et $\mathcal{E}$ est une fonction à valeurs réelles, prenant en entrée un élément de $\mathcal{F}$ et un échantillon de taille quelconque. La fonction $\mathcal{E}$ mesure l’«  adéquation  » entre $f$ et l’échantillon $D_{n}$. L’estimateur par validation simple se définit alors par :

[TABLE]

et l’estimateur par validation croisée s’en déduit. Dans le cas de la prévision, (2) est vérifiée avec :

[TABLE]

La relation (2) est également vérifiée dans d’autres cadres. Par exemple, en estimation de densité, il est classique de considérer le risque quadratique défini par (2) avec :

[TABLE]

L’excès de risque correspondant est $\lVert f-f^{\star}\rVert^{2}_{L^{2}}$ où $f^{\star}$ est la densité (inconnue) des observations (Arlot et Lerasle, 2016). On peut aussi obtenir la distance de Kullback-Leibler entre $f$ et $f^{\star}$ comme excès de risque en définissant le risque par (2) avec :

[TABLE]

qui est l’opposé de la log-vraisemblance de $f$ au vu de l’échantillon $(X_{i})_{1\leqslant i\leqslant n}$.

2.2 Exemples

Comme l’indique la définition 1, il y a autant de procédures de validation croisée que de suites de découpages $(E_{j})_{1\leqslant j\leqslant V}$. Au sein de cette grande famille, certaines procédures sont toutefois plus classiques que d’autres.

La plupart des procédures utilisées vérifient les deux hypothèses suivantes :

[TABLE]

On suppose toujours dans ce texte que ($\mathbf{Ind}$) et ($\mathbf{Reg}$) sont vérifiées.

{breakbox}

Parenthèse 2** (Sur l’hypothèse ($\mathbf{Ind}$)).**

L’hypothèse ($\mathbf{Ind}$) garantit que l’échantillon d’entraînement $D_{n}^{E_{j}}$ et l’échantillon de validation $D_{n}^{E_{j}^{c}}$ sont indépendants pour tout $j$, ce qui est crucial pour l’analyse menée en section 3.1 notamment. Cependant, il est parfois suggéré de choisir $(E_{j})_{1\leqslant j\leqslant V}$ en utilisant l’échantillon $D_{n}$ pour diverses raisons :

• —

pour que l’ensemble du support de $P_{X}$ soit représenté dans chaque échantillon d’entraînement et chaque échantillon de validation.

• —

en classification, pour que toutes les classes soient représentées dans chaque échantillon d’entraînement et chaque échantillon de validation (en particulier lorsque les effectifs des classes sont très déséquilibrés, ou lorsque le nombre de classes est grand).

Nous ne connaissons cependant pas de résultat théorique justifiant l’intérêt d’un tel choix. En régression, dans les simulations de Breiman et Spector (1992, section 6.2), une telle stratégie n’a pas d’impact sur les performances.

{breakbox}

Parenthèse 3** (Échantillon ordonné et hypothèse ($\mathbf{Ind}$)).**

Souvent, en pratique, on dispose d’un échantillon «  ordonné  ». Par exemple, lorsque $\mathcal{X}=\mathbb{R}$, on a souvent $X_{1}\leqslant X_{2}\leqslant\cdots\leqslant X_{n}$ (ce qui signifie, si $D_{n}$ contient bien les réalisations de $n$ variables aléatoires indépendantes de loi $P$, que l’échantillon initial a été réordonné). Alors, si l’on veut utiliser une procédure de validation croisée vérifiant l’hypothèse ($\mathbf{Ind}$), il faut prendre soin d’appliquer au préalable une permutation aléatoire uniforme des indices $\{1,\ldots,n\}$. Sinon, le découpage $E=\{1,\ldots,n/2\}$ ne peut pas être considéré indépendant de $D_{n}$. Notons toutefois que ceci n’est pas nécessaire pour les procédures «  leave-one-out  » et «  leave-$p$-out  ».

{breakbox}

Parenthèse 4** (Sur l’hypothèse ($\mathbf{Reg}$)).**

Nous ne connaissons pas d’argument théorique en faveur des procédures de validation croisée vérifiant ($\mathbf{Reg}$), si ce n’est qu’elles sont plus simples à analyser que les autres. Il n’empêche que l’hypothèse ($\mathbf{Reg}$) est toujours vérifiée (au moins approximativement) dans les applications. Les résultats théoriques mentionnés dans ce texte restent valables (au premier ordre) lorsque ($\mathbf{Reg}$) n’est vérifiée qu’approximativement, cas inévitable si l’on utilise la validation croisée «  $V$-fold  » avec $n$ non-divisible par $V$.

Parmi les procédures vérifiant les hypothèses ($\mathbf{Ind}$) et ($\mathbf{Reg}$), on peut distinguer deux approches. Soit l’on considère la suite de tous les découpages $E_{j}$ tels que $\operatorname{Card}(E_{j})=n_{e}$. Lorsque $n_{e}=n-1$, on obtient le leave-one-out131313En français, la procédure leave-one-out peut être nommée validation croisée «  tous sauf un  » : chaque découpage laisse exactement une observation hors de l’échantillon d’entraînement. En anglais, on trouve aussi les noms «  delete-one cross-validation  », «  ordinary cross-validation  », et même parfois simplement «  cross-validation  ». Dans le cas où $\widehat{f}_{m}$ est un estimateur des moindres carrés en régression linéaire (Arlot, 2017, exemple 4 en section 3.2), le leave-one-out est parfois appelé PRESS (Prediction Sum of Squares), ou PRESS de Allen ; notons que ce terme désigne parfois directement la formule simplifiée (3) que l’on peut démontrer dans ce cadre. :

[TABLE]

où $D_{n}^{(-j)}=(X_{i},Y_{i})_{1\leqslant i\leqslant n,\,i\neq j}$. Dans le cas général, en posant $p=n-n_{e}$, on obtient le leave-$p$-out141414En anglais, on trouve aussi les termes «  delete-$p$ cross-validation  » et «  delete-$p$ multifold cross-validation  ». :

[TABLE]

En pratique, il est souvent trop coûteux algorithmiquement (voire impossible) d’utiliser le leave-one-out ou le leave-$p$-out. Une deuxième approche est donc nécessaire : n’explorer que partiellement l’ensemble des $\binom{n}{n_{e}}$ découpages possibles avec un échantillon d’entraînement de taille $n_{e}$.

Considérer un seul découpage amène à la validation simple ou «  hold-out  » ; toutes ces procédures sont équivalentes car on a fait l’hypothèse ($\mathbf{Ind}$). En revanche, dès que l’on considère un nombre de découpages V\in\bigl{[}2,\binom{n}{n_{e}}\bigr{[}, plusieurs procédures non-équivalentes sont possibles.

La plus classique est la validation croisée par blocs, appelée validation croisée «  $V$-fold  » ou «  $k$-fold  ». On se donne une partition $(B_{j})_{1\leqslant j\leqslant V}$ de $\{1,\ldots,n\}$ en $V$ blocs de même taille151515Il faut prendre les $B_{j}$ de même taille pour avoir l’hypothèse ($\mathbf{Reg}$). Lorsque $V$ ne divise pas $n$, il suffit de les prendre de tailles égales à un élément près ; les performances théoriques et pratiques sont alors similaires à ce que l’on a quand ($\mathbf{Reg}$) est vérifiée exactement., puis on procède à un «  leave-one-out par blocs  », c’est-à-dire, on utilise la suite de découpages $(B_{j}^{c})_{1\leqslant j\leqslant V}$ :

[TABLE]

On peut également procéder à une validation croisée Monte-Carlo (ou validation croisée répétée), en choisissant $E_{1},\ldots,E_{V}$ aléatoires, indépendants et de loi uniforme sur l’ensemble des parties de taille $n_{e}$ de $\{1,\ldots,n\}$.

Remarque 5** ($V$-fold ou Monte-Carlo ?).**

On discute dans la suite les mérites de ces deux approches. Intuitivement, on peut déjà dire que la validation croisée $V$-fold présente l’avantage de faire un usage «  équilibré  » des données : chaque observation est utilisée exactement $V-1$ fois pour l’entraînement et une fois pour l’apprentissage. Ce n’est en rien garanti avec la validation croisée Monte-Carlo. En revanche, on peut s’interroger sur les inconvénients de toujours utiliser ensemble (soit pour l’entraînement, soit pour la validation) les observations d’un même bloc. L’approche «  Monte-Carlo  », par son caractère aléatoire, permet d’éviter d’éventuels biais induits par ce lien entre observations. Notons qu’il existe une manière d’éviter ces deux écueils : la validation croisée incomplète équilibrée161616En anglais, on parle de «  balanced-incomplete cross-validation  », qui s’appuie sur la notion de «  balanced-incomplete block-design  ». (Arlot et Celisse, 2010, section 4.3.2), qui présente l’inconvénient de n’être possible que pour d’assez grandes valeurs de $V$.

Signalons enfin que bien d’autres procédures de validation croisée «  non-exhaustives  » existent. Par exemple, avec la validation croisée $V$-fold répétée, on choisit plusieurs partitions $(B_{j}^{\ell})_{1\leqslant j\leqslant V}$, $\ell\in\{1,\ldots,L\}$, et l’on explore l’ensemble des découpages

[TABLE]

2.3 Astuces algorithmiques

La complexité algorithmique du calcul «  naïf  » de

[TABLE]

est de l’ordre de $V$ fois celle de l’entraînement de $\widehat{f}_{m}$ sur un échantillon de taille $n_{e}$ (c’est en général le plus coûteux), plus l’évaluation de $\widehat{f}_{m}(D_{n}^{E_{j}})$ en $n-n_{e}$ points. Il est cependant parfois possible de faire beaucoup plus rapide.

Tout d’abord, on dispose dans certains cas de formules closes pour l’estimateur par validation croisée du risque de $\widehat{f}_{m}$, au moins pour le leave-one-out et le leave-$p$-out171717Au vu des résultats des sections 3 et 4, en particulier la proposition 2 en section 3.3 qui montre que la variance de la validation croisée est minimale pour le leave-$p$-out — à $n_{e}$ fixée —, il semble inutile de considérer un autre type de validation croisée quand on sait calculer rapidement tous les estimateurs par leave-$p$-out. (Arlot et Celisse, 2010, section 9). Par exemple, si $\widehat{f}_{m}$ est un estimateur des moindres carrés en régression linéaire, la formule de Woodbury (Press et al., 1992, section 2.7) permet de démontrer (Golub et al., 1979) :

[TABLE]

Le calcul de l’estimateur leave-one-out avec (3) est aussi coûteux que celui d’un seul entraînement de $\widehat{f}_{m}$ sur $D_{n}$, via le calcul de la matrice $\mathbf{H}$.

{breakbox}

Parenthèse 6** (Validation croisée généralisée).**

La formule close (3) obtenue pour le leave-one-out en régression linéaire a conduit à en définir une version «  invariante par rotation  » (Golub et al., 1979), appelée validation croisée généralisée ou GCV (de l’anglais «  generalized cross-validation  »). Par rapport à la formule (3), les dénominateurs $1-\mathbf{H}_{i,i}$ sont remplacés par $1-n^{-1}\mathrm{trace}(\mathbf{H})$ :

[TABLE]

Ce critère s’applique, plus généralement, à tout estimateur «  linéaire  » en régression avec le coût quadratique, notamment les $k$ plus proches voisins (Arlot, 2017, section 5.4), les estimateurs par noyau (Arlot, 2017, section 5.5) et les estimateurs ridge. Efron (1986) explique pourquoi, malgré son nom, GCV est beaucoup plus proche des critères $C_{p}$ et $C_{L}$ de Mallows que de la validation croisée proprement dite.

Par ailleurs, même en l’absence de formule close, on peut réduire la complexité algorithmique de la validation croisée en entraînant d’abord $\widehat{f}_{m}$ sur l’échantillon $D_{n}$ tout entier (une fois pour toutes), puis, pour chaque découpage $E_{j}$, en «  mettant à jour  » $\widehat{f}_{m}(D_{n})$ afin d’obtenir $\widehat{f}_{m}(D_{n}^{E_{j}^{c}})$. Lorsque cette mise à jour est efficace, le gain algorithmique est important. Cette idée s’applique dans plusieurs cadres, dont l’analyse discriminante (linéaire ou quadratique) et les $k$ plus proches voisins (Arlot et Celisse, 2010, section 9). Considérons ici à nouveau l’estimateur des moindres carrés en régression linéaire. Son calcul nécessite d’inverser la matrice $\mathbf{X}^{\top}\mathbf{X}$ de taille $p$, ce qui a un coût de l’ordre de $p^{3}$. Lorsque $n-n_{e}$ est significativement plus petit que $n$, on peut utiliser la formule de Woodbury (Press et al., 1992, section 2.7) pour déduire $(\mathbf{X}_{(E_{j}^{c})}^{\top}\mathbf{X}_{(E_{j}^{c})})^{-1}$ de $(\mathbf{X}^{\top}\mathbf{X})^{-1}$ à moindres frais,

[TABLE]

La formule de Woodbury est également utile en régression ridge, où l’essentiel du temps de calcul de l’estimateur est consacré à l’inversion de la même matrice $\mathbf{X}^{\top}\mathbf{X}$.

Enfin, dans un contexte de sélection d’estimateurs, il n’est pas toujours nécessaire de calculer

[TABLE]

pour chaque $m\in\mathcal{M}_{n}$. Les valeurs de l’erreur de validation obtenues sur les premiers découpages $E_{1}$, $E_{2}$, $E_{3}$, $\ldots$ peuvent suffire à éliminer certains $\widehat{f}_{m}$ (et donc de gagner en temps de calcul), sans trop perdre sur la qualité du prédicteur final (Krueger et al., 2015).

2.4 Variantes

Pour le problème de sélection d’estimateurs, il y a plusieurs variantes de la validation croisée, qui ne suivent pas la définition 1 mais reposent sur le même principe d’entraînement et validation selon plusieurs découpages successifs.

Yang (2006, 2007) propose la «  validation croisée par vote  »181818Le terme anglais est «  cross-validation with voting  ». Par opposition, Yang nomme «  cross-validation with averaging  » la validation croisée habituelle, celle de la définition 1. , lorsque l’objectif est d’identifier la meilleure règle d’apprentissage (comme expliqué par Arlot (2017, section 3.9); voir aussi la remarque 13 en section 5.1). Pour chacun des $j\in\{1,\ldots,V\}$, on sélectionne un estimateur par validation simple :

[TABLE]

Ensuite, on réalise un vote majoritaire parmi les $\widehat{m}_{j}$ pour déterminer $\widehat{m}$. Clairement, ceci n’a de sens que lorsque $\mathcal{M}_{n}$ est discret. Yang propose cette variante dans un contexte où $\mathcal{M}_{n}$ est fini et de petite taille. Supposons par exemple que l’on veut choisir, pour un problème de classification, entre les plus proches voisins, la régression logistique et les forêts aléatoires. Si les paramètres de chaque méthode sont choisis par une boucle interne de validation croisée, on a $\operatorname{Card}(\mathcal{M}_{n})=3$. Cela fait donc sens d’effectuer un vote majoritaire parmi les $\widehat{m}_{j}$ obtenus sur $V\gg 3$ découpages différents.

La validation croisée agrégée191919En anglais, on utilise les termes «  CV bagging  » ou «  averaging cross-validation  », pour un ensemble de méthodes similaires à celle qui est décrite ici. est une variante largement utilisée en pratique pour ses bonnes performances en prévision, mais peu mentionnée dans la littérature (Jung et Hu, 2015; Maillard, 2016). L’idée est de ne pas sélectionner l’un des $\widehat{f}_{m}$ mais d’en combiner plusieurs pour obtenir un prédicteur encore plus performant (parfois meilleur que le choix oracle, d’après des résultats expérimentaux). Comme pour la validation croisée par vote, pour chaque découpage $E_{j}$, $j\in\{1,\ldots,V\}$, on sélectionne $\widehat{m}_{j}$ défini par (4). Ensuite, on construit un prédicteur $\widetilde{f}(D_{n})$ en agrégeant les prédicteurs $\widehat{f}_{\widehat{m}_{j}}(D_{n})$ obtenus avec chaque découpage. En régression, on fait une moyenne :

[TABLE]

En classification, on procède à un vote majoritaire :

[TABLE]

Cette idée d’agrégation est à rapprocher du bagging, bien que la validation croisée agrégée ne coïncide pas exactement avec le bagging appliqué à la validation simple.

3 Estimation du risque : biais et variance

Si l’on utilise la validation croisée pour estimer le risque (moyen) d’une règle d’apprentissage $\widehat{f}_{m}$ fixée, il est naturel de s’intéresser à deux quantités : son biais et sa variance.

3.1 Biais

Sous les hypothèses ($\mathbf{Ind}$) et ($\mathbf{Reg}$), l’espérance d’un critère par validation croisée général se calcule aisément :

[TABLE]

où $D_{n_{e}}$ désigne un échantillon de $n_{e}$ variables indépendantes et de même loi $P$.

Démonstration.

Par définition de la validation croisée, on a :

[TABLE]

D’après l’hypothèse ($\mathbf{Ind}$), $D_{n}^{E_{j}}$ et $D_{n}^{E_{j}^{c}}$ sont deux échantillons indépendants de variables indépendantes de loi $P$, donc

[TABLE]

Comme l’hypothèse ($\mathbf{Reg}$) garantit que les $E_{j}$ sont tous de même taille, on a

[TABLE]

pour tout $j$, d’où le résultat. 0.0pt

En vue d’estimer le risque moyen

[TABLE]

d’après (5), le biais de la validation croisée s’écrit :

[TABLE]

En particulier, il ne dépend pas du nombre $V$ de découpages ! C’est seulement une fonction de la taille $n_{e}$ de l’échantillon d’entraînement (en plus de $n$, $P$ et $\widehat{f}_{m}$). La manière dont le risque moyen varie avec la taille $n$ de l’échantillon joue donc un rôle clé dans l’analyse en espérance de la validation croisée.

Supposons tout d’abord que le risque moyen diminue quand on a plus d’observations :

[TABLE]

en notant $\mathcal{M}_{1}(\mathcal{X}\times\mathcal{Y})$ l’ensemble des mesures de probabilité sur $\mathcal{X}\times\mathcal{Y}$. Alors, le biais (6) est une fonction décroissante de la taille $n_{e}$ de l’échantillon d’entraînement. En particulier, il est minimal lorsque $n_{e}=n-1$ (par exemple, pour le leave-one-out).

Remarque 7** (Règles intelligentes).**

L’hypothèse (7), qui semble faible au premier abord, est la définition d’une règle d’apprentissage «  intelligente  »202020En anglais, «  smart rule  ». (Devroye et al., 1996, section 6.8). Mais attention ! Toutes les règles d’apprentissage classiques ne sont pas «  intelligentes  » : par exemple, la règle du plus proche voisin et certaines règles par noyau (avec un noyau et une fenêtre fixes) ne sont pas intelligentes en classification binaire (Devroye et al., 1996, section 6.8 et problèmes 6.14–6.15) ! Une règle par partition sur une partition $\mathcal{A}$ indépendante de $n$ n’est pas non plus intelligente, même si elle l’est «  presque  » (voir les exercices 1 et 2). Devroye et al. (1996, problème 6.16) conjecturent même qu’aucune règle universellement consistante n’est intelligente.

Pour quantifier plus précisément le biais, faisons une hypothèse plus forte, qui implique (7) :

[TABLE]

Par exemple, (8) est vérifiée en estimation de densité par moindres carrés212121Ce cadre n’est pas un exemple de problème de prévision, mais on peut tout de même y définir la validation croisée, voir la parenthèse 1 en section 2.1. ; $\alpha(m)$ est alors l’erreur d’approximation et $\beta(m)/n$ est l’erreur d’estimation (deux quantités définies par Arlot (2017, section 3.4)). En régression avec le coût quadratique, (8) est approximativement vérifiée pour les règles par partition (Arlot, 2008). Alors, le biais (6) d’un critère par validation croisée s’écrit :

[TABLE]

On peut distinguer trois situations :

• —

si $n_{e}\sim n$ (comme pour le leave-one-out), alors le biais est négligeable devant $\beta(m)/n$ : au premier ordre, la validation croisée estime le risque moyen sans biais.

• —

si $n_{e}=\kappa n$ avec $\kappa\in\,\,]0,1[$, alors le biais vaut $(\kappa^{-1}-1)\beta(m)/n$ : la validation croisée estime correctement l’erreur d’approximation $\alpha(m)$ mais surestime d’un facteur $\kappa^{-1}>1$ l’erreur d’estimation $\beta(m)/n$. C’est notamment le cas de la validation croisée $V$-fold avec $\kappa^{-1}-1=1/(V-1)$.

• —

si $n_{e}\ll n$, alors le biais est de l’ordre de

[TABLE]

La validation croisée surestime fortement l’erreur d’estimation, et donc aussi le risque (sauf si l’erreur d’approximation $\alpha(m)$ domine l’erreur d’estimation, auquel cas il peut n’y avoir quasiment pas de surestimation).

3.2 Correction du biais

Plutôt que de minimiser le biais en choisissant $n_{e}$ proche de $n$ (ce qui nécessite souvent de considérer un grand nombre $V$ de découpages à cause de la variance), il est parfois possible de corriger le biais.

Définition 2** (Validation croisée corrigée).**

Soit $\widehat{f}_{m}$ une règle d’apprentissage. L’estimateur par validation croisée corrigée222222Le terme anglais est «  bias-corrected cross-validation  ». du risque de $\widehat{f}_{m}$ pour l’échantillon $D_{n}$ et la suite de découpages $(E_{j})_{1\leqslant j\leqslant V}$ est défini par :

[TABLE]

La validation croisée corrigée a été proposée par Burman (1989), qui la justifie par des arguments asymptotiques, en supposant que $\widehat{f}_{m}$ est «  régulière  ». À la suite de Arlot (2008) et Arlot et Lerasle (2016), on peut démontrer qu’elle est exactement sans biais, pour tout $n\geqslant 1$, sous une hypothèse similaire à (8).

Proposition 1**.**

On suppose ($\mathbf{Ind}$) vérifiée et qu’une constante $\gamma(m)\in\mathbb{R}$ existe telle que pour tout entier $n\geqslant 1$ :

[TABLE]

Alors, pour tout $n\geqslant 1$ et toute suite de découpages $(E_{j})_{1\leqslant j\leqslant V}$, la validation croisée corrigée estime sans biais le risque moyen de $\widehat{f}_{m}$ :

[TABLE]

Démonstration.

On part de la définition de la validation croisée corrigée, en remarquant que :

[TABLE]

Alors,

[TABLE]

Or, le troisième terme ci-dessus est d’espérance nulle car $D_{n}^{E_{j}}$ et $D_{n}^{E_{j}^{c}}$ sont indépendants d’après ($\mathbf{Ind}$). En utilisant l’hypothèse (9), on en déduit que

[TABLE]

0.0pt

{breakbox}

Parenthèse 8** (Sur l’hypothèse (9)).**

L’hypothèse (9) porte sur l’espérance de la pénalité idéale (voir Arlot (2017, section 3.9)). Elle est vérifiée en estimation de densité par moindres carrés (Arlot et Lerasle, 2016), et elle l’est (approximativement) pour les règles de régression par partition avec le coût quadratique (Arlot, 2008). On peut noter que dans les deux cas, les hypothèses (8) et (9) sont vérifiées avec $\gamma(m)=2\beta(m)$, ce qui est lié à l’heuristique de pente (Birgé et Massart, 2007; Arlot et Massart, 2009; Lerasle, 2012). De manière plus générale, l’argument asymptotique de Burman (1989) peut se résumer à établir que (9) est approximativement valide sous des hypothèses de régularité sur $\widehat{f}_{m}$ et sur le coût $c$.

3.3 Variance

L’étude de la variance des estimateurs par validation croisée est plus délicate que celle de leur espérance. On peut toutefois établir quelques résultats généraux. En revanche, des résultats quantitatifs précis (et valables pour les procédures par blocs) ne sont actuellement connus que dans des cadres particuliers, comme celui considéré à la fin de cette section.

3.3.1 Inégalité générale

On a tout d’abord une inégalité générale entre les variances des estimateurs par validation simple, par validation croisée et par leave-$p$-out, à taille d’échantillon d’entraînement $n_{e}=n-p$ fixée.

Proposition 2**.**

Soit $n,V\geqslant 1$ des entiers, $D_{n}$ un échantillon de $n$ variables aléatoires indépendantes et de même loi, $n_{e}\in\{1,\ldots,n-1\}$ et $E_{0},E_{1},\ldots,E_{V}$ des parties de $\{1,\ldots,n\}$ indépendantes de $D_{n}$ et telles que $\operatorname{Card}(E_{j})=n_{e}$ pour tout $j\in\{0,\ldots,V\}$. On a alors :

[TABLE]

Démonstration.

On commence par faire une remarque générale. Si $Z_{1},\ldots,Z_{K}$ sont des variables aléatoires réelles de même loi, alors :

[TABLE]

En effet, par convexité, on a :

[TABLE]

En intégrant cette inégalité, on obtient :

[TABLE]

Le résultat s’en déduit en retranchant de chaque côté :

[TABLE]

Or, la loi de \widehat{\mathcal{R}}^{\mathrm{val}}\bigl{(}\widehat{f}_{m};D_{n};E\bigr{)} est la même quel que soit $E\subset\{1,\ldots,n\}$ de taille $n_{e}$, y compris $E=E_{j}$ (par indépendance des $E_{j}$ avec $D_{n}$). En effet, passer de $E$ à $E^{\prime}$ de même taille équivaut à permuter les observations de $D_{n}$, ce qui ne change pas la loi de $D_{n}$ car les observations sont indépendantes et de même loi. L’inégalité (11) implique donc la première inégalité.

Pour obtenir la deuxième, notons $\Sigma_{n}$ l’ensemble des permutations de $\{1,\ldots,n\}$ et $D_{n}^{\sigma}=(X_{\sigma(i)},Y_{\sigma(i)})_{1\leqslant i\leqslant n}$ pour toute permutation $\sigma\in\Sigma_{n}$. On a alors, pour tout $j\in\{1,\ldots,V\}$,

[TABLE]

Or, $D_{n}^{\sigma}$ a même loi que $D_{n}$, puisque les observations sont indépendantes et de même loi, si bien que (11) s’applique et donne la deuxième inégalité. 0.0pt

{breakbox}

Parenthèse 9** (Variance conditionnelle et (11)).**

En utilisant la formule (12) ci-après et le fait qu’une variance est positive ou nulle, on obtient que

[TABLE]

ce qui démontre l’inégalité (11) d’une autre manière.

Le résultat de la proposition 2 est naturel : à taille d’échantillon d’entraînement $n_{e}$ fixée, il vaut mieux considérer plusieurs découpages qu’un seul, et il vaut encore mieux les considérer tous. Mais c’est un résultat limité : l’amélioration est-elle stricte ? Si oui, combien gagne-t-on ? La proposition 2 ne permet pas de savoir. Pire encore : on ne peut pas comparer ce qui se passe avec deux et avec trois découpages !

Intuitivement, plus le nombre $V$ de découpages est grand, plus la variance est petite. La réalité est malheureusement un peu plus compliquée, et cela dépend de comment on découpe. Cinq découpages bien choisis peuvent être meilleurs que six mal choisis !

3.3.2 Validation croisée Monte-Carlo

Si l’on se limite à une famille particulière de découpages (la validation croisée Monte-Carlo), cette intuition peut être justifiée et quantifiée.

Proposition 3**.**

Soit $n>n_{e}\geqslant 1$ des entiers. Si $E_{1},\ldots,E_{V}\subset\{1,\ldots,n\}$ sont indépendantes, de loi uniforme sur l’ensemble des parties de $\{1,\ldots,n\}$ de taille $n_{e}$, et indépendantes de $D_{n}$, alors on a :

[TABLE]

Démonstration.

Avant toutes choses, rappelons la définition de la variance conditionnelle et une propriété fondamentale. Si $X$ et $Z$ sont deux variables aléatoires, si $Z$ est à valeurs réelles et si $\mathbb{E}[Z^{2}\,|\,X]<+\infty$, la variance conditionnelle de $Z$ sachant $X$ est définie par :

[TABLE]

On a alors, en intégrant cette définition :

[TABLE]

En vue d’appliquer la formule (12), on pose :

[TABLE]

D’une part, puisque les $E_{j}$ sont de loi uniforme sur l’ensemble des parties de $\{1,\ldots,n\}$ de taille $n_{e}$, on obtient :

[TABLE]

D’autre part, conditionnellement à $D_{n}$, les $E_{j}$ sont indépendantes et de même loi, si bien que l’on a :

[TABLE]

Avec (12), on en déduit la première formule.

Lorsque $V=1$, la validation croisée Monte-Carlo correspond à la validation simple, et donc :

[TABLE]

La deuxième formule en découle. 0.0pt

La proposition 3 démontre que la variance du critère par validation croisée Monte-Carlo est une fonction décroissante du nombre $V$ de découpages, ce qui confirme l’intuition énoncée précédemment. Plus précisément, cette variance est une fonction affine de $1/V$, comprise entre la variance du critère par validation simple ($V=1$) et la variance du critère leave-$p$-out correspondant (obtenu quand $V\rightarrow+\infty$). En particulier, lorsque les variances des critères par validation simple et par leave-$p$-out ne diffèrent que par une constante multiplicative, l’essentiel de l’effet de $V$ sur la décroissance de la variance est obtenu avec un nombre $V$ de découpages petit (par exemple, $V=20$ suffit à obtenir au moins $95\%$ de la décroissance espérée).

Remarque 10**.**

Les propositions 2 et 3 s’étendent à la validation croisée corrigée, et plus généralement à toute quantité de la forme

[TABLE]

avec $E_{1},\ldots,E_{V}$ indépendantes, de même loi et indépendantes de $D_{n}$. Elles s’appliquent donc aussi à la validation croisée $V$-fold répétée, définie à la fin de la section 2.2 (voir l’exercice 3).

Il est malheureusement difficile d’énoncer un résultat plus précis en toute généralité. On peut seulement détailler comme suit la variance de l’estimateur par validation simple :

[TABLE]

La formule ci-dessus souligne le rôle de l’échantillon de validation, qui fait diminuer la variance de l’estimation du risque de $\widehat{f}_{m}(D_{n}^{E})$, jusqu’à atteindre (virtuellement) sa valeur minimale possible (la variance du risque de $\widehat{f}_{m}(D_{n}^{E})$) lorsque l’échantillon de validation est infini. Soulignons néanmoins l’intérêt limité de (13), qui ne permet pas (telle quelle) de comparer différentes valeurs de $n_{e}=\operatorname{Card}(E)$, notamment parce que $n_{e}$ est lié à la taille de l’échantillon de validation $\operatorname{Card}(E^{c})=n-n_{e}$.

3.3.3 Quantification précise dans un cadre particulier

En considérant une règle $\widehat{f}_{m}$ et un coût $c$ particuliers, il est parfois possible d’énoncer des résultats plus précis, soit asymptotiquement (quand $n$ tend vers l’infini, avec $n_{e}=\operatorname{Card}(E_{j})$ éventuellement lié à $n$), soit pour une valeur de $n$ fixée (Arlot et Celisse, 2010, section 5.2). À titre d’illustration, considérons le cas de l’estimation de densité avec le coût des moindres carrés et $\widehat{f}_{m}$ un estimateur par histogrammes réguliers de pas $h_{m}>0$ (Arlot et Lerasle, 2016, énoncent un résultat valable pour des estimateurs par projection généraux). On a alors, pour la validation croisée $V$-fold :

[TABLE]

où les $\mathcal{W}_{i}(h_{m},P)$ ne dépendent que de $h_{m}$ et de la loi $P$ des observations (Arlot et Lerasle, 2016, en donnent une formule close en section 5),

[TABLE]

En particulier, la variance diminue avec $V$ et le gain induit par l’augmentation de $V$ est limité : pour $n$ assez grand, le premier terme varie de 10 à 1 quand $V$ augmente, tandis que le deuxième terme reste à peu près constant. Lorsque $h_{m}$ est fixe par rapport à $n$, la diminution de variance liée à l’augmentation de $V$ est encore plus faible : elle ne se voit que dans le premier terme du membre de droite de (14), qui est un terme du deuxième ordre.

Une formule similaire peut être établie dans le même cadre pour la validation croisée Monte-Carlo (Arlot et Lerasle, 2016, section 8.1) :

[TABLE]

où les $\mathcal{W}_{i}$ sont les mêmes qu’à l’équation (14),

[TABLE]

Ainsi, lorsque $n$ tend vers l’infini et $n_{e}\sim\tau n$ avec $\tau\in\,\,]0,1[$ fixé, les valeurs extrêmes de la variance sont données par

[TABLE]

d’une part (pour la validation simple), et par

[TABLE]

d’autre part (pour le leave-$(n-n_{e})$-out). Le gain lié à l’augmentation du nombre de découpages est donc de l’ordre d’une constante (fonction de $\tau$ uniquement), et il n’est pas énorme (au plus un facteur $12$ lorsque $\tau=1/2$, par exemple).

Les formules (14) et (15) permettent également d’évaluer l’intérêt de considérer une suite «  structurée  » de découpages (avec le $V$-fold) par rapport à une suite aléatoire (avec la méthode Monte-Carlo). Il suffit pour cela de comparer les valeurs des constantes $C_{i}$ pour une même taille d’échantillon d’entraînement $n_{e}=n(V-1)/V$ et un même nombre de découpages $V$. Lorsque $n$ tend vers l’infini,

[TABLE]

et ce rapport tend vers $3$ lorsque $V$ tend vers l’infini, tandis que

[TABLE]

La validation croisée par blocs permet donc d’avoir une variance plus faible qu’avec la validation croisée Monte-Carlo, avec un gain de l’ordre d’une constante numérique, compris entre $3/2$ et $3$ environ232323Le gain exact dépend de l’ordre de grandeur relatif de $\mathcal{W}_{1}(h_{m},P)$ et $\mathcal{W}_{2}(h_{m},P)$. .

{breakbox}

Parenthèse 11** (Validation croisée corrigée).**

La variance du critère par validation croisée corrigée s’écrit d’une manière similaire à (14) (pour le $V$-fold) et (15) (pour la procédure Monte-Carlo), avec les mêmes conclusions sur l’influence de $V$.

Notons pour finir que l’essentiel des conclusions obtenues ci-dessus pour les histogrammes en estimation de densité sont probablement valables pour tout prédicteur $\widehat{f}_{m}$ «  régulier  », au moins asymptotiquement au vu des résultats de Burman (1989). Toutefois, des comportements expérimentaux différents sont rapportés dans la littérature, notamment pour des prédicteurs «  instables  », par exemple un arbre CART, un réseau de neurones ou le résultat d’une procédure de sélection de variables par pénalisation «  $\ell^{0}$  » telle que AIC ou $C_{p}$ (Breiman, 1996). Arlot et Celisse (2010, section 5.2) donnent d’autres références à ce sujet.

4 Propriétés pour la sélection d’estimateurs

Revenons au problème (décrit en section 1) de choisir parmi une famille de règles d’apprentissage $(\widehat{f}_{m})_{m\in\mathcal{M}_{n}}$, avec un objectif de prévision : on veut minimiser le risque du prédicteur final $\widehat{f}_{\widehat{m}(D_{n})}(D_{n})$. Étant donné une suite de découpages $(E_{j})_{1\leqslant j\leqslant V}$ — dont on suppose toujours qu’elle vérifie ($\mathbf{Ind}$) et ($\mathbf{Reg}$) — la procédure de validation croisée correspondante sélectionne :

[TABLE]

4.1 Différence entre sélection d’estimateurs et estimation du risque

La section 3 détaille les performances de $\widehat{\mathcal{R}}^{\mathrm{vc}}(\widehat{f}_{m})$ comme estimateur du risque de $\widehat{f}_{m}$. Intuitivement, ceci devrait permettre d’évaluer les performances de la validation croisée pour la sélection d’estimateurs. Cette intuition est en partie correcte, mais en partie seulement, attention ! On constate en effet empiriquement que la meilleure procédure de sélection d’estimateurs ne correspond pas toujours au meilleur estimateur du risque (Breiman et Spector, 1992). Il y a au moins deux raisons à ce phénomène.

4.1.1 Rôle des incréments

Un premier élément d’explication peut être obtenu en considérant l’exemple jouet suivant. Supposons que l’on veut comparer les procédures

[TABLE]

où $\mathcal{C}_{1}$ est un estimateur sans biais du risque et, pour tout $m\in\mathcal{M}_{n}$,

[TABLE]

avec $Z$ une variable aléatoire de loi normale $\mathcal{N}(1,1)$ indépendante de $D_{n}$ et de $m$. Clairement, $\widehat{m}_{1}=\widehat{m}_{2}$ et il n’y a aucune différence entre ces deux procédures pour la sélection d’estimateurs. En revanche, $\mathcal{C}_{2}$ est bien plus mauvais que $\mathcal{C}_{1}$ pour l’estimation du risque : $\mathcal{C}_{1}$ est un estimateur sans biais du risque tandis que $\mathcal{C}_{2}$ possède un biais strictement positif (égal à $1$) et une variance strictement supérieure à celle de $\mathcal{C}_{1}$. Considérer seulement l’espérance et la variance de $\mathcal{C}_{i}(m)$ pour chaque $m\in\mathcal{M}_{n}$ peut donc être trompeur pour la sélection d’estimateurs.

Que faire pour corriger ce problème ? À la suite de Arlot et Lerasle (2016, section 4), on peut remarquer que l’essentiel est de bien classer les règles $\widehat{f}_{m}$ les unes par rapport aux autres242424À première vue, l’essentiel est de bien classer la meilleure règle parmi $(\widehat{f}_{m})_{m\in\mathcal{M}_{n}}$ par rapport aux autres. Mais si l’on demande que ceci soit encore vrai pour toute sous-collection $(\widehat{f}_{m})_{m\in\mathcal{M}_{n}^{\prime}}$, $\mathcal{M}_{n}^{\prime}\subset\mathcal{M}_{n}$, alors on demande à bien classer toutes les règles $\widehat{f}_{m}$ les unes par rapport aux autres.. Autrement dit, une procédure de la forme

[TABLE]

est bonne lorsque, avec grande probabilité, pour tout $m,m^{\prime}\in\mathcal{M}_{n}$,

[TABLE]

sauf éventuellement lorsque $\widehat{f}_{m}$ et $\widehat{f}_{m^{\prime}}$ ont des risques «  proches  » (une erreur entre $m$ et $m^{\prime}$ étant alors de faible importance pour le risque du prédicteur final). Si l’on veut se focaliser sur une espérance ou une variance (pour évaluer la qualité d’un critère $\mathcal{C}$ ou pour comparer deux critères $\mathcal{C}_{1}$ et $\mathcal{C}_{2}$), c’est donc

[TABLE]

qu’il faut considérer ; la section 4.3 le fait pour le cas de la validation croisée.

4.1.2 Surpénalisation

Le paragraphe précédent explique pourquoi, entre deux critères dont les incréments ont la même espérance, il vaut mieux choisir celui dont la variance des incréments est la plus petite. Il est moins évident de comparer des critères qui n’ont pas la même espérance.

Pour ce faire, prenons le point de vue de la pénalisation (Arlot, 2017, section 3.9), en posant252525En définissant $\operatorname{pen}(m;D_{n})=\mathcal{C}(m;D_{n})-\widehat{\mathcal{R}}_{n}(\widehat{f}_{m}(D_{n}))$, on peut écrire tout critère $\mathcal{C}$ comme un critère empirique pénalisé. :

[TABLE]

L’idéal est alors que la pénalité $\operatorname{pen}(m;D_{n})$ soit proche de

[TABLE]

ou son espérance (qui est, dans de nombreux cas, proportionnelle à la «  complexité  » de $\widehat{f}_{m}$). Considérons alors, pour tout $C>0$, la procédure (théorique) qui sélectionne

[TABLE]

Lorsque $C=1$, $m_{C}$ suit le principe d’estimation sans biais du risque. Lorsque $C>1$, $m_{C}$ surpénalise, c’est-à-dire qu’elle choisit une règle d’apprentissage moins «  complexe  ». Lorsque $C<1$, $m_{C}$ sous-pénalise et choisit une règle plus «  complexe  ». La figure 1 représente, sur un exemple, la performance pour la sélection d’estimateurs de $m_{C}$ en fonction de la constante de surpénalisation $C$.

On peut observer que la performance est bonne pour $C=1$, et qu’elle est un peu meilleure lorsque $C$ est légèrement plus grand. Surpénaliser (donc, utiliser un estimateur biaisé du risque) peut ainsi être bénéfique !

À notre connaissance, il n’existe pas de résultat théorique rendant pleinement compte de ce phénomène. On peut néanmoins proposer l’hypothèse suivante : en surpénalisant, on diminue la probabilité262626Cette probabilité reste non-nulle, à cause de la variabilité du critère $\mathcal{C}(m;D_{n})$. de surapprendre fortement, au prix d’une diminution de la «  complexité  » moyenne de la règle sélectionnée. Lorsque le gain lié au premier point est plus fort que la perte liée au deuxième point, il est bénéfique de surpénaliser.

La règle du «  1 écart-type  »272727En anglais, «  1 s.e. rule  ». de Breiman et al. (1984) semble être, empiriquement, un bon moyen de surpénaliser282828Précisons toutefois que cette règle n’est pas directement formulée en ces termes. .

La section 4.4 discute les conséquences de ce phénomène sur les procédures de validation croisée.

4.2 Analyse au premier ordre : espérance

Au premier ordre, pour les procédures de validation croisée usuelles292929Les procédures utilisant un échantillon de validation de taille $n-n_{e}\ll n$ et un nombre de découpages $V$ petit font exception. Les garanties théoriques ne s’appliquent pas (Arlot et Celisse, 2010), et l’on constate en pratique que ces procédures sont extrêmement variables et se comportent mal, même lorsque leur espérance fournit une bonne procédure de sélection d’estimateurs., les résultats théoriques connus à ce jour indiquent tous que la performance pour la sélection d’estimateurs est celle de la procédure (théorique) qui minimise l’espérance du critère correspondant.

Pour prendre un exemple, supposons que les hypothèses ($\mathbf{Ind}$), ($\mathbf{Reg}$) et (8) sont vérifiées. Alors, pour tout $m,m^{\prime}\in\mathcal{M}_{n}$, on a :

[TABLE]

Comme en section 3.1, on voit que le biais de la validation croisée vient du fait que l’échantillon d’entraînement est de taille $n_{e}$ au lieu de $n$ ; en particulier, ce biais dépend uniquement de $n_{e}$.

Quel impact sur la sélection d’estimateurs ? En comparant (16) et (17), on observe que la différence des erreurs d’approximation $\alpha(m)-\alpha(m^{\prime})$ est correctement estimée, tandis que la différence des erreurs d’estimation $(\beta(m)-\beta(m^{\prime}))/n$ est estimée à un facteur multiplicatif $n/n_{e}>1$ près. Puisque $\beta(m)$ mesure en général la «  complexité  » de $\widehat{f}_{m}$ (par exemple, via la dimension du modèle sous-jacent), ceci signifie que la validation croisée tend à sélectionner une règle $\widehat{f}_{\widehat{m}}$ de complexité plus petite que celle de la meilleure règle (l’oracle). C’est naturel : la validation croisée «  fait comme si  » chaque règle d’apprentissage $\widehat{f}_{m}$ était entraînée avec $n_{e}$ observations, ce qui la conduit à faire un choix plus conservateur que celui qu’il faut faire quand on dispose de $n>n_{e}$ observations.

Sur le plan quantitatif, l’impact de $n_{e}$ est en général similaire à ce que l’on a décrit en section 3.1 pour l’estimation du risque. Shao (1997) énonce des résultats précis en régression linéaire par moindres carrés et Arlot et Celisse (2010, section 6) donnent les références de nombreux autres résultats, que l’on peut résumer ainsi. Pour la validation croisée, trois cas sont à distinguer :

• —

lorsque $n_{e}\sim n$, on obtient une performance optimale au premier ordre.

• —

lorsque $n_{e}\sim\kappa n$ avec $\kappa\in\,\,]0,1[$, on obtient une performance sous-optimale : le prédicteur final perd un facteur constant (fonction de $\kappa$ notamment) par rapport au risque du meilleur prédicteur.

• —

lorsque $n_{e}\ll n$, la performance est également sous-optimale, mais la perte est d’un facteur qui tend vers l’infini lorsque $n$ tend vers l’infini.

Pour la validation croisée corrigée, le biais étant nul, on obtient une performance optimale au premier ordre quel que soit $n_{e}$.

La principale limite de ces résultats au premier ordre est qu’ils ne font aucune différence entre des procédures utilisant des échantillons d’entraînement de même taille et dont les performances empiriques sont bien différentes (par exemple, la validation simple et le leave-$p$-out). Il semble donc bien qu’en pratique, les termes de deuxième ordre comptent !

4.3 Analyse au deuxième ordre : variance

L’étude de la variance (des incréments du critère, d’après la section 4.1) permet d’expliquer bon nombre de phénomènes observés empiriquement (en supposant l’heuristique de la section 4.1 correcte, ce que l’on fait tout au long de cette section).

Tout d’abord, les résultats généraux de la section 3.3, sur la variance d’un estimateur par validation croisée du risque d’une règle $\widehat{f}_{m}$, se généralisent à la variance des incréments

[TABLE]

quelles que soient $\widehat{f}_{m}$ et $\widehat{f}_{m^{\prime}}$ deux règles d’apprentissage. Ceci confirme donc l’intuition selon laquelle, à taille d’échantillon d’entraînement $n_{e}$ fixée, le leave-$(n-n_{e})$-out est la meilleure procédure de sélection d’estimateurs, la validation simple la moins bonne, toutes les autres procédures de validation croisée ayant des performances entre les deux. Et pour la validation croisée Monte-Carlo, la performance en sélection d’estimateurs s’améliore quand $V$ augmente. De plus, la variance des incréments étant une fonction affine croissante de $1/V$, si les valeurs de variance sont comparables pour validation simple et pour le leave-$(n-n_{e})$-out, il n’est pas nécessaire de prendre $V$ très grand pour avoir une performance très proche de l’optimum (à $n_{e}$ fixée).

Pour pouvoir énoncer des résultats quantitatifs précis sur la variance des incréments, comme en section 3.3, considérons le cadre de l’estimation de densité avec le coût des moindres carrés et des estimateurs par histogrammes réguliers de pas $h_{m}>0$ (Arlot et Lerasle, 2016). Alors, les résultats énoncés en section 3.3 se généralisent, seuls les termes $\mathcal{W}_{i}(h_{m},P)$ devant être changés en $\mathcal{W}_{i}(h_{m},h_{m^{\prime}},P)$. Toutes les comparaisons qualitatives entre méthodes énoncées en section 3.3 sont donc encore valables pour la sélection d’estimateurs.

La nouveauté vient des aspects quantitatifs. Si $h_{m}$ et $h_{m^{\prime}}$ sont de «  bonnes  » valeurs (suffisamment différentes pour qu’il soit utile de savoir choisir entre les deux), alors $\mathcal{W}_{2}(h_{m},h_{m^{\prime}},P)\ll\mathcal{W}_{2}(h_{m},P)$ : la variance des incréments est donc beaucoup plus faible que la variance des critères, un phénomène déjà remarqué par Breiman et Spector (1992, sections 5.1 et 7.3) dans un autre cadre.

Par ailleurs, $n^{-1}\mathcal{W}_{2}(h_{m},h_{m^{\prime}},P)$ est alors du même ordre de grandeur que $n^{-2}\mathcal{W}_{1}(h_{m},h_{m^{\prime}},P)$. L’ordre de grandeur de la variance des incréments est donc aussi impacté par les valeurs de $C_{1}^{\mathrm{vf}}(V,n)$ ou $C_{1}^{\mathrm{MC}}(V,n,n_{e})$. Ceci change la donne pour la validation croisée $V$-fold : à $V$ fixé, la variance des incréments diminue au premier ordre ! Cependant, cette diminution reste de l’ordre d’une constante numérique (au plus $C_{1}^{\mathrm{vf}}(2,n)$ qui tend vers $10$ quand $n$ tend vers l’infini). De plus, vu la formule donnant $C_{1}^{\mathrm{vf}}(V,n)$, il suffit de prendre $V=5$ ou $10$ pour que la variance soit très proche de son minimum. Nous renvoyons aux résultats de la fin de la section 3.3 pour discuter le cas Monte-Carlo et la comparaison avec le $V$-fold (à réinterpréter en tenant compte de la différence d’ordre de grandeur des $\mathcal{W}_{i}$ quand on considère les incréments). Les expériences numériques de Arlot et Lerasle (2016, section 6) permettent également de bien visualiser les ordres de grandeur des termes $\mathcal{W}_{i}$ dans des cas réalistes.

4.4 Analyse au deuxième ordre : surpénalisation

La deuxième partie de la section 4.1 met en évidence un deuxième facteur important à prendre en compte au deuxième ordre, en plus de la variance des incréments : le fait que «  surpénaliser  » un peu améliore souvent les performances.

Prenons le cas de l’estimation de densité par moindres carrés. Alors, en comparant la validation croisée $V$-fold et la validation croisée $V$-fold corrigée, Arlot et Lerasle (2016) montrent que la validation croisée $V$-fold surpénalise d’un facteur :

[TABLE]

Plus généralement, si l’on suppose (8) et (9) vérifiées avec $\gamma(m)=2\beta(m)$ (comme c’est le cas en estimation de densité par moindres carrés), alors, la validation croisée avec un échantillon d’entraînement de taille $n_{e}$ surpénalise d’un facteur :

[TABLE]

Lorsque surpénaliser est bénéfique, à variance constante, il est donc préférable de prendre $n_{e}\approx\kappa n$ avec $\kappa\in\,\,]0,1[$ fonction du facteur de surpénalisation optimal. Par exemple, si l’optimum est de surpénaliser d’un facteur $1,12$ (comme dans le cadre de la figure 1), on obtient que le mieux est d’avoir $n_{e}=n/1,24$, ce qui correspond au $5$-fold. Si l’optimum est de surpénaliser d’un facteur $3/2$, le mieux est d’avoir $n_{e}=n/2$, ce qui correspond au $2$-fold. Et lorsque le facteur de surpénalisation optimal est plus grand, il faut prendre $n_{e}$ encore plus petit, ce qui est impossible avec une méthode «  $V$-fold  » !

Attention toutefois à ne pas oublier que ceci n’est correct que si l’on compare des critères de même variance. Si l’on augmente la variance pour surpénaliser (comme on le fait en diminuant $V$ pour le $V$-fold), on gagne d’un côté mais on perd de l’autre. In fine, de nombreux cas de figure peuvent se produire quand on trace le risque du prédicteur final obtenu par validation croisée $V$-fold en fonction de $V$ : il peut décroître avec $V$, augmenter avec $V$, ou être minimal pour une valeur de $V$ «  intermédiaire  », comme le montrent des simulations numériques (Arlot et Lerasle, 2016).

Si l’on veut y voir clair, il faut raisonner en changeant un seul facteur à la fois parmi le nombre $V$ de découpages (qui influe sur la variance) et la taille $n_{e}$ de l’échantillon d’entraînement (qui définit la surpénalisation, en influant assez peu sur la variance). Ceci peut se faire naturellement avec la validation croisée Monte-Carlo. Peut-on le faire avec une stratégie «  $V$-fold  », qui est un peu meilleure que la stratégie Monte-Carlo en termes de variance ? Oui, avec la pénalisation $V$-fold (Arlot, 2008; Arlot et Lerasle, 2016). Sans la définir précisément ici, décrivons-en le principe : il s’agit d’une méthode de pénalisation

[TABLE]

définie pour une partition $(B_{j})_{1\leqslant j\leqslant V}$ en $V$ blocs de même taille, qui coïncide avec la validation croisée $V$-fold corrigée si $C=1$. En estimation de densité par moindres carrés, elle coïncide avec la validation croisée $V$-fold si

[TABLE]

Alors, on peut choisir pour $C$ un «  bon  » facteur de surpénalisation (en supposant que l’on connaît une telle valeur), et ensuite on choisit $V$ aussi grand que possible afin de minimiser la variance.

Remarque 12** (Pénalisation $V$-fold ou validation croisée Monte-Carlo ?).**

On a proposé deux stratégies pour découpler $V$ et $n_{e}$ : la validation croisée Monte-Carlo et la pénalisation $V$-fold. Laquelle choisir en pratique ? Au vu des calculs de variance de Arlot et Lerasle (2016), la pénalisation $V$-fold semble préférable : pour une même valeur de $V$ et de la constante de surpénalisation, on obtient le plus souvent une variance plus faible. Cependant, ceci est valable dans un cadre bien précis, et il n’est pas certain que cela soit toujours vrai hors de ce cadre. Pire encore, le fait que la pénalisation $V$-fold surpénalise bien d’un facteur $C$ (en particulier, le fait qu’elle estime sans biais le risque lorsque $C=1$) n’est vraisemblablement pas valable lorsque l’hypothèse (9) n’est pas vérifiée. Au final, il semble raisonnable d’utiliser la pénalisation $V$-fold pour la sélection parmi des prédicteurs «  réguliers  » — c’est-à-dire, susceptibles de vérifier (9), au moins approximativement. Dans les autres cas, mieux vaut utiliser la validation croisée Monte-Carlo (ou $V$-fold répétée, si c’est possible). Et quoi qu’il en soit, il ne faut pas oublier de bien choisir $V$ et $C$ ou $n_{e}$, selon le cas.

5 Conclusion

5.1 Choix d’une procédure de validation croisée

Comment choisir une procédure de validation croisée pour un problème donné ?

Tout d’abord, lorsque le temps de calcul disponible est limité, il faut prendre en compte la complexité algorithmique des procédures de validation croisée. Dans la plupart des cas, celle-ci est proportionnelle au nombre $V$ de découpages (il faut mettre en œuvre $V$ fois chaque règle $\widehat{f}_{m}$ considérée). Parfois, les critères de validation croisée peuvent être calculés plus efficacement, comme détaillé par Arlot et Celisse (2010, section 9).

Dans les cas «  réguliers  », comme l’estimation de densité par moindres carrés, les résultats décrits en section 4 suggèrent la stratégie suivante. Dans un premier temps, choisir un facteur de surpénalisation ($1$ si l’on veut estimer le risque ; souvent un peu plus pour un problème de sélection d’estimateurs). Si l’on utilise la validation croisée Monte-Carlo (ou le $V$-fold répété), ceci se fait en choisissant la taille $n_{e}$ de l’échantillon d’entraînement. Si l’on utilise la pénalisation $V$-fold (définie en section 4.4, voir notamment la remarque 12), ceci se fait directement avec le paramètre $C$. Puis on choisit le nombre $V$ de découpages, en le prenant aussi grand que possible pour optimiser la performance statistique, dans la limite des capacités de calcul. Les calculs de variance reportés en section 4.3 indiquent qu’il n’est pas nécessaire de prendre $V$ très grand pour avoir une performance quasi optimale. Avec une précision importante : ceci n’est totalement vrai que si $n_{e}$ est de l’ordre de $\kappa n$ avec $\kappa\in\,\,]0,1[$. Sinon (par exemple lorsque $n_{e}=n-1$), la variance de la validation simple peut être beaucoup plus grande que celle du leave-$(n-n_{e})$-out, et alors il est nécessaire de prendre $V$ très grand pour obtenir une variance du bon ordre de grandeur.

Si l’on s’impose d’utiliser la validation croisée $V$-fold, choisir $V$ peut s’avérer plus délicat, car ce paramètre détermine simultanément le facteur de surpénalisation (via la taille $n(V-1)/V$ de l’échantillon d’entraînement) et le nombre de découpages. Pour la sélection d’estimateurs, en admettant que dans la plupart des cas il est bon de surpénaliser «  un peu  » (comme on le constate empiriquement), alors prendre $V$ entre $5$ et $10$ est un très bon choix (voire optimal). En effet, on surpénalise alors d’un facteur entre $1,05$ et $1,12$ et l’on a une variance proche de sa valeur minimale possible. Cette fourchette de valeurs de $V$ correspond d’ailleurs aux conseils classiques dans la littérature statistique303030C’est par exemple le conseil donné par Hastie et al. (2009, section 7.10.1). Les intuitions généralement proposées pour étayer ce conseil sont cependant différentes des arguments donnés dans ce texte, et parfois en contradiction avec les résultats théoriques rapportés dans ce texte. Par exemple, il est faux de dire que le $5$-fold a toujours une variance plus faible que le leave-one-out.. Si l’objectif est d’estimer le risque d’un prédicteur, la situation est un peu différente car il faut choisir $V$ le plus grand possible pour minimiser le biais (et la variance) : les formules donnant biais et variance en fonction de $V$ permettent alors d’évaluer où se situe le meilleur compromis entre précision statistique et complexité algorithmique.

Dans le cas général, en particulier quand on s’intéresse à un ou plusieurs prédicteurs «  instables  », le comportement des procédures de validation croisée peut être différent, ce dont témoignent plusieurs résultats empiriques rapportés par Arlot et Celisse (2010, sections 5.2 et 8), en particulier ceux de Breiman (1996, section 7). Il semble alors préférable de réaliser des expériences numériques (par exemple, sur des données synthétiques) pour déterminer le comportement de la validation croisée en fonction de $n_{e}$ et $V$. Au vu des sections 3 et 4, trois quantités clé sont à étudier. D’une part, le risque moyen $\mathbb{E}[\mathcal{R}_{P}(\widehat{f}_{m}(D_{n}))]$ et sa dépendance en la taille $n$ de l’échantillon permettent de comprendre le biais de la validation croisée (et son comportement au premier ordre pour la sélection d’estimateurs). D’autre part, pour prendre en compte la variance, la quantité à calculer dépend de l’objectif. Si l’on s’intéresse à l’estimation du risque, alors il faut calculer la variance de l’estimateur par validation croisée du risque d’une règle $\widehat{f}_{m}$. Si l’on s’intéresse à la sélection d’estimateurs, alors la quantité à calculer est

[TABLE]

est le choix oracle et $m$ est «  proche  » de l’oracle. Notons que l’on peut s’épargner certains calculs de variance en utilisant la proposition 3 et la formule (13) en section 3.3, ainsi que leurs généralisations aux incréments d’estimateurs par validation croisée.

Remarque 13** (Objectif d’identification).**

On aboutit à des conclusions différentes quand on a pour objectif d’identifier le «  vrai  » modèle313131Le vrai modèle est défini comme le plus petit modèle contenant $f^{\star}$, en supposant qu’il existe. ou la règle d’apprentissage dont l’excès de risque décroît le plus vite parmi $(\widehat{f}_{m})_{m\in\mathcal{M}_{n}}$ (Arlot et Celisse, 2010, section 7). Par exemple, en régression linéaire par moindres carrés, la validation croisée choisit le vrai modèle avec probabilité $1$ asymptotiquement si et seulement si $n_{e}\ll n$ (avec des hypothèses sur $V$, Shao, 1997). Ce phénomène se généralise à d’autres cadres et a été nommé «  paradoxe de la validation croisée  » par Yang (2006, 2007) : pour l’identification, plus on a d’observations à disposition, plus il faut en utiliser une fraction petite pour l’entraînement. On peut rapprocher ces résultats du fait qu’il est nécessaire de surpénaliser fortement pour une identification optimale, d’où le fait que BIC fonctionne, alors que AIC et $C_{p}$ sont sous-optimales. Signalons enfin que pour l’identification, Yang conseille d’utiliser la variante «  par vote majoritaire  » de la validation croisée, définie en section 2.4.

5.2 Validation croisée ou procédure spécifique ?

Lorsqu’une autre procédure de sélection d’estimateurs est disponible — par exemple, $C_{p}$ ou AIC —, faut-il la préférer à la validation croisée ?

Si l’on est dans le cadre spécifique pour lequel cette procédure a été construite (pour $C_{p}$, la régression linéaire homoscédastique avec le coût quadratique et des estimateurs des moindres carrés), alors c’est elle qu’il faut utiliser. Des expériences numériques montrent en effet que la validation croisée fonctionne alors souvent un peu moins bien que les procédures spécifiques. C’est le prix de l’«  universalité  » de la validation croisée.

En revanche, si l’on risque de sortir un peu du cadre où la procédure «  spécifique  » est connue pour être optimale (par exemple, pour $C_{p}$, si l’on soupçonne les données d’être hétéroscédastiques), alors il est plus sûr d’utiliser une procédure «  universelle  » comme la validation croisée (si les capacités de calcul disponibles le permettent).

5.3 Limites de l’universalité

Il est bon de garder en tête que la validation croisée ne peut pas fonctionner parfaitement d’une manière totalement universelle, ne serait-ce qu’à cause des résultats «  on n’a rien sans rien  » (Arlot, 2017, section 6). En particulier, la validation croisée suppose implicitement qu’il est possible d’évaluer le risque d’un prédicteur $f\in\mathcal{F}$ à partir de $n-n_{e}$ observations. Ce n’est clairement pas possible dans l’exemple construit pour démontrer le premier résultat «  on n’a rien sans rien  » de Arlot (2017, théorème 3 en section 6).

Des problèmes se posent également lorsque les hypothèses explicitement faites par la validation croisée sont violées (données indépendantes et de même loi ; et pour la sélection d’estimateurs, la collection $(\widehat{f}_{m})_{m\in\mathcal{M}_{n}}$ est supposée n’être «  pas trop grande  ») (Arlot, 2017, section 3.9).

• —

Lorsque les données sont dépendantes, les échantillons d’entraînement et de validation ne sont plus nécessairement indépendants, ce qui peut induire un biais assez fort pour l’estimation du risque d’une règle d’apprentissage. Dans le cas de dépendance à courte portée, ce biais peut être évité en utilisant des échantillons d’entraînement $D_{n}^{E}$ et de validation $D_{n}^{V}$ tels que $E$ et $V$ sont suffisamment éloignés.

• —

Pour une série temporelle non-stationnaire, si l’on s’intéresse à la prévision du «  futur  » à partir du «  passé  », on ne peut pas utiliser la validation croisée telle quelle. En choisissant un échantillon d’entraînement dans le passé par rapport à l’échantillon de validation (et en les éloignant si besoin), on peut appliquer la validation simple, mais sans garantie en raison de la non-stationnarité. Si l’on a observé une série assez longue, on peut également utiliser une fenêtre glissante pour multiplier les couples entraînement/validation.

• —

En présence de données aberrantes, il est indispensable d’utiliser des prédicteurs robustes et/ou une fonction de coût robuste.

• —

Pour la sélection d’estimateurs parmi une collection exponentielle (Arlot, 2017, section 3.9), le principe d’estimation sans biais du risque ne fonctionne plus et bon nombre de conclusions de ce texte sont erronées. Une idée est alors de «  surpénaliser  » fortement, en prenant un échantillon d’entraînement de petite taille (comme indiqué en section 4), ce qui permet d’avoir une procédure de la deuxième famille décrite par Arlot (2017, section 3.9). Une deuxième stratégie — appelée «  validation croisée en deux étapes  » ou «  double cross  » (Stone, 1974) — est la suivante. D’abord, on forme un nombre polynomial de groupes de règles d’apprentissage. Puis, à l’intérieur de chaque groupe, on utilise la validation croisée pour sélectionner une règle ; on dispose donc d’une «  méta-règle  » associée à chaque groupe. Enfin, on sélectionne par validation croisée l’une de ces méta-règles (en suivant les conseils formulés à la fin de la section 2.1). Cette deuxième stratégie s’applique par exemple pour le problème de détection de ruptures.

Arlot et Celisse (2010, section 8) détaillent tous ces points et donnent des références bibliographiques.

6 Annexe : exercices

Exercice 1**.**

On se place en classification [math]–$1$. Soit $\widehat{f}$ la règle par partition associée à la partition triviale $\mathcal{A}=\{\mathcal{X}\}$; autrement dit, $\widehat{f}((x_{i},y_{i})_{1\leqslant i\leqslant n};x)$ réalise un vote majoritaire parmi les $y_{i}$, sans tenir compte des $x_{i}$ ni de $x$.

Démontrer que $\widehat{f}$ n’est pas intelligente. En déduire qu’aucune règle par partition (sur une partition $\mathcal{A}$ fixe quand $n$ varie) n’est intelligente.

Modifier légèrement $\widehat{f}$ pour la rendre intelligente.

Exercice 2**.**

On se place en classification [math]–$1$. Soit $\widetilde{f}$ la règle par partition associée à la partition triviale $\mathcal{A}=\{\mathcal{X}\}$, avec une décision «  randomisée  » dans les cas d’égalité : s’il y a exactement $n/2$ des $y_{i}$ qui sont égaux à $1$, $\widetilde{f}((x_{i},y_{i})_{1\leqslant i\leqslant n};x)$ vaut $1$ avec probabilité $1/2$ et vaut [math] avec probabilité $1/2$. La notion de règle intelligente s’étend naturellement à $\widetilde{f}$ en prenant aussi l’espérance sur la randomisation interne $\widetilde{f}$ dans la définition de son risque moyen.

Démontrer que $\widetilde{f}$ est intelligente. En déduire que tout règle par partition (sur une partition $\mathcal{A}$ fixe quand $n$ varie), randomisée de la même manière en cas d’égalité, est intelligente.

Exercice 3**.**

Démontrer la remarque 10 en section 3.3. En particulier, si $(B_{j}^{\ell})_{1\leqslant j\leqslant V}$, $\ell\in\{1,\ldots,L\}$, est une suite de partitions de $\{1,\ldots,n\}$, indépendantes et de même loi uniforme sur l’ensemble des partitions de $\{1,\ldots,n\}$ en $V$ blocs de même taille, indépendante de $D_{n}$, démontrer la formule suivante pour la variance de l’estimateur par validation croisée $V$-fold répétée du risque d’une règle d’apprentissage $\widehat{f}_{m}$ :

[TABLE]

Exercice 4**.**

Démontrer la formule (13) donnant la variance du critère par validation simple.

Remerciements

Cet texte fait suite à un cours donné dans le cadre des Journées d’Études en Statistique 2016. Il s’agit d’une version préliminaire du chapitre 3 du livre Apprentissage statistique et données massives, édité par Frédéric Bertrand, Myriam Maumy-Bertrand, Gilbert Saporta et Christine Thomas-Agnan, à paraître aux éditions Technip.

Je remercie vivement tous les collègues avec qui j’ai travaillé sur ce sujet, en particulier mes coauteurs Alain Celisse, Matthieu Lerasle et Nelo Magalhães. Je remercie également Matthieu Lerasle pour avoir relu ce texte, ainsi que les étudiants qui ont suivi mon cours de master 2 «  apprentissage statistique et rééchantillonnage  » à l’Université Paris-Sud et les participants des JES 2016 pour leurs questions et commentaires.

Références

• Arlot (2008)

Sylvain Arlot :

$V$-fold cross-validation improved: $V$-fold penalization, février 2008.

arXiv:0802.0566v2.

• Arlot (2017)

Sylvain Arlot :

Fondamentaux de l’apprentissage statistique, 2017.

Preprint hal-01485506.

• Arlot et Celisse (2010)

Sylvain Arlot et Alain Celisse :

A survey of cross-validation procedures for model selection.

Statistics Surveys, 4:40–79, 2010.

• Arlot et Lerasle (2016)

Sylvain Arlot et Matthieu Lerasle :

Choice of $V$ for $V$-fold cross-validation in least-squares density estimation.

Journal of Machine Learning Research (JMLR), 17(208):1–50, 2016.

• Arlot et Massart (2009)

Sylvain Arlot et Pascal Massart :

Data-driven calibration of penalties for least-squares regression.

Journal of Machine Learning Research (JMLR), 10:245–279 (electronic), 2009.

• Birgé et Massart (2007)

Lucien Birgé et Pascal Massart :

Minimal penalties for Gaussian model selection.

Probability Theory and Related Fields, 138(1-2):33–73, 2007.

• Breiman et al. (1984)

L Breiman, JH Friedman, RA Olshen et CJ Stone :

Classification and Regression Trees.

Chapman & Hall, New York, 1984.

• Breiman (1996)

Leo Breiman :

Heuristics of instability and stabilization in model selection.

The Annals of Statistics, 24(6):2350–2383, 1996.

• Breiman et Spector (1992)

Leo Breiman et Philip Spector :

Submodel Selection and Evaluation in Regression. The X-Random Case.

International Statistical Review, 60(3):291–319, 1992.

• Burman (1989)

Prabir Burman :

A comparative study of ordinary cross-validation, $v$-fold cross-validation and the repeated learning-testing methods.

Biometrika, 76(3):503–514, 1989.

• Devroye et al. (1996)

Luc P. Devroye, László Györfi et Gábor Lugosi :

A Probabilistic Theory of Pattern Recognition, volume 31 de Applications of Mathematics (New York).

Springer-Verlag, New York, 1996.

• Dwork et al. (2015)

Cynthia Dwork, Vitaly Feldman, Moritz Hardt, Toniann Pitassi, Omer Reingold et Aaron Roth :

The reusable holdout: preserving validity in adaptive data analysis.

Science, 349(6248):636–638, 2015.

• Efron (1986)

Bradley Efron :

How biased is the apparent error rate of a prediction rule?

Journal of the American Statistical Association, 81(394):461–470, 1986.

• Golub et al. (1979)

Gene H. Golub, Michael Heath et Grace Wahba :

Generalized cross-validation as a method for choosing a good ridge parameter.

Technometrics, 21(2):215–223, 1979.

• Hastie et al. (2009)

T. Hastie, R. Tibshirani et J Friedman :

The elements of statistical learning : data mining, inference, and prediction.

Springer, 2009.

Second edition.

• Jung et Hu (2015)

Yoonsuh Jung et Jianhua Hu :

A $K$-fold averaging cross-validation procedure.

Journal of Nonparametric Statistics, 27(2):167–179, 2015.

• Krueger et al. (2015)

Tammo Krueger, Danny Panknin et Mikio Braun :

Fast cross-validation via sequential testing.

Journal of Machine Learning Research, 16:1103–1155, 2015.

• Lerasle (2012)

Matthieu Lerasle :

Optimal model selection in density estimation.

Annales de l’Institut Henri Poincaré Probabilités et Statistiques, 48(3):884–908, 2012.

• Maillard (2016)

Guillaume Maillard :

Validation croisée agrégée.

Mémoire de master 2, Université Paris-Saclay, 2016.

• Press et al. (1992)

W.H. Press, S.A. Teukolsky, W.T. Vetterling et B.P. Flannery :

Numerical Recipes in C.

Cambridge University Press, deuxième édition, 1992.

• Shao (1997)

Jun Shao :

An asymptotic theory for linear model selection.

Statistica Sinica, 7(2):221–264, 1997.

With comments and a rejoinder by the author.

• Stone (1974)

Mervyn Stone :

Cross-validatory choice and assessment of statistical predictions.

Journal of the Royal Statistical Society. Series B (Methodological), pages 111–147, 1974.

• Yang (2006)

Yuhong Yang :

Comparing learning methods for classification.

Statistica Sinica, 16(2):635–657, 2006.

• Yang (2007)

Yuhong Yang :

Consistency of cross validation for comparing regression procedures.

The Annals of Statistics, 35(6):2450–2473, 2007.

Index

• agrégation §2.4

• AIC §3.3.3, §5.2, Remarque 13—Remarque 13

• analyse discriminante

• linéaire §2.3

• quadratique §2.3

• arbre de décision

• CART §3.3.3

• bagging §2.4

• BIC Remarque 13

• classification supervisée 2nd item, Remarque 7

• multiclasse 2nd item

• compromis biais-variance §1

• consistance

• en sélection, *voir *sélection de modèles

• universelle Remarque 7

• $C_{p}$ §3.3.3, §5.2, Remarque 13—Remarque 13

• détection de ruptures 4th item

• données aberrantes 3rd item

• échantillon d’apprentissage Définition 1

• échantillon d’entraînement §2.1, Définition 1

• échantillon test §2.1

• échantillon de validation §2.1, Définition 1

• erreur d’approximation §3.1

• erreur d’estimation §3.1

• estimation de densité Parenthèse 1

• par moindres carrés, *voir *moindres carrés

• histogramme, *voir *partition

• hold-out, *voir *validation simple

• $k$ plus proches voisins §2.3, Parenthèse 6, Remarque 7

• moindres carrés

• estimation de densité §3.1, §3.3.3—§3.3.3, §4.3—§4.4, §5.1, Parenthèse 8

• régression linéaire §2.3—§2.3, §2.3, Figure 1, Figure 1, §4.2, §5.2, Remarque 13

• Nadaraya-Watson (estimateur de), *voir *noyau (règle d’apprentissage)

• noyau (règle d’apprentissage) Parenthèse 6, Remarque 7

• partition, *voir aussi *arbre de décision

• règle de classification §6, Exercice 1—Remarque 7

• règle de régression §3.1, Parenthèse 8

• pénalisation, *voir *sélection de modèles

• plus proches voisins, *voir *$k$ plus proches voisins

• PRESS footnote 13

• règle d’apprentissage

• intelligente §6, Exercice 1—Remarque 7

• randomisée Exercice 2

• règle du 1 écart-type §4.1.2

• régression

• homoscédastique §5.2

• (par) moindres carrés, *voir *moindres carrés

• (par) partition, *voir *partition

• ridge §2.3, Parenthèse 6

• régressogramme, *voir *partition, règle de régression

• réseau de neurones §3.3.3

• risque

• estimation d’un risque Validation croisée, §1, §2.1—§2.1, §3—§3.3.3, §4.1, §5—§5.3

• quadratique Parenthèse 1

• sélection d’estimateurs Validation croisée—§1, §2.1, §2.3—§2.4, §4—§5.3

• principe d’estimation sans biais du risque §4.1.2, 4th item

• sélection de modèles 1st item

• consistance en sélection Remarque 13

• pénalisation §3.3.3, §4.1.2—§4.1.2, §4.4, §4.4—Parenthèse 8

• sous-apprentissage §1

• stabilité §3.3.3, §5.1

• surapprentissage §1, §4.1.2

• validation croisée Validation croisée—Remerciements

• agrégée §2.4

• (par) blocs, *voir *$V$-fold

• corrigée §3.2—§3.2, §4.2, §4.4—Parenthèse 11

• généralisée (GCV) Parenthèse 6

• incomplète équilibrée Remarque 5

• leave-one-out §2.2, §2.3, 1st item, §3.1

• leave-$p$-out §2.2, §2.3, §3.3.3, §4.3, Proposition 2

• Monte-Carlo §2.2, §3.3.2—§3.3.2, §3.3.3—§3.3.3, §4.3, §4.4, §4.4—Remarque 5

• répétée, *voir *Monte-Carlo

• $V$-fold §2.2, 2nd item, §3.3.3, §3.3.3, §4.3, §4.4—Remarque 5

• $V$-fold répétée §2.2, §5.1, Exercice 3, Remarque 10, Remarque 12

• (par) vote §2.4, Remarque 13

• validation simple §2.2, §3.3.2, §3.3.3, §4.3, Définition 1, Exercice 4, Proposition 2, Parenthèse 1

• variance conditionnelle §3.3.2