Cross-validation and penalization for density estimation

Validation croisée et pénalisation pour l'estimation de densité

Nelo Molter Magalhães Magalhães (1, 2)

1 LPMA - Laboratoire de Probabilités et Modèles Aléatoires
2 LMO - Laboratoire de Mathématiques d'Orsay

This thesis takes place in the density estimation setting from a nonparametric and nonasymptotic point of view. It concerns the statistical algorithm selection problem which generalizes, among others, the problem of model and bandwidth selection. We study classical procedures, such as penalization or resampling procedures (in particular V-fold cross-validation), which evaluate an algorithm by estimating its risk. We provide, thanks to concentration inequalities, an optimal penalty for selecting a linear estimator and we prove oracle inequalities and adaptative properties for resampling procedures. Moreover, new resampling procedure, based on estimator comparison by the mean of robust tests, is introduced as an alternative to procedures relying on the unbiased risk estimation principle. A second goal of this work is to compare these procedures from a theoretical point of view and to understand the role of V for V-fold penalization. We validate these theoretical results on empirical studies.

Cette thèse s'inscrit dans le cadre de l'estimation d'une densité, considéré du point de vue non-paramétrique et non-asymptotique. Elle traite du problème de la sélection d'une méthode d'estimation à noyau. Celui-ci est une généralisation, entre autre, du problème de la sélection de modèle et de la sélection d'une fenêtre. Nous étudions des procédures classiques, par pénalisation et par rééchantillonnage (en particulier la validation croisée V-fold), qui évaluent la qualité d'une méthode en estimant son risque. Nous proposons, grâce à des inégalités de concentration, une méthode pour calibrer la pénalité de façon optimale pour sélectionner un estimateur linéaire et prouvons des inégalités d'oracle et des propriétés d'adaptation pour ces procédures. De plus, une nouvelle procédure rééchantillonnée, reposant sur la comparaison entre estimateurs par des tests robustes, est proposée comme alternative aux procédures basées sur le principe d'estimation sans biais du risque. Un second objectif est la comparaison de toutes ces procédures du point de vue théorique et l'analyse du rôle du paramètre V pour les pénalités V-fold. Nous validons les résultats théoriques par des études de simulations.

Keywords: Slope heuristics; Adaptative estimation; Hellinger loss; Non-parametric statistics; Density estimation; Estimator selection; Statistical algorithm selection; Linear estimators; V-fold cross-validation; Penalization; T-estimation; Oracle inequalities; Slope heuristics; Slope heuristics

Keywords: Statistiques non-paramétriques; Estimation de densité; Sélection d'estimateur; Sélection d'une méthode d'estimation; Estimateurs linéaires; Validation croisée V-fold; Pénalisation; T-estimation; Inégalités d'oracle; Heuristique de pente; Estimation adaptative; Perte Hellinger; Statistiques non-paramétriques; Statistiques non-paramétriques

Domains: General Mathematics [math.GM]

Nelo Molter Magalhães Magalhães. Validation croisée et pénalisation pour l'estimation de densité. Mathématiques générales [math.GM]. Université Paris Sud - Paris XI, 2015. Français. ⟨NNT : 2015PA112100⟩. ⟨tel-01164581⟩