HANDLING MISSING DATA WITH SUPERPOPULATION MODELS, DESIGN BASED APPROACH AND MACHINE LEARNING.
TRAITEMENT DES DONNÉES MANQUANTES AVEC DES MODÈLES DE SUPERPOPULATION, EN UTILISANT UNE APPROCHE BASÉE SUR LE PLAN DE SONDAGE ET DES METHODES D'APPRENTISSAGE AUTOMATIQUE
Résumé
Survey theory is encountering new fields of application in connection with machine learning methods and Big Data. The main topic of this thesis is the treatment of missing data, including by machine learning methods. The treatment of non-response is of great practical interest, given the steady decline in survey response rates over the last few decades. In survey statistics, a distinction is made between total non-response and partial non-response. Total non-response occurs when no information is available for a unit in the sample, while partial non-response occurs when only a few variables of interest are known. Total non-response is generally dealt with by weight adjustment procedures. Partial non-response, on the other hand, tends to be handled by imputation methods. Weighting and imputation share the same objective: to reduce nonresponse bias and, if possible, limit nonresponse variance. In this thesis, we propose a new imputation method that preserves the correlation between the variables of interest in two stages. In the first stage, initial imputed values are obtained using Shao and Wang's method. The initial values are then modified to meet calibration constraints (based on MIVQUE estimators of the model parameters). The second part of this thesis proposes two imputation procedures that preserve the finite population distribution function when the variables of interest have a large number of zero values. The last part of this thesis is devoted to the estimation of response probabilities in a context of weighting to correct for total nonresponse. Response probabilities can be estimated using parametric or non-parametric methods. We carry out an extensive simulation study to compare a large number of methods for estimating response probabilities by supervised learning, in a finite population framework. In these simulations, we cover a wide range of parametric and non-parametric methods, with simple or aggregated decision rules such as Random Forests and Boosting. For each method, the performance of the expansion estimator and the Hajek estimator of a total are measured in terms of relative bias and relative efficiency.
La théorie des sondages rencontre de nouveaux champs d’application en relation avec les méthodes d’apprentissage ou Machine Learning, ainsi que les données massives ou Big Data. Le sujet principal de cette thèse est le traitement des données manquantes y compris par les méthodes d’apprentissage machine. Le traitement de la non-réponse est d’un intérêt pratique très important étant donnée la baisse constante du taux de réponse aux enquêtes depuis plusieurs décennies. En statistique d’enquête, on distingue la non réponse totale de la non réponse partielle. La première a lieu lorsqu’aucune information n’est utilisable pour une unité de l’échantillon alors que la seconde correspond au cas où seules quelques variables d’intérêt sont renseignées. La non réponse totale est généralement traitée par des procédures d’ajustement de poids. En revanche, la non réponse partielle est plutôt traitée par des méthodes d'imputation. Pondération et imputation partagent le même objectif : réduire le biais de non réponse et, si possible, limiter la variance de non réponse. Dans la première partie de ce travail de thèse, nous proposons une nouvelle méthode d’imputation préservant la corrélation entre les variables d’intérêt en deux étapes. La première étape consiste à obtenir des valeurs imputées initiales par la méthode de Shao et Wang. Ensuite les valeurs initiales sont modifiées de façon à respecter des contraintes de calages (basées sur des estimateurs MIVQUE des paramètres de modèle). La deuxième partie de cette thèse propose deux procédures d’imputation qui préservent la fonction de répartition en population finie quand les variables d’intérêt présentent un grand nombre de valeurs nulles. La dernière partie de cette thèse est consacrée à l’estimation des probabilités de réponse dans un contexte de pondération pour correction de la non réponse totale. Les probabilités de réponse peuvent être estimées par des méthodes paramétriques ou non paramétriques. Nous faisons une vaste étude par simulation pour comparer un grand nombre de méthodes d’estimation des probabilités de réponse par apprentissage supervisé, dans un cadre de population finie. Dans ces simulations, nous couvrons un large champ de méthodes paramétriques ou non, avec des règles de décisions simples ou agrégées telles que Random Forests et Boosting. Pour chaque méthode, ce sont les performances de l’estimateur par expansion et de l’estimateurs de Hajek d’un total qui sont mesurées en termes de biais relatif et d’efficacité relative.
Mots clés
bias
Boosting
calibration
imputation
machine learning
non response
Random Forest
regression
survey sampling
variance
weighting
5 6 3 Scatter plots of p2 and variables of interest 5 6 4 Scatter plots of p3 and variables of interest 5 6 5 Scatter plots of p4 and variables of interest
5
6
3 Scatter plots of p2 and variables of interest
4 Scatter plots of p3 and variables of interest
5 Scatter plots of p4 and variables of interest
Biais
Boosting
calibration
apprentissage automatique
imputation
non réponse
Random Forest
régression
variance
échantillonnage de l'enquête
pondération
Domaines
Statistiques [stat]Origine | Fichiers produits par l'(les) auteur(s) |
---|