ED Mathématiques et Informatique
Applications de la théorie des Matrices Aléatoires en Grandes Dimensions et des Probabilités Libres en Apprentissage Statistique par Réseaux de Neurones
par Issa-Mbenard DABO (IMB - Institut de Mathématiques de Bordeaux)
Cette soutenance a lieu à 10h00 - Salle de conférence 351, cours de la Libération 33400 Talence
devant le jury composé de
- Jeremie BIGOT - Professeur des universités - Université de Bordeaux - Directeur de these
- Jiangfeng YAO - Full professor - Chinese University of Hong Kong - Rapporteur
- Delphine FERAL - Maîtresse de conférences - Université de Bordeaux - Examinateur
- Jamal NAJIM - Directeur de recherche - Université Gustave Eiffel - Examinateur
- Camille MALE - Chargé de recherche - Université de Bordeaux - CoDirecteur de these
- Charles BORDENAVE - Directeur de recherche - Institut de Mathématiques de Marseille - Rapporteur
Le fonctionnement des algorithmes d'apprentissage automatique repose grandement sur la structure des données qu'ils doivent utiliser. La majorité des travaux de recherche en apprentissage automatique se concentre sur l'étude de données homogènes, souvent modélisées par des variables aléatoires indépendantes et identiquement distribuées. Pourtant, les données apparaissant en pratique sont souvent hétérogènes. Nous proposons dans cette thèse de considérer des données hétérogènes en les dotant d'un profil de variance. Cette notion, issue de la théorie des matrices aléatoires, nous permet notamment d'étudier des données issues de modèles de mélanges. Nous nous intéressons plus particulièrement à la problématique de la régression ridge à travers deux modèles : la régression ridge linéaire (linear ridge model) et la régression ridge à caractéristiques aléatoires (random feature ridge model). Nous étudions dans cette thèse la performance de ces deux modèles dans le cadre de la grande dimension, c'est-à-dire lorsque la taille de l'échantillon d'entraînement et la dimension des données tendent vers l'infini avec des vitesses comparables. Dans cet objectif, nous proposons des équivalents asymptotiques de l'erreur d'entraînement et de l'erreur de test relatives aux modèles d'intérêt. L'obtention de ces équivalents repose grandement sur l'étude spectrale issue de la théorie des matrices aléatoires, des probabilités libres et de la théorie des traffics. En effet, la mesure de la performance de nombreux modèles d'apprentissage dépend de la distribution des valeurs propres de matrices aléatoires. De plus, ces résultats nous ont permis d'observer des phénomènes spécifiques à la grande dimension, comme le phénomène de la double descente. Notre étude théorique s'accompagne d'expérience numériques illustrant la précision des équivalents asymptotiques que nous fournissons.