ED Mathématiques et Informatique
Algorithmes d'ordonnancement pour l'optimisation des modèles d'apprentissage automatique distribués sur des ressources hétérogènes
par Alan LIRA NUNES (LaBRI - Laboratoire Bordelais de Recherche en Informatique)
Cette soutenance a lieu à 15h00 - 310 Universidade Federal Fluminense (UFF), Instituto de Computação, Rua Passo da Pátria, 156, - São Domingos, Niterói, RJ, 24210-310, Brésil
devant le jury composé de
- Laércio LIMA PILLA - Chargé de recherche - Université de Bordeaux - Directeur de these
- Shadi IBRAHIM - Chargé de recherche - INRIA - Rapporteur
- Alfredo GOLDMAN - Professeur des universités - Universidade de São Paulo - Rapporteur
- Valmir BARBOSA - Professeur des universités - Universidade do Estado do Rio de Janeiro - Examinateur
- César DE ROSE - Professeur des universités - Pontifícia Universidade Católica do Rio Grande do Sul - Examinateur
- Débora SAADE - Professeure des universités - Universidade Federal Fluminense - Examinateur
- Lúcia DRUMMOND - Professeure des universités - Universidade Federal Fluminense - CoDirecteur de these
L'apprentissage fédéré (Federated Learning, FL) permet à plusieurs clients d'entraîner collaborativement des modèles d'apprentissage automatique sans partager leurs données brutes. Cependant, le FL cross-device reste difficile en pratique, car les clients diffèrent en capacité de calcul, qualité de communication, énergie disponible, distributions locales de données et fiabilité. Dans le FL synchrone, ces différences affectent l'efficacité du système et les performances d'apprentissage : des clients lents, contraints en énergie ou peu représentatifs peuvent retarder l'entraînement, accroître la consommation de ressources ou dégrader la convergence. La plupart des stratégies existantes décident seulement si un client participe à un tour de communication, tandis que les clients sélectionnés entraînent généralement le modèle sur l'ensemble de leurs données locales, limitant l'adaptation de la charge par client. Cette thèse aborde la sélection de clients dans le FL synchrone cross-device sous l'angle de l'ordonnancement de tâches. Les clients sont modélisés comme des ressources hétérogènes, et la charge d'un tour est décomposée en tâches correspondant à des sous-ensembles de données locales. Ainsi, le serveur peut décider quels clients participent et quelle quantité de données chacun doit traiter. Cette formulation permet une allocation fine de la charge sur des ressources hétérogènes et soutient l'optimisation conjointe d'objectifs liés au système et à l'apprentissage. Cette thèse propose d'abord MEC et ECMTC, deux algorithmes d'ordonnancement optimaux pour l'allocation de charge tenant compte du temps et de l'énergie. MEC minimise d'abord la durée du tour, puis la consommation d'énergie, tandis qu'ECMTC minimise d'abord la consommation d'énergie, puis la durée du tour sous contrainte de temps. Ces algorithmes reposent sur la programmation dynamique et fournissent des ordonnancements optimaux pour leurs ordres d'objectifs respectifs. La thèse introduit ensuite MetaCS-FL, un framework fondé sur une métaheuristique qui étend cette perspective à un cadre multi-objectifs plus large. Au-delà du temps d'exécution et de l'énergie, MetaCS-FL prend en compte l'utilité du modèle, la qualité de la distribution des classes, la diversité de participation et la fiabilité des clients. Il utilise l'ordonnancement produit par ECMTC comme solution initiale et affine les affectations de tâches aux clients au moyen de la métaheuristique Large Neighborhood Search. Le framework intègre également une resélection déclenchée par événements, la réutilisation de solutions, un contrôle de capacité tenant compte de la fiabilité et la confidentialité différentielle, permettant d'exploiter des informations bruitées sur les distributions de classes sans accéder aux distributions exactes. Les méthodes proposées sont évaluées en classification d'images et de textes, sous distributions IID et non-IID, avec des clients hétérogènes émulés et des comparaisons avec FedAvg et des stratégies de l'état de l'art. Dans les scénarios évalués, MetaCS-FL surpasse globalement les autres algorithmes et obtient le meilleur compromis entre temps d'entraînement, énergie, vitesse de convergence et équité. En disponibilité statique, il réduit le temps total d'entraînement et la consommation d'énergie tout en atteignant la précision cible en moins de tours, sans concentrer la charge sur peu de clients. La variante privée reste proche de la version non privée, indiquant que la divulgation bruitée des distributions préserve des informations utiles à la sélection tout en améliorant la confidentialité. En disponibilité dynamique, avec des clients tardifs ou intermittents, MetaCS-FL maintient des performances supérieures en adaptant les affectations de charge selon la disponibilité, le comportement d'achèvement et la fiabilité des clients.