ED Mathématiques et Informatique
Construire, évaluer et comprendre l'IA socioculturelle : utiliser les concepts et méthodes des sciences humaines
par Grgur KOVAC (Institut national de recherche en informatique et en automatique - Bordeaux - Sud-Ouest)
Cette soutenance a lieu à 17h00 - Amphi Edison 200 avenue de la Vieille Tour 33405 Talence
devant le jury composé de
- Pierre-Yves OUDEYER - Directeur de recherche - INRIA, University of Bordeaux - Directeur de these
- Jan SNAJDER - Full professor - University of Zagreb - Rapporteur
- Maarten SAP - Assistant professor - Carnegie Mellon University - Rapporteur
- Clementine FOURRIER - Ingénieure de recherche - Hugging Face, Inc. - Examinateur
- Peter Ford DOMINEY - Directeur de recherche - CNRS, University of Burgundy - CoDirecteur de these
- Mehdi KHAMASSI - Directeur de recherche - CNRS, University of Sorbonne - Examinateur
- Vered SHWARTZ - Assistant professor - University of British Columbia - Examinateur
L'évolution récente de l'intelligence artificielle (IA) a conduit à son intégration croissante dans la culture humaine. Cette présence accrue soulève d'importantes questions scientifiques – notamment socio-culturelles – cruciales pour conceptualiser, concevoir et évaluer les systèmes d'IA, ainsi que comprendre leur impact potentiel sur la société. Bien que ce sujet soit complexe et nuancé, des éclairages précieux viennent de la psychologie et des sciences humaines, qui étudient depuis longtemps le comportement socio-culturel humain et animal. Nous explorons trois questions scientifiques centrales: Quelles capacités un système intelligent doit-il posséder pour intégrer une culture humaine ? En nous appuyant sur les théories psychologiques du développement de Michael Tomasello et Jerome Bruner, nous avons identifié des compétences socio-cognitives fondamentales que nous jugeons particulièrement pertinentes pour la recherche actuelle en IA. Nous avons introduit The SocialAI School, un outil générant des environnements pour évaluer et développer ces capacités chez des agents. Nous avons démontré diverses utilisations de The SocialAI School avec des agents d'apprentissage par renforcement (RL) et des modèles de langage (LLM). Nos expériences ont mis en évidence les limites des agents RL classiques, notamment leur incapacité à généraliser à de nouveaux contextes. Nous avons aussi montré que, bien que les LLM manifestent des comportements partiellement compatibles avec l'inférence d'indices sociaux, un écart de performance subsiste. Comment caractériser une culture encodée dans un système artificiel, tel qu'un modèle de LLM ? Nous montrons que les LLM présentent une forte sensibilité à des changements de contexte apparemment triviaux, ce qui remet en question les hypothèses sous-jacentes à de nombreux questionnaires psychologiques de plus en plus utilisés pour les évaluer. Nous mettons en garde contre l'usage naïf de ces questionnaires pour tirer des conclusions générales sur le comportement des LLM. Pour cela, nous comparons systématiquement divers LLM selon la stabilité des valeurs exprimées par des personas simulés dans différents contextes. Nous observons que certaines familles de modèles – Qwen, Mixtral, Mistral, GPT-3.5 – manifestent une stabilité plus élevée dans différents dispositifs expérimentaux. Nous avons ensuite étendu la méthodologie pour construire un classement (leaderboard). Les résultats suggèrent que, bien que la stabilité relative semble plafonner, un écart persistant dans les scores de validation indique soit une marge d'amélioration, soit une limite des théories centrées sur l'humain appliquées aux LLM. Comment une culture humain–IA évolue-t-elle dans le temps ? En utilisant le design en chaîne itérative (une méthode adaptée du domaine de l'évolution culturelle), nous avons exploré comment différentes propriétés des données humaines influencent l'évolution du contenu généré par l'IA. Nous avons constaté qu'une plus grande diversité lexicale et une distribution plus gaussienne des données humaines étaient associées à une détérioration plus marquée au fil des générations, tandis qu'une plus grande diversité sémantique et une meilleure qualité des données entraînaient une détérioration plus faible. Nous avons aussi constaté que les propriétés d'un domaine influencent peu les données générées dans un autre. Ces résultats suggèrent que différentes parties d'internet suivent peut-être des dynamiques évolutives distinctes, façonnées par les propriétés des données sous-jacentes. Les trois questions abordées dans cette thèse sont fondamentalement complexes et interdisciplinaires. Nous n'en présentons ici que les premières étapes, laissant de nombreuses questions ouvertes concernant les capacités socio-cognitives, les représentations internes et l'impact culturel des systèmes d'IA. Ces questions sont cruciales, à mesure que ces systèmes influencent toujours davantage la société et la culture humaine.