Série de Séminaires de Recherche Telfer - Warut Khern-am-nuai

***Étudiantes et étudiants à la maîtrise en gestion avec thèse - ces événements peuvent compter parmi les six séminaires de recherche Telfer auxquels vous devez assister (MGT 6191/ MGT 6991 / MHS 6991)(4 séminaires pour les étudiantes et étudiants à la maîtrise en gestion avec projet).***

Warut Khern-am-nuai, PhD

Les grands modèles de langage sont de plus en plus souvent utilisés en groupe pour délibérer d’un problème avant de voter ou de formuler une recommandation commune. On s’attend dès lors à ce qu’une telle mise en commun rende les décisions de l’IA plus fiables. Or, nous constatons qu’elle peut plutôt en réduire la prévisibilité. Dans un banc d’essai entièrement déterministe et auto-hébergé, la répétition à l’identique d’une même exécution produit les mêmes résultats. Cependant, de légères variations de formulation visant à préserver le sens d’un scénario peuvent s’accentuer au fil des échanges et, souvent, modifier la recommandation finale. Dans les systèmes déployés qui utilisent des API de type boîte noire, les exécutions d’un même comité censées être identiques varient également à une température de 0, un paramètre souvent considéré comme quasi déterministe. Les résultats obtenus dans 12 scénarios de politiques montrent que l’instabilité ne vient pas seulement des variations liées au déploiement : les interactions répétées peuvent rendre un comité sensible à de légères différences dans la manière de présenter un cas. D’autres expériences menées sur des systèmes déployés montrent que la répartition des rôles, la composition des modèles et la quantité d’échanges antérieurs auxquels les agents peuvent se reporter influent tous sur l’ampleur des divergences. L’IA collective pose donc un problème de stabilité autant que de justesse. Une exécution déterministe ne suffit pas, à elle seule, à garantir que la recommandation d’un comité sera prévisible ou facilement vérifiable.