Des IA génératives polyglottes sans sensibilité régionale

Imaginez demander à un agent conversationnel comme Claude ou ChatGPT une question juridique en grec sur les règles de circulation locales. En quelques secondes, il répond dans un grec impeccable en se basant sur la législation… britannique. Le modèle a compris la langue, mais pas la juridiction. Ce type d’erreur révèle une limite majeure : les grands modèles de langage (LLMs) maîtrisent de nombreuses langues, mais échouent à intégrer les connaissances culturelles, régionales, et ici juridiques, associées.

Des équipes du Laboratoire de traitement du langage naturel de l’EPFL (NLP Lab), de Cohere Labs et de partenaires internationaux ont développé INCLUDE, Cet outil marque une étape importante vers une intelligence artificielle plus sensible aux contextes locaux. Il permet de mesurer si un modèle est non seulement précis dans une langue donnée, mais aussi capable d’intégrer la culture et les réalités socioculturelles qui lui sont propres. Cette approche s’inscrit dans la volonté de l’initiative Swiss AI de créer des modèles adaptés aux langues et aux valeurs suisses.

«Pour être pertinente et compréhensible, une IA doit intégrer les nuances culturelles et régionales. Il ne s’agit pas seulement de connaissances linguistiques, mais de répondre aux besoins des utilisatrices et utilisateurs là où ils se trouvent», explique Angelika Romanou, doctorante au NLP Lab et première auteure du benchmark.

Un angle mort dans l’IA multilingue

Les modèles comme GPT-4 ou LLaMA-3 ont fait des progrès remarquables dans la génération de texte dans des dizaines de langues. Pourtant, ils obtiennent souvent des résultats médiocres, y compris dans des langues très parlées comme l’ourdou ou le pendjabi, en raison du manque de données d’entraînement de qualité.

La plupart des benchmarks actuels sont uniquement en anglais ou traduits depuis l’anglais, introduisant des biais et une distorsion culturelle. Ces traductions souffrent souvent d’erreurs ou de formulations artificielles. De plus, le contenu reste souvent ancré dans une vision culturelle occidentale, sans refléter les spécificités régionales ou linguistiques des langues cibles.

INCLUDE adopte une approche différente. L’équipe a réuni plus de 197 000 questions à choix multiple issues d’examens académiques, professionnels et réglementaires, rédigées dans 44 langues et 15 systèmes d’écriture. En collaboration avec des interlocuteurs natifs, ces questions proviennent d’institutions authentiques, couvrant des domaines comme la littérature, le droit, la médecine ou la navigation.

La grille d’évaluation inclut à la fois des savoirs régionaux explicites (lois locales, histoire nationale) et des savoirs culturels implicites (normes sociales, perspectives historiques). Lors des tests sur les grands modèles actuels, ceux-ci ont systématiquement obtenu de moins bons résultats sur les sujets d’histoire régionale que sur des généralités identitaires nationales, même dans la même langue. Autrement dit, l’IA ne comprend pas encore vraiment le contexte local.

«Par exemple, si on pose une question sur un vêtement traditionnel porté en Inde, on obtiendra systématiquement le sari comme réponse, quelle que soit la langue. En revanche, à la question: "Pourquoi Alexandre le Grand a-t-il incendié Persépolis en 330 av. J.-C.?", les modèles ne présentent pas les nuances régionales. Une lecture perse y voit un affront envers la société et culture perses, tandis qu’une lecture grecque pourrait le décrire comme une vengeance pour l’invasion de perse de la Grèce par Xerxès. Ces interprétations reflètent des récits culturels profondément enracinés, que les modèles peinent à traiter», explique Negar Foroutan, doctorante au NLP Lab et co-auteure du benchmark.

Résultats mitigés pour les modèles actuels

L’équipe a évalué les performances de modèles tels que GPT-4o, LLaMA-3 et Aya-expanse par sujet et par langue. GPT-4o obtient le meilleur score global, avec une précision moyenne d’environ 77%. Mais les résultats varient considérablement selon les langues et les types de questions. Les modèles se sont montrés performants en français et en espagnol, mais ont rencontré des difficultés en arménien, en grec et en ourdou, notamment sur des sujets à forte composante culturelle ou professionnelle. Souvent, ils ont recours à des hypothèses occidentales ou donnent des réponses erronées mais convaincantes.

Vers une IA plus inclusive

INCLUDE ne se limite pas à un outil technique. Alors que l’IA est de plus en plus utilisée dans l’éducation, la santé, l’administration ou le droit, la prise en compte des contextes régionaux devient cruciale.

«Avec la démocratisation de l’IA, ces modèles doivent s’adapter aux visions du monde et aux réalités vécues des différentes communautés», affirme Antoine Bosselut, responsable du Laboratoire de traitement du langage naturel.

Publié en libre accès et déjà adopté par certains des plus grands fournisseurs de LLM, INCLUDE offre un outil concret pour réévaluer et former les modèles de manière plus équitable et inclusive. L’équipe travaille déjà sur une nouvelle version, qui couvrira environ 100 langues, incluant des variantes régionales comme le français de Belgique, du Canada ou de Suisse, ainsi que des langues sous-représentées d’Afrique et d’Amérique latine. Avec une adoption plus large, des benchmarks comme INCLUDE pourraient contribuer à définir de nouvelles normes internationales – voire à alimenter des cadres réglementaires pour évaluer l’équité et la pertinence locale des modèles. Ils ouvrent aussi la voie à des modèles spécialisés dans des domaines cruciaux comme la médecine, le droit ou l’éducation, où la compréhension du contexte local est indispensable.