C’est enfin arrivé : Chat GPT a déclenché une avancée si impressionnante dans le domaine du traitement et de la compréhension du langage naturel (TLN/NLU) que la plateforme s’est imposée comme outil conventionnel auprès du grand public.

L’enthousiasme qu’a généré ChatGPT renforce notre croyance que les LLMs sont la clé afin de transformer les expériences digitales – toutefois, cette révolution ne devrait jamais avoir lieu au détriment de la confidentialité de l’information ou de la protection de la vie privée. Chez Coveo, notre mission est de démocratiser l’IA pour permettre aux entreprises d’offrir des expériences digitales personnalisées au contexte de chaque utilisateur. Nous visons à rendre ces expériences profitables pour les entreprises, et ce, en honorant notre engagement envers nos clients à fournir des réponses précises et fiables tout en respectant les données de la vie privée des utilisateurs. Dans cet article de blogue, nous aborderons ce qu’implique cette responsabilité envers nos clients concrètement, ainsi que les potentiels risques engendrés par la récente démocratisation de ChatGPT auprès du grand public.

ChatGPT : Point tournant, machine à désinformation, ou les deux?

En dépit de l’immense intérêt qu’a généré ChatGPT, ses limitations sont réelles et surtout imposantes. D’abord, la compréhension du langage n’est pas synonyme d’avoir la capacité de communiquer intelligemment ni de raisonner. Le langage n’est qu’un médium pour échanger de l’information, des idées et pour communiquer des émotions. Ce n’est pas ce qui nous rend intelligents – c’est plutôt ce qui nous permet d’exprimer cette intelligence, nuance!

En réalité, les grands modèles de langage bâtissent de vastes bases de connaissances implicites au fur et à mesure qu’ils examinent les données d’apprentissage provenant des comportements des utilisateurs. Toutefois, ils n’ont aucune notion explicite quant à la véracité des faits, aux lois immuables, aux réalités physiques, ni à quoi que ce soit d’autre qui ne soit pas strictement lié à la compréhension du langage. Après tout, c’est ce qui explique pourquoi il existe un champ de recherche visant à « ancrer » ces modèles dans des règles, des concepts et d’autres formes d’expression concrètes!

ChatGPT est entraîné via une source définie de données avec une limite originalement fixée en octobre 2021.  Il est incapable d’acquérir ou de générer de nouvelles connaissances de manière indépendante. On peut lui soumettre de nouvelles informations lorsqu’on échange avec lui, mais ce n’est pas la même chose que de mettre à jour son bagage de connaissances via un ré-entraînement. 

Le symptôme le plus évident de ces limites se présente sous forme d’« hallucinations », qui se définit par la tendance à générer du texte qui est valide au niveau de la grammaire et de la syntaxe, mais qui va à l’encontre du bon sens ou qui est factuellement incorrect. Le potentiel de créer du contenu crédible, mais difficile à valider a poussé le forum de développement logiciel Stack Overflow à bannir les additions générées par GPT : 

« L’enjeu principal est que bien que les réponses fournies par ChatGPT aient un haut taux d’inexactitude, elles peuvent souvent avoir l’air bonnes et crédibles, et elles sont très faciles à produire ». 

Cet enjeu se manifeste de manière fréquente et insidieuse, présentant un risque de taille pour l’utilisateur qui se retrouve face à une réponse ayant une apparence fluide, de qualité, mais surtout trompeuse pour quiconque ne portant pas une attention particulière aux détails véhiculés.

À titre d’exemple, nous avons demandé à ChatGPT de générer des citations de publications de recherche sur ce sujet. Selon la réponse obtenue, aucun des articles ci-dessus n’existe, et tous les liens mènent vers d’autres publications.

Le rôle des humains face à ChatGPT

Malgré ces limitations imposantes, ChatGPT pourrait entraîner un changement de paradigme de taille. Les capacités de l’IA générative ont finalement atteint un point d’inflexion alors que les bénéfices de cette technologie l’emportent sur les inconvénients dans plusieurs cas d’utilisation. Toutefois, afin de pouvoir tirer profit de ces bienfaits, il faut en guise de protection une couche d’apprentissage par renforcement guidé par l’humain, appliquée après l’opération en vue d’enseigner au modèle les bonnes manières. Cet écart entre la plateforme et les règles et objectifs des entreprises est ce que nous appelons le problème d’alignement.
Dans leur article, InstructGPT, (Ouyang et al, 2022), décrivent la méthodologie utilisée pour entraîner ChatGPT, les chercheurs d’OpenAI laissent entrevoir ces enjeux d’utilisation :

« …il y a plusieurs difficultés à concevoir un processus d’alignement qui est juste, transparent et qui a des mécanismes de responsabilisation appropriés ».

Certains comparent ChatGPT à l’équivalent d’une calculatrice pour le texte et l’écriture. Bien qu’on en comprenne l’analogie étant donné que cet outil est susceptible de devenir omniprésent dans notre vie quotidienne, il vaut mieux la prendre avec un grain de sel, surtout en tenant compte que les LLMs rencontrent des difficultés avec les mathématiques et la logique (Borji, 2023, Bang et al., 2023)!

Comment inclure les modèles conversationnels et génératifs dans l’expérience entreprise?

Il est évident que les limites de ChatGPT ainsi que les coûts de réentraînement de la plateforme font de cet outil une solution inadéquate pour devenir la source centrale de savoir d’une entreprise. Cela dit, l’IA générative est une technologie qui a le pouvoir de générer de la valeur pour les entreprises.

D’abord, on peut l’utiliser dans une situation où l’on est prêt à tolérer ces hallucinations et inexactitudes. Par exemple, chez Coveo, Vincent Bernard, directeur R&D, et son équipe ont utilisé GPT-3 et DALL-E au cours de la dernière année afin de générer de manière rapide du matériel polyvalent et fictif pour intégrer à des environnements tests et démos internes. Nous explorons la plateforme à différentes fins, notamment pour augmenter nos données et optimiser d’autres modèles.

Dans un deuxième temps, nous pouvons faire bon usage des capacités linguistiques de l’outil sans avoir à nous appuyer sur la mémoire interne. En service à la clientèle, par exemple, un agent pourrait l’utiliser pour reformuler et résumer des cas de support afin de transmettre un dossier de manière efficace. À noter que même dans le cas échéant, les risques d’hallucinations sont présents. Dès le moment où la précision des faits importe, la conscience humaine devrait faire partie de la réponse afin de mitiger les risques de l’IA!

Conjuguer recherche et LLMs

Lorsqu’on pense à conjuguer la recherche et les LLMs, le cas d’utilisation RAG vient naturellement à l’esprit : Retrieval-Augmented Generation (génération assistée par récupération).

Concrètement, RAG utilise les grands modèles de langage dans un flux de recherche d’informations en demandant d’abord à votre index habituel de récupérer les documents qui sont pertinents pour votre requête. L’outil introduit ainsi à son tour ces documents dans le modèle génératif afin d’obtenir une réponse cohérente. Bien que RAG n’élimine pas entièrement les hallucinations, cette approche est connue pour en réduire considérablement la fréquence. Cette idée n’est pas nouvelle, cette idée a vu le jour il y a près de trois ans déjà (Lewis et al., 2020). 

Ayant à cœur la pertinence des expériences numériques, la vision de Coveo comprenait l’intégration de RAG dès le départ. À l’époque, nous nous sommes inspirés et avons trouvé des réflexions similaires dans la proposition du groupe HAI de Stanford : « A Moderate Proposal for Radically Better AI-powered Web Search ».

Andrew Ng, une des plus grandes sommités dans le domaine de l’IA, a récemment commenté ce type d’approche, en déclarant qu’il sera nécessaire de l’implémenter dorénavant pour moderniser les recherches avec les LLMs :

« Je vois un potentiel significatif provenant d’une autre technologie, la génération augmentée par les retours. Plutôt que de s’appuyer uniquement sur un LLM fixe pour répondre à une requête, si on pouvait d’abord trouver des documents pertinents… et puis se servir d’un LLM pour traiter la requête et ces documents pour en développer une réponse, cela pourrait fournir une alternative fiable à la pratique actuelle en termes de recherche web. Exécuter cela de manière efficiente et à grande échelle serait complexe, mais le résultat s’avérerait équivalent au fait d’avoir un LLM qui ferait une recherche web et en résumerait les résultats ».

Avec tous les récents avancements, il est naturel de se poser la question à savoir pourquoi il est si difficile d’appliquer les LLM dans le monde des affaires? The Batch, Issue 180 (Jan 2023). Essentiellement, les entreprises ont besoin d’une infrastructure permettant d’ingérer et d’alimenter ces modèles avec le bon contexte, continuellement mis à jour afin de générer des réponses de haute qualité qui s’avèrent rentables à grande échelle.

Plus important encore, il faut que le tout soit fait de façon à respecter les plus hauts standards de confidentialité et de respect de la vie privée des clients : les utilisateurs devraient uniquement avoir accès au contenu qui leur est destiné. En effet, les grands modèles de langage peuvent poser un problème si vous souhaitez les adapter à votre domaine, car ils sont à risque de générer des données d’apprentissage textuelles et sont vulnérables aux risques de cybersécurité passant par l’extraction de données (Carlini et al., 2021, Ippolito at al., 2022).

Les LLMs doivent respecter les permissions des documents

La solution Coveo comprend très bien ces enjeux et notre technologie de recherche, sécure et exclusive, assure ainsi que les permissions des systèmes sources de nos clients sont maintenues et appliquées en permanence. Au fil des deux dernières décennies, nous avons intégré les LLMs avec succès au sein des entreprises pour leur permettre de résoudre des enjeux de recherche complexes , notamment dans les cas suivants : 

  • L’application des modèles de langage basés sur les transformateurs dans les entreprises, en les affinant avec les données et le vocabulaire propres à chaque entreprise, et en les réentraînant automatiquement.
  • La construction d’un système de classification des cas qui classe automatiquement les cas d’assistance entrants afin d’assurer que ces derniers sont acheminés vers la bonne personne en fonction de son contenu. Ce modèle est un modèle de classification multitâches et à étiquettes multiples, sans code, ayant la capacité de faire plusieurs prédictions en un seul passage. Les modèles sont automatiquement réentraînés périodiquement, ce qui permet de maintenir leurs connaissances à jour. Depuis l’implémentation, nos clients constatent une réduction des erreurs d’acheminement des cas de l’ordre de 50%!
  • L’amélioration de la capacité du taux des réponses et de recherche neuronale permet de tirer profit des progrès récents des transformateurs de phrases et des modèles génératifs de recherche.
  • La publication de recherches passionnantes sur la combinaison de textes et d’images permet d’ouvrir de nouvelles possibilités dans les expériences de commerce électronique.

Rendre l’IA générative accessible et sécuritaire pour les entreprises

Les possibilités d’usages pour ce type de nouveaux LLMs sont infinies, mais les risques qu’ils génèrent sont tout aussi importants à mitiger et il est évident qu’aucun CEO n’est prêt à prendre le risque de perdre $100G de valeur sur les marchés à cause d’une erreur d’IA. Par exemple, si une entreprise voulait créer une version orientée vers le service à la clientèle de ChatGPT, elle devrait d’abord résoudre les problèmes suivants :

  • Disponibilité et fraîcheur des données : Un robot de service à la clientèle supporté uniquement par ChatGPT ne serait pas très efficace, considérant qu’il lui manquerait des informations à jour : Documentation à jour, les derniers cas résolus, etc. Afin d’optimiser la qualité et la précision des réponses obtenues, la plateforme aurait besoin d’être en mesure d’aller chercher dans plus de sources de données, plus souvent tout en étant réentraînée sur une base quotidienne – une solution qui n’est point viable économiquement et technologiquement. Toutefois, en combinant la puissance de la plateforme avec l’index unifié de Coveo, ChatGPT pourrait toujours avoir accès à l’information la plus à jour à travers l’ensemble des données d’une entreprise. 
  • Vie privée et sécurité : Chaque compagnie possède différentes sources de contenu avec différents niveaux de confidentialité. Ajouter tout ce contenu à un LLM, et le rendre accessible à tous dans une recherche n’est tout simplement pas une option par souci pour la vie privée des utilisateurs. Ainsi, l’index unifié de Coveo permet, de façon sécuritaire, le recensement des permissions et droits d’accès au même titre que le système source d’où ils proviennent. L’index permet également d’ajouter des filtres de sécurité sur mesure permettant (1) d’entraîner et peaufiner vos modèles d’IA en utilisant uniquement de l’information non confidentielle et (2) d’assurer que votre nouvel assistant de recherche ne puisse aller chercher que l’information normalement accessible à son utilisateur. 
  • Réponses fictives et dangereuses : Tel que mentionné ci-dessus, effectuer une recherche en se basant uniquement sur les connaissances paramétriques internes d’un LLM expose l’utilisateur à un haut risque de désinformation provenant d’hallucinations et de biais de la plateforme. En contrepartie, une recherche dans un système où ChatGPT reçoit des résultats de Coveo d’abord et construit ensuite une réponse concise, avec les liens vers les sources d’origine, minimise les risques d’hallucinations et simplifie la vérification des faits pour ultimement fournir une réponse exacte.
  • Le manque de personnalisation : Ce LLM démontre une lacune de mémoire qui l’empêche d’apprendre à connaître son utilisateur avec le temps. De sorte que les recommandations proposées ne sont pas personnalisées au contexte de l’utilisateur, à moins que les préférences soient exprimées explicitement dans la recherche à chaque fois. Encore une fois, cette lacune peut être palliée par la solution de Coveo qui conçoit des algorithmes de personnalisation basés sur des données comportementales hors pair, ajoutant ainsi au contenu hautement pertinent que ChatGPT reçoit pour générer vos résultats.

Afin d’aider les entreprises à tirer un maximum de profit de ces outils en minimisant les coûts et risques qui peuvent être engendrés, Coveo a intégré les LLMs pour étendre leur capacité à la réalité des entreprises pour créer Coveo Relevande Generative Answers. Nous n’envisageons pas de construire un agent conversationnel pour compétitionner avec ChatGPT et BARD, mais plutôt, d’intégrer les meilleures technologies conversationnelles pour créer des solutions de pointe qui seront à la hauteur des standards des entreprises de renommée mondiale.

En combinant le pouvoir de ces nouvelles percées en IA avec l’index sécuritaire unifié de Coveo, les entreprises pourront obtenir le meilleur des deux mondes pour maximiser leur profit : Des interactions complexes et conversationnelles en langage naturel qui mène à des réponses précises, à jour, le tout en respectant la confidentialité de l’ensemble des sources de données d’entreprise.

Mots de la Fin

Coveo vise à moderniser les expériences de pertinence en entreprise, avec de l’IA conversationnelle et générative alimentée par les LLMs au centre de cette transformation. 

Il est très probable que l’avantage dont bénéficient OpenAI et Microsoft présentement s’avère temporaire, car ils ne sont pas les seuls à se pencher sur cette problématique : Meta (BlenderBot 3), Google (LaMDA / BARD), Anthropic AI (Claude), Baidu et DeepMind (Sparrow), pour n’en nommer que quelques-uns. En outre, des modèles à code source libre analogues à GPT-3, comme BLOOM, Flan-T5, and GPT-J existent déjà. Il est évident que ChatGPT a rendu l’intégration de LLMs un impératif pour ces gros joueurs, mais nous sommes fébriles à l’idée de voir évoluer l’industrie et la qualité des expériences numériques, car nous sommes convaincus que les avancements dont nous sommes témoins à ce jour ne sont que la point de l’iceberg de l’accession des LLMs.

En tant que technologue et scientifique appliqué, je suis enthousiaste et motivé à l’idée de découvrir toutes les manières possibles de transformer l’expérience entreprise de nos clients avec l’IA générative. Le tout en conservant au cœur de mes priorités le recensement de l’ensemble des risques et limites de cette technologie pour pouvoir prendre des décisions responsables et fondées. Après tout, le succès de nos clients est au premier plan de notre raison d’être c’est pourquoi nos services sont en constante évolution pour leur permettre d’obtenir des bénéfices substantiels qui permettront de mettre à profit chaque interaction.

Vous aimeriez faire partie du changement vers ce type d’avenir? Joignez notre équipe!

Mathieu Fortier, Directeur NLP, R&D chez Coveo

*À noter que cet article est une traduction de la version originale rédigée en anglais.