Guide de création d’un chatbot thématique

Parcours de création d’un chatbot

Au sein de la Métropole de Lyon, les besoins autour des chatbots internes se développent pour faciliter l’accès à l’information et répondre plus efficacement aux besoins des agents et des services. Après plusieurs expérimentations, comme le projet présenté dans l’article Démat d’Erasme : https://erasme.org/chatbot_demat, l’objectif de ce document est de proposer une méthodologie simple, claire et reproductible pour accompagner la création d’un chatbot métier, depuis la définition du besoin jusqu’aux phases de test et d’amélioration. Cette démarche vise à permettre aux équipes de structurer leur projet de manière autonome, tout en garantissant des réponses pertinentes, fiables et adaptées à leur contexte métier. Ce document présente les principales étapes de la démarche, une version plus détaillée est également disponible pour approfondir leur mise en œuvre : https://erasme.notion.site/Cr-ation-d-un-chabot-en-autonomie-29a44e49a3ad80939502dba14277104e

Définition d’un chatbot + RAG

Qu’es-ce qu’un chatbot ?

Un agent conversationnel, est un programme capable de répondre automatiquement en langage naturel (comme le ferait un humain), que ce soit via un site web, une application ou une messagerie.

Qu’est-ce que le RAG (Retrieval-Augmented Generation) ?

RAG est une méthode qui combine la recherche d’informations (dans un corpus de documents*) avec la génération de texte par intelligence artificielle.

Le chatbot RAG :

Un chatbot RAG c’est un assistant intelligent qui va chercher les bonnes informations avant de vous répondre.

Étapes du chabot RAG pour un contexte Métier :

Exemple :

Pipeline RAG complet :

Étape 1 : Définition des objectifs

Avant de créer un chatbot, il faut d’abord clarifier trois éléments : à qui il s’adresse, ce qu’on attend de lui et les résultats recherchés.

Identifier les publics cibles

Dans un premier temps, il faut déterminer qui utilisera le chatbot ou bénéficiera de ses réponses. Selon le projet, plusieurs publics peuvent être concernés, comme les services des ressources humaines, les directions, les agents métropolitains, les managers ou encore les usagers internes et externes.

L’identification de ces publics est importante, car leurs attentes peuvent être différentes. Les besoins, le niveau de langage, les fonctionnalités proposées et les informations accessibles devront donc être adaptés aux profils identifiés.

Définir les besoins auxquels le chatbot doit répondre

Il est important de définir précisément ce que le chatbot devra faire au quotidien. Selon les besoins, il peut répondre directement à des questions récurrentes, rechercher et restituer des informations, aider à formuler une réponse, rédiger ou reformuler des contenus, produire certains documents, orienter l’utilisateur vers une procédure, un service ou un interlocuteur, ou encore synthétiser des informations issues de plusieurs sources.

Plus les besoins et les cas d’usage sont définis clairement en amont, plus le chatbot pourra fournir des réponses pertinentes, fiables et adaptées au contexte métier.

Définir les impacts recherchés

Il est nécessaire de déterminer les résultats attendus de la mise en place du chatbot. Selon les besoins, celui-ci peut permettre de réduire le temps consacré aux demandes récurrentes, d’améliorer les délais de réponse, de mieux répartir la charge de travail ou encore de libérer du temps pour des missions à plus forte valeur ajoutée. Il peut également contribuer à améliorer la réactivité auprès des usagers internes ou externes, à harmoniser les réponses, à faciliter l’accès à l’information et à renforcer l’autonomie des utilisateurs.

Dans la mesure du possible, ces objectifs doivent être associés à des indicateurs mesurables, comme le temps moyen de réponse, le volume de demandes traitées, le taux de résolution par le chatbot, la satisfaction des utilisateurs ou le temps économisé par les équipes.

Plus les objectifs sont mesurables, plus il sera facile d’évaluer l’efficacité du chatbot et d’identifier les axes d’amélioration.

Template :

Étape 2 : Préparation de la base de connaissances

Cette étape consiste à rassembler tous les documents qui pourront servir de référence au chatbot. Il peut s’agir, par exemple, de procédures, de fiches métier, de FAQ, de guides ou de documents internes.

Il est important de vérifier que ces documents sont à jour, bien structurés et réellement utiles par rapport au périmètre du chatbot. Ce sont eux qui serviront de base pour retrouver les informations nécessaires au moment de répondre.

Étape 3 : Base de connaissances

Une fois les documents préparés, ils peuvent être intégrés dans la base de connaissances du chatbot. Ils deviennent alors les sources de référence utilisées pour retrouver les informations utiles et construire les réponses.

Il est important de vérifier régulièrement que ces contenus restent à jour, bien organisés et adaptés au périmètre du chatbot.

Étape 4 : Base de test métier

La base de test sert à vérifier que le chatbot répond correctement aux questions réellement posées dans le métier. Pour la construire, il est utile de préparer un tableau Excel avec trois informations : la question posée, la réponse attendue par l’équipe métier et le document dans lequel cette réponse doit être trouvée.

L’idéal est de réunir entre 50 et 100 questions représentatives des usages réels. Pour les identifier, vous pouvez vous appuyer sur les mails, les FAQ ou les messages reçus par les équipes afin de repérer les demandes les plus fréquentes.

Il est également important d’ajouter quelques questions hors sujet, sensibles ou portant sur des thèmes exclus du périmètre. Cela permet de vérifier que le chatbot sait reconnaître les situations dans lesquelles il ne doit pas répondre.

Étape 5 : Création du prompt système

Le prompt système donne au chatbot son cadre de fonctionnement. Il permet de définir sa mission, le public auquel il s’adresse et les tâches qu’il peut réaliser. Cette étape est importante pour poser un périmètre clair et éviter que le chatbot ne réponde à des sujets qui ne le concernent pas.

Il sert aussi à préciser la manière dont le chatbot doit s’exprimer. Le ton peut être professionnel, pédagogique, simple ou concis selon les utilisateurs visés. Certaines formulations peuvent également être privilégiées ou, au contraire, évitées.

Le prompt permet enfin de fixer les limites du chatbot. Il doit notamment préciser qu’il ne doit pas inventer d’informations et indiquer comment réagir lorsqu’une réponse n’est pas disponible dans les sources ou lorsqu’une question sort de son périmètre.

La forme des réponses peut elle aussi être encadrée, par exemple en précisant leur longueur, leur structure ou la manière de présenter les sources. Une fois le prompt rédigé, il doit être testé sur plusieurs cas représentatifs puis ajusté en fonction des réponses obtenues.

Étape 6 : Paramétrage du modèle

Le paramétrage du modèle permet d’adapter le comportement du chatbot au besoin métier. Avant de modifier les réglages, il est utile de préciser le niveau de précision attendu, la longueur souhaitée des réponses et le type de documents utilisés, qu’il s’agisse de fiches, de FAQ, de procédures ou de documents plus longs.

Ces réglages doivent être modifiés progressivement. Après chaque changement, il est important de vérifier la pertinence et l’exactitude des réponses, la cohérence du ton, leur longueur et la bonne utilisation des informations issues des documents.

Pour garder une trace des essais réalisés, il est conseillé de documenter les modifications apportées, avec la date, le paramètre concerné, l’ancienne valeur, la nouvelle valeur et les effets observés. Cela permet de comparer plus facilement les résultats et d’identifier les réglages les plus adaptés.

Étape 7 : Évaluation des réponses

L’évaluation permet de vérifier si le chatbot retrouve les bonnes informations et s’il les utilise correctement dans ses réponses. Pour un chatbot basé sur du RAG, un outil comme RAGChecker peut être utilisé pour analyser ces différents aspects.

RAGChecker est un framework open source présenté en 2024 par des chercheurs d’Amazon AWS AI et de plusieurs universités. Il a été conçu pour analyser finement les performances d’un système RAG, aussi bien sur la partie recherche d’informations que sur la génération de la réponse.

Comment fonctionne RAGChecker ?

RAGChecker compare la réponse générée par le chatbot, la réponse attendue et les extraits de documents récupérés par le système. Les contenus sont découpés en informations élémentaires, appelées claims, afin de vérifier si les éléments attendus ont bien été retrouvés, utilisés et restitués sans ajout incorrect.

Principales métriques :

Pour Hallucination et Noise Sensitivity, une valeur faible est recherchée. Pour la plupart des autres métriques, une valeur élevée indique de meilleures performances.

Exemple de précision et recall :

La réponse est complète, mais le système a récupéré beaucoup de contenus inutiles autour des bonnes informations.

Analyser les résultats

Les métriques permettent ensuite de mieux comprendre l’origine d’un problème. Un Claim Recall faible peut indiquer que le système retrouve mal les informations attendues, tandis qu’une Context Precision faible signifie que trop de contenus peu pertinents sont récupérés.

Une Faithfulness faible ou un niveau d’Hallucination élevé montre que certaines réponses ne sont pas suffisamment appuyées par les sources. À l’inverse, une Context Utilization faible indique que les bonnes informations sont bien présentes, mais qu’elles sont mal exploitées dans la réponse.

Ces résultats permettent ensuite d’orienter les ajustements à apporter, par exemple sur le découpage des documents, la recherche d’informations, le nombre de chunks récupérés, le prompt ou les paramètres du modèle.

Étape 8 : Retour métier

La phase d’expérimentation peut être organisée sur une période d’environ deux mois, en combinant des temps de test encadrés et une utilisation en conditions réelles.

Durant le premier mois, il est possible d’organiser 2 à 4 réunions avec un groupe de testeurs. Ces ateliers permettent d’évaluer plusieurs dimensions du chatbot : la facilité d’accès, la prise en main de l’interface, la compréhension des réponses, leur pertinence et leur utilité dans les situations métier.

Le deuxième mois peut ensuite être consacré à une phase d’utilisation en autonomie. Les testeurs utilisent alors le chatbot dans leurs activités quotidiennes et dans des cas d’usage réels, afin de vérifier son comportement dans des situations plus variées et moins encadrées.

Pendant cette période, les utilisateurs peuvent transmettre leurs retours à l’équipe projet au moyen d’un formulaire dédié. Celui-ci peut notamment permettre de signaler une réponse incorrecte ou incomplète, une difficulté d’utilisation, une information manquante ou encore un nouveau besoin métier.

À l’issue des deux mois, les retours collectés sont analysés afin de décider des derniers ajustements à apporter avant le passage en production : enrichissement de la base de connaissances, modification du prompt, amélioration de l’interface ou ajout de nouveaux cas de test.

Le passage en production peut être validé lorsque le chatbot obtient une note moyenne supérieure à 3,5/5 auprès des agents, que les principaux usages du quotidien sont correctement couverts, qu’aucun dysfonctionnement bloquant n’est identifié et que les réponses sont jugées suffisamment fiables, compréhensibles et utiles par les utilisateurs.

Étape 9 : Suivi et maintenance du chatbot

Pour assurer le bon fonctionnement du chatbot dans le temps, plusieurs référents sont identifiés et formés par l’équipe technique ayant participé au projet.

Le référent technique intervient sur les corrections de bugs et les évolutions du prompt système. Le référent métier veille à la mise à jour des contenus, analyse les questions restées sans réponse et suit les évolutions légales ou conventionnelles qui peuvent avoir un impact sur les informations diffusées. Le support utilisateur prend en charge les demandes d’assistance, à partir d’une adresse mail de contact accessible directement depuis le chatbot.

Le suivi de la qualité repose aussi sur les retours des agents. Lorsqu’une réponse est incorrecte, incomplète ou absente, l’agent peut la signaler grâce à un formulaire accessible depuis l’interface du chatbot. Les référents consultent ces remontées chaque mois afin d’identifier les contenus à corriger, compléter ou mettre à jour.

En parallèle, un test automatisé est réalisé une fois par semaine sur une vingtaine de questions métier clés. Il permet de vérifier régulièrement la qualité et la précision des réponses, de détecter d’éventuels bugs ou anomalies dans les réponses générées et d’identifier rapidement toute régression afin de pouvoir la corriger.

Pour aller plus loin, approfondir les différentes étapes et retrouver des conseils complémentaires pour la mise en œuvre, consultez la page « Création d’un chatbot en autonomie » : https://erasme.notion.site/Cr-ation-d-un-chabot-en-autonomie-29a44e49a3ad80939502dba14277104e