IA : comment Leboncoin améliore la pertinence de son moteur de recherche grâce aux LLM

Premier site de vente entre particuliers en France, Leboncoin intègre de grands modèles de langage (LLM) au sein de son moteur de recherche depuis 2022. L'objectif de ces modèles d'intelligence artificielle ? Optimiser la pertinence des réponses aux requêtes des utilisateurs. Retour sur un projet d’envergure.

CET ARTICLE A INITIALEMENT ÉTÉ PUBLIÉ DANS ARCHIMAG N°377
Découvrez Le Brief de l'IT, la newsletter thématique gratuite d'Archimag dédiée aux professionnels des data, de l'IT, de la digitalisation et de la transformation numérique !

Avec 26,8 millions d’utilisateurs actifs chaque mois, la plateforme de petites annonces entre particuliers fondée en 2006, Leboncoin, est aujourd’hui le deuxième site de commerce en ligne le plus visité de France, derrière Amazon. La pertinence et l’efficacité de son moteur de recherche, point central de toutes les transactions qui s’y déroulent, ont un impact crucial sur les performances de l’entreprise. "Des résultats de recherche insatisfaisants engendrent de la frustration chez nos utilisateurs et risquent de les inciter à quitter le site", explique Paul Dennetière, ingénieur en R&D chez Leboncoin.

Mais avec plus de 73 millions d’annonces en ligne, le moteur de recherche du site tricolore est confronté à un défi de taille : présenter continuellement des résultats qui répondent correctement aux requêtes des internautes. "Nous devons optimiser sans cesse la pertinence de notre moteur afin d’augmenter la rapidité avec laquelle un acheteur peut trouver l’annonce qui l’intéresse", affirme Paul Dennetière. C’est dans cette optique que la plateforme s’est tournée vers les LLM (grands modèles de langage).

L’adoption des LLM chez Leboncoin

Jusqu’en 2022, Leboncoin s’appuyait uniquement sur le moteur de recherche et d’analyse RESTful distribué d’Elasticsearch. Il y a deux ans, les ingénieurs de la plateforme se sont intéressés aux LLM pour améliorer la pertinence du moteur et les résultats qu’il fournit. "Le modèle de langage que nous avons développé repose sur le modèle BERT (Bidirectional encoder representations from transformers, développé par Google Research), et se base sur une architecture de"transformeur"", décrit Louis-Victor Pasquier, ingénieur en machine learning chez Leboncoin. "C’est une structure d’apprentissage profond principalement utilisée dans le domaine du traitement automatique du langage naturel (NLP)".

Le modèle choisi par l’équipe de Leboncoin est disponible en open source sur la plateforme Hugging Face, un espace de partage de modèles d’IA et d’apprentissage automatique collaboratif. "Nous avons sélectionné un modèle préentraîné par d’autres entreprises ou par des centres de recherche et qui est directement proposé à la communauté", précise Louis-Victor Pasquier. "C’est très pratique, car le plus gros de la conception a déjà été réalisé et c’est une démarche totalement gratuite".

Mais comment ce LLM fonctionne-t-il ? Tout simplement en déchiffrant les textes, ou plus exactement des chaînes de caractères issues des annonces diffusées sur la plateforme. Le modèle BERT les interprète ensuite pour les convertir en vecteurs. "Un vecteur est généralement utilisé pour représenter des données numériques et liste une série ordonnée de nombres", explique Louis-Victor Pasquier. "Ces outils ont un rôle central dans le processus d’apprentissage et de prédiction des machines". Concrètement, cette technologie permet au moteur de recherche de mieux comprendre le contexte d’une requête et d’identifier des annonces pertinentes pour y répondre.

Entraînement et évaluation des LLM

Le processus d’intégration des LLM dans le moteur de recherche a impliqué de passer par une étape essentielle : celle de l’entraînement des modèles. À cette fin, la plateforme a exploité les requêtes et les annonces issues de l’historique de ses utilisateurs, sous réserve de leur consentement préalable. "Exploiter notre propre base de données nous permet d’adapter nos LLM à nos problématiques et à nos enjeux", indique Paul Dennetière. "Cet ensemble de données détermine la qualité de la pertinence d’une annonce en fonction des diverses requêtes formulées".

L’équipe d’ingénieurs a procédé ensuite à l’évaluation des données. Une première phase s’est déroulée "offline" (hors ligne) : les data scientists ont établi des mesures sur les jeux de données de la recherche qui permettent d’estimer la performance des modèles avant de les présenter aux utilisateurs.

Une seconde phase a consisté en un "A/B test" - une méthode de comparaison statistique permettant de présenter aux utilisateurs différentes variantes de pages de sites par rapport à une version de base - afin d’évaluer les indicateurs. "Lorsque les mesures étaient satisfaisantes, nous pouvions alors mettre à disposition les LLM aux utilisateurs pour améliorer leur expérience sur le site", poursuit Paul Dennetière.

Reranker et Retriever

Après deux mois de phase d’intégration en 2022, la première fonction des LLM de Leboncoin, nommée Reranker, est mise en place dans le moteur de recherche. Comme son nom l’indique, le Reranker prend une liste d’annonces et la "retrie" en remontant toutes les annonces les plus pertinentes dans la page de résultats.

Ce "rangement" est opéré grâce à un score attribué à chaque annonce - qui correspond à un vecteur - en fonction de la requête. Pour calculer ce vecteur, le LLM décrypte le contenu de l’annonce de manière décroissante : son titre, son descriptif, ses attributs (couleur, modèle, etc.). Les annonces les plus proches de l’intention de l’acheteur sont alors "rangées" en haut de la page de résultats.

La deuxième fonction des LLM est arrivée un an plus tard, courant 2023. Nommée Retriever, elle vise à augmenter la quantité d’annonces trouvées par recherche en s’appuyant sur la capture sémantique du texte de la recherche et des annonces. L’objectif est donc de traduire en vecteur chaque annonce sur le site et de les comparer aux vecteurs représentant les recherches.

Pour faire simple, le Retriever fournit les annonces qui ne contiennent pas les mots-clés de la recherche de l’acheteur, mais qui correspondent à son intention. "Deux textes ayant des ressemblances sémantiques possèdent désormais des vecteurs similaires grâce à une représentation vectorielle réalisée par les LLM", précise Louis-Victor Pasquier. "À titre d’exemple, nous sommes maintenant en mesure d’associer pour une même recherche des annonces pour "garde d’enfant" et pour “nounou"".

Objectifs et projets en cours

La mise en place de LLM dans le moteur de recherche de Leboncoin a redéfini les objectifs de ses KPI (indicateurs clés de performance). "Le principal concerne le pourcentage de recherches qui mènent à une transformation, c’est-à-dire notre capacité à mettre en liaison un acheteur et un vendeur", affirme Paul Dennetière. Un autre, considéré comme plus secondaire, est le score relatif aux recherches infructueuses, en particulier pour les requêtes spécialisées dites "de niches". Pour cela, les ingénieurs misent sur la capacité de compréhension sémantique des LLM. "Ce problème n’est pas dû à l’absence d’annonces liées à la requête de l’utilisateur", poursuit Paul Dennetière. "Il s’agit davantage d’un malentendu de la part du moteur de recherche entre l’intention de l’utilisateur et la formulation de sa requête".

Initialement constituée de deux développeurs back-end et d’un unique data scientist, l’équipe chargée de la conception des LLM s’est élargie au fur et à mesure des projets. Aujourd’hui, les effectifs de chaque poste ont doublé. "La programmation de l’IA nécessite de la main-d’œuvre", reconnaît Paul Dennetière. "L’usage reste très différent des modèles “mainstream” comme ChatGPT".

Paradoxalement, la plateforme semble se diriger vers l’utilisation de LLM plus traditionnels : Leboncoin prévoit en effet de créer prochainement un assistant spécialisé dans l’aide à la formulation de recherche sur le site : la "conversational search", c’est-à-dire un dialogue en langage naturel entre l’utilisateur et le modèle de langage pour affiner les réponses du moteur de recherche au fur et à mesure de l’échange.