La pertinence

La pertinence en recherche juridique, à l’ère de l’IA générative, n’est plus seulement la capacité d’un système à “sortir les bons documents”, mais la capacité à comprendre l’intention de recherche, à contextualiser les résultats et à rendre explicite la chaîne qui mène de la question de l’utilisateur aux autorités mobilisées. Pour un documentaliste juridique, cela implique de repenser la manière de formuler la demande, de contrôler la qualité de la réponse et de combiner recherche booléenne classique et moteurs augmentés par IA plutôt que de les opposer frontalement.

Définir la pertinence en information juridique

En information juridique, la pertinence se mesure classiquement par deux axes : la capacité à retrouver le plus grand nombre de documents utiles en lien avec la requête et à limiter le bruit documentaire. Dans le domaine du droit, s’ajoutent des critères de pertinence propres à la matière : hiérarchie des normes, autorité de la source et / ou de l’auteur, fraîcheur des données, type de document (jurisprudence, texte, doctrine), profondeur d’analyse et adéquation au système juridique concerné.

D’ailleurs la pertinence peut être spécialisée pour chaque type de document car on ne recherche par une doctrine comme on recherche une jurisprudence.

Ainsi pour évaluer la pertinence d’une jurisprudence, on peut rajouter aux critères ci-dessus son niveau de juridiction ainsi que caractère annoté ou non de la décision.

Recherche booléenne classique : forces et limites

Dans la recherche avec des opérateurs de recherche, l’utilisateur maîtrise son interrogation et ses sources.

La recherche classique dans les bases de données juridiques repose sur des langages de requête structurés (opérateurs booléens, troncatures, proximités, filtres) qui donnent au documentaliste un contrôle fin sur le corpus interrogé. Cette approche permet d’assurer la reproductibilité des résultats. Le chercheur définit le classement de ses résultats et les critères de ce qu’il estime indiquer la pertinence de la recherche en cours – qui diffère d’une recherche à l’autre.

A priori une requête booléenne devrait conduire à des meilleurs résultats, surtout si la requête est conçue par un chercheur expérimenté. Toutefois, ce modèle suppose une forte compétence technique de l’utilisateur, peut générer du bruit en cas de requêtes mal calibrées et reste peu “conversationnel” pour les praticiens non spécialistes de la recherche documentaire.

Recherche assistée par IA générative : promesses et risques

Les outils de recherche juridique intégrant de l’IA générative apportent une couche sémantique et conversationnelle : ils interprètent la question en langage naturel, détectent les concepts et proposent des réponses structurées avec références vers les sources.

Avec l’IA générative, la pertinence ne se limite plus à la présence de mots-clés, mais s’élargit à la “pertinence argumentative” : la capacité d’un système à repérer les passages qui portent l’argument utile au dossier, même si le vocabulaire diffère de celui de la requête initiale.

Les gains annoncés concernent principalement la vitesse de repérage, la couverture d’un volume massif de sources et la formulation de synthèses exploitables par les avocats. Mais les études empiriques soulignent aussi des risques importants : hallucinations (références inexistantes), confusion entre juridictions ou systèmes juridiques et difficulté à mesurer objectivement l’exhaustivité de la réponse quand le chemin de recherche n’est pas transparent.

Pire encore, pour une question quasi identique avec le même LLM, la réponse peut varier du tout au tout, tout en étant à chaque fois présentée comme certaine et fiable. Et pour une même question posée à plusieurs LLM, la réponse ne sera jamais la même car les corpus documentaires et les entrainements ne sont pas les mêmes.

Si l’on ajoute à cela, l’open data des décisions de justice et l’augmentation considérables des décisions mises à disposition, comment s’assurer qu’une jurisprudence présentée comme pertinente par une IAG l’est vraiment ? Ci-dessous, nous abordons aussi la problématique de la présentation des résultats de recherche de jurisprudences sous forme de tableaux comparatifs.

Bien sûr il est désormais possible de vérifier les sources mais comment contrôler la bonne adéquation et l’exhaustivité d’une réponse quand la solution est programmée pour ne livrer qu’un nombre limité de réponses qu’elle choisit de manière opaque ?

Un sujet au cœur de nos métiers

Ce sujet est au cœur de nos métiers, Stéphane Jacquier, Responsable Documentation du Cabinet Allen & Overy, en parle dans son interview pour Lexmag :

Lexmag : « Les attentes sont donc de plus en plus importantes. Que recherchent les utilisateurs : rapidité, pertinence, personnalisation ? »

SJ : « Les trois. La rapidité, c’est obligatoire. La pertinence est vitale : tomber à côté, c’est perdre la confiance de l’utilisateur. Et la personnalisation devient clé, car chacun veut que l’outil colle à son besoin spécifique. »

Regards sur l’évolution des recherches juridiques depuis 20 ans, Lexmag (Lexbase), numéro 7, 2025

De même, Bénédicte Baudot-Soubrane, Digital Information Director chez Gaillard Banifatemi Shelbaya Disputes, soulève la problématique des listes de résultats générées par l’IAG pour une recherche de jurisprudence.

BBS : « Il arrive régulièrement que le contenu généré par l’IAG ne cite qu’un nombre de décisions très limité : afin de présenter un ensemble « pertinent » de jurisprudences sous la forme d’un tableau pour en permettre l’analyse comparée (ce qui est néanmoins très utile, n’empêchant pas la lecture par le juriste qui reste essentielle), le nombre de décisions sélectionnées par l’algorithme se limite à 10 ou 20. Mais sous cette apparente sélectivité assortie du label de pertinence, le chercheur n’a pas le possibilité de décrypter pourquoi ces décisions précises sont arrivées dans le tableau comparatif, à défaut d’autres décisions : il ne connaît pas les critères de sélection et ne peut donc pas les modifier.

La comparaison sous forme de tableau est certes magnifiquement présentée, mais l’algorithme de sélection reste inconnu. Ce n’est pas ce que l’on peut appeler de la « pertinence », celle-ci étant nécessairement fondée sur un ou des critères connus. Le juriste le sait bien, qui apprécie la « pertinence » d’une preuve par le rapport entre celle-ci et le fait à prouver. Il s’agit donc bien d’identifier une causalité et non une corrélation.

Personne ne sait – pas même l’algorithme – si l’on n’est pas passé à côté d’un contenu essentiel (car on l’ignore) pour une raison valable ou non (car on l’ignore aussi) ! Et pour cause, on ne peut pas lire les décisions manquantes – et éventuellement pertinentes – afin de vérifier qu’elles auraient dû figurer dans le tableau comparatif (la fameuse « vérifiabilité » des contenus générés par un système d’IA générative), parce qu’on ne les a pas. Même si on voulait s’aventurer pour plusieurs heures dans l’analyse d’une longue série de résultats.

Ce qui représente pour moi la vraie limite des propositions de « pertinence » par une IAG, est donc que les critères ne sont ni identifiables, ni vérifiables, ni modifiables, parce qu’ils sont générés « à la volée » sur une base probabiliste et corrélative – même si certains éléments de pondération dans les IAG s’affinent au fil du temps.

C’est un vrai changement de paradigme dans la manière de chercher : la pertinence, qui résulte en réalité de critères de classement ou de sélection dans un ensemble de résultats vient ici précéder la constitution de cette liste de résultats en dehors de tout contrôle. Cette liste très limitée qu’on ne peut donc pas consulter entièrement constitue pour moi la ligne de rupture dans la méthode, entre un « moteur de recherche » (outil du chercheur, qui va bâtir sa solution à partir de ce qu’il aura sélectionné comme pertinent) et ce qui pourrait s’apparenter à un « moteur de solutions » (outil de celui qui va devoir valider ou non des pistes de solutions, un peu à l’aveugle quant aux sources données) – même si l’IAG est supposée simplement donner des idées ou alimenter la réflexion et non donner des solutions.
En voulant simplifier et proposer un contenu déjà « hyper » sélectionné, on porte atteinte en réalité à la possibilité qu’a le chercheur d’identifier lui-même le contenu pertinent parmi un ensemble plus vaste. L’art de bien prompter ne fera pas tout pour pallier cette difficulté.

Afin de ne pas faire une confiance aveugle à la machine et rester maître de sa recherche, il est essentiel de conserver un outil qui permette – au-delà de ces suggestions bien pratiques – de mener une recherche scientifiquement, en restant capable de garder la main sur les critères de recherche a priori, qui sont une première étape, et sur les critères de classement et de sélection a posteriori, qui en sont une seconde et qui permettent de travailler sur la « pertinence » ou non d’une source. Il s’agit ici de méthode. Ce qui n’empêche pas d’apprécier la technologie pour ce qu’elle est et ce qu’elle permet efficacement ! »

Rôle stratégique du documentaliste à l’ère de l’IA

Dans ces conditions, le rôle du documentaliste se déplace vers la conception, l’audit et la pédagogie des stratégies de recherche combinant outils classiques et IA. Il revient au documentaliste :

• de définir les critères de pertinence adaptés à chaque type de mission (contentieux, conseil, veille, compliance) ;
• d’enseigner aux équipes comment articuler une requête booléenne de cadrage avec une exploration générative argumentée ;
• de veiller à ce que les fournisseurs de bases de données conservent des systèmes classiques de recherche et ne les masquent pas au profit exclusif de la recherche par intelligence générative ; les documentalistes ont toujours bataillé auprès des éditeurs pour maintenir le mode recherche avancé (avec des opérateurs et des filtres) qui avait tendance à disparaître au profit des barres de recherche à la Google. Le combat est le même mais il se déplace. Nous devons désormais nous battre pour maintenir la recherche classique qui pourrait disparaître au profit d’un bloc de recherche en langage naturel assisté par l’IAG;
• de mettre en place des protocoles de validation systématique des références proposées par l’IA (vérification de l’existence de la décision, juridiction, date, portée).

La réponse pertinente sera celle qui exploite les forces de l’IAG (principalement pour se donner de nouvelles idées grâce à la corrélation des concepts) sans renoncer aux exigences éprouvées de la recherche classique booléenne avec une couche supplémentaire de contrôle et de traçabilité.

Crédit

Cet article m’a été inspiré par plusieurs échanges, notamment un échange avec Bénédicte au Salon Droit et Innovation de novembre 2025. Je la remercie pour sa participation à l’écriture de l’article.

Photo d’illustration personnelle : Château d’Angers, novembre 2025