“The errors are the latest example of a professional services firm grappling with the use of cutting-edge technology to speed up laborious research and cut down on staffing while also trying to maintain quality standards.”
Cette phrase est extraite de l’article Elite law firm Sullivan & Cromwell admits to AI ‘hallucinations, Financial Times du 21 avril 2026.
Sous couvert des progrès de l’IAG et de faire des économies, certains cabinets sont tentés de réduire le nombre de leurs fonctions supports, de déléguer la recherche juridique– jugée ici fastidieuse – à un outil IA, au risque de se retrouver avec des documents truffés d’hallucinations et de devoir s’en excuser par courrier auprès du tribunal fédéral américain. Le fait même de disposer d’une charte IA avec des règles de vérification (comme c’était le cas pour S&C) n’a pas suffi à protéger le cabinet.
Les erreurs de citation ont toujours existé
Les plus anciennes sont les erreurs de citation dans les collections juridiques encyclopédies ou revues anciennes.
Elles sont bien connues par les professionnels de l’information.
Un cas récurrent, l’erreur de date d’une jurisprudence
J’ai eu le cas récemment sur une jurisprudence qui datait de 1954. La date était fausse, une typo malencontreuse. Avec le sujet et une citation de publication, j’ai pu rapidement retrouver la bonne décision.
Autre cas fréquent : une jurisprudence rendue en fin d’année (novembre-décembre) était souvent commentée l’année suivante. Or les erreurs de citations entre la date de la jurisprudence et la date de publication de son commentaire étaient fréquentes. Là aussi, avec un peu de logique, ce type d’erreur est facile à déceler et contourner.
Parfois, il n’est pas possible de venir à bout de l’erreur l’ancienne d’autant plus que rien n’était numérisé à l’époque, cela reste une (seule) erreur de citation ou un document que l’on ne pourra pas vérifier correctement et c’est plutôt rare.
Pour les hallucinations générées par l’IA, la problématique n’est pas la même
Les citations présentent en effet toutes les caractéristiques d’une citation correcte. L’IA vous répond avec beaucoup d’assertion et des liens vers les sources qui laissent à penser que sa réponse est bien fondée. Plus la réponse est longue et complexe, plus les erreurs peuvent se cumuler. Les erreurs dépendent aussi des fonds interrogés. Elles sont bien sûr beaucoup plus nombreuses sur les IAG généralistes (chat GPT par exemple).
Ceci dit, ce n’est pas parce que l’on fait des recherches sur le fonds fermé d’un éditeur que le juriste ou l’avocat doit se croire 100 % à l’abri de potentielles hallucinations.
Une étude américaine de 2025 démontre même le contraire.
Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, Journal of Empirical Legal Studies, 2025; 0:1–27
De cet article, je me suis permise d’isoler (grâce à une IAG) des conseils opérationnels pour réduire les hallucinations. J’ai revu et adapté les réponses pour coller au mieux au marché français. En effet, l’article concerne uniquement le marché américain. Je pense que néanmoins les conseils sont transposables pour notre pratique en France.
Des conseils opérationnels pour réduire les hallucinations
Sur la base des conclusions de l’article, voici les recommandations concrètes qui s’en dégagent :
Pour les utilisateurs (avocats et juristes)
- Vérifier systématiquement chaque proposition et chaque citation. Même lorsqu’un outil RAG (d’un éditeur, d’une legaltech) fournit des liens vers des sources réelles, celles-ci peuvent ne pas soutenir la proposition avancée, voire la contredire. La vérification doit aller au-delà du simple contrôle de l’existence de la source.
- Ne jamais considérer l’existence d’une citation comme une garantie de fiabilité. Une citation « hallucination-free » au sens strict (le document existe) peut être totalement trompeuse si la règle de droit est inapplicable, hors sujet ou si la jurisprudence visée contredit votre requête.
- Être particulièrement vigilant avec les réponses longues. Les systèmes qui génèrent des réponses plus détaillées contiennent davantage de propositions falsifiables et donc un risque accru d’hallucinations.
- Vérifier la hiérarchie des autorités et l’actualité du droit. Les systèmes peinent à distinguer les décisions de principe et confondent fréquemment les niveaux de juridiction. La notion de « décision récente » n’est pas non plus toujours bien comprise par le langage. Précisez ce que vous entendez par récente. Quant à la pertinence des réponses, j’en ai déjà parlé ici.
- Distinguer les arguments des parties de la solution du tribunal. Les outils peuvent confondre les moyens des parties du dispositif du tribunal. Ce point pourrait être amélioré mais il faut rester vigilant.
- Méfiez-vous de vos propres requêtes. Savoir que si vous formulez une requête juridiquement fausse, l’outil pourrait ne pas vous contredire et aller dans votre sens.
- Utiliser l’IA comme point de départ de la recherche, pas comme conclusion définitive. L’article reconnaît que ces outils peuvent offrir une valeur considérable comme première étape de recherche, grâce à la récupération sémantique de documents, à condition de ne pas s’y fier aveuglément.
- Ou inversement – Utilisez l’IA comme un dernier recours (c’est moi qui rajoute). Faire votre recherche de manière traditionnelle, puis utilisez l’IA pour vérifier que vous n’avez pas oublié un angle.
Pour les développeurs de systèmes RAG juridiques
- Améliorer la phase de récupération (retrieval) en intégrant du raisonnement juridique. La récupération par simple similarité textuelle est insuffisante en droit : il faut prendre en compte la juridiction, la temporalité, le type de norme et la pertinence juridique réelle.
- Enrichir les métadonnées des documents. La représentation du chaînage des décisions et des entités juridiques dans les bases de données doit être améliorée pour permettre un meilleur ancrage des réponses.
- Implémenter l’expansion de requêtes (query expansion). Avant d’interroger la base de données, le système devrait reformuler ou enrichir la requête pour identifier le véritable enjeu juridique sous-jacent.
- Être transparent sur les limites. Les affirmations de type « hallucination-free » non étayées par des preuves empiriques exposent à des risques juridiques et sapent la confiance des utilisateurs.
- Favoriser des outils à périmètre défini plutôt que des chatbots ouverts. L’évaluation et la fiabilité sont bien plus faciles à garantir pour des outils accomplissant des tâches juridiques spécifiques et bien délimitées que pour des interfaces de chat acceptant n’importe quelle question juridique.
- Encourager les audits indépendants par des tiers. Les évaluations internes des fournisseurs manquent d’indépendance ; un organisme d’audit indépendant serait un sacré avantage pour un choix éclairé face à des solutions très couteuses (c’est moi qui rajoute pour cette dernière phrase).
D’un autre article (toujours au sujet de l’affaire S&C), j’ai extrait cette citation :
“Build all the AI policies you want, but there is no substitute for having a human — preferably multiple humans — print everything out, take a ruler and a red pen, and go line by line cross-checking everything. It’s tedious work for the lawyers and expensive work for the clients, but it’s better than having to write… this letter.”
Sullivan & Cromwell Files Emergency Please don’t sanction us for all these AI hallucinations letter by Joe Patrice on April 21, 2026
Est-ce que dans cette citation, l’auteur ne parlerait pas du boulot de vérification à confier aux fonctions support (documentalistes et KM) et aux stagiaires ?
Que penser des cabinets qui en ce début d’année 2026 ont fait le choix de supprimer leurs équipes documentaires et KM ?
En dehors des activités de veille juridique et de gestion documentaire, ces équipes jouent un rôle essentiel dans la structuration des connaissances et ont une connaissance infaillible du fonds documentaire de la structure.
Qui désormais fera le travail de vérification des références pour éviter ce genre de bad buzz ?
Comme le dit Emilie Gille, Présidente de l’association Juriconnexion dans un message du 24 avril 2026 sur la liste Juriconnexion :
« l’information juridique n’est plus seulement stratégique mais c’est aussi un actif à risque, porteur d’enjeux réputationnels majeurs ».
De même, qui pour orienter avocats et stagiaires dans la fastidieuse recherche dans les fonds documentaires papier ? J’en ai déjà parlé ici, la Gazette du Palais est l’épreuve ultime.
Certes, nous n’avons pas des demandes dans la Gazette du Palais ou dans de vieux Recueils Dalloz tous les jours mais le droit reste une matière avec des références papier qu’il faut maitriser.
Enfin un service doc ne se résume pas à de la recherche juridique sur bases de données numériques.
Un service doc
- gère des abonnements,
- conduit des négociations de contrats,
- fait des veilles juridique / sectorielle / métier,
- organise des formations,
- partage des connaissances via des bases structurées sur lesquelles vous pourrez brancher l’IA avec de meilleures chances de succès,
- accompagne le changement,
- fait gagner du temps sur des recherches que les documentalistes ne jugent pas fastidieuses car ils/elles sont formées et ont de bons réflexes (y compris les réflexes papier) pour les conduire,
- et bien d’autres tâches parfois invisibles mais nécessaires au bon fonctionnement du service.
Illustration : extrait de mosaïque Odorico à Angers, Novembre 2025, photo personnelle
Publié le 30/04/2026, modifié le 30 avril 2026
