Les outils d’IA juridiques à l’heure des comparaisons

En 2024, plusieurs éditeurs ont lancé leurs outils d’intelligence artificielle. Après la phase de curiosité, vient la phase de test. Or il n’est pas facile de comparer les différentes bases entre elles.

Quelques pistes ci-dessous à l’heure des grandes phases de test.

Comparer ce qui est comparable

Il existe deux familles d’IA Générative,
– la famille éditeurs juridiques traditionnels et legaltechs, IA documentaire, recherche augmentée
– la famille IA à pluguer sur son propre contenu , IA de productivité, super assistant

Pour quel usage ?

Savoir ce que l’on souhaite faire avec l’IA et prioriser les attentes.
Cela dépend de la pratique de chaque avocat et de la structure juridique
Connaître SES cas d’usages prioritaires.
On peut s’aider avec ce guide pour trouver des cas d’usage
Utilisation des systèmes d’Intelligence Artificielle Générative, Guide CNB, Septembre 2024
En 2024, il n’existe pas UNE IA pour TOUS les cas d’usage !

Quel type de données ?

Comparer les fonds sur lesquels l’IA fonctionne.

• La JP ? La doctrine ? Des sources officielles ? Un fonds éditorial ?
• Le corpus interne de la structure ? Quel est la compatibilité de l’outil avec l’outil de GED ou avec les bases internes (par exemple sous SharePoint) ?

On le sait, un corpus de qualité est la meilleure parade contre les hallucinations.
Encore faut-il que le corpus soit à jour, soit vaste.

Quelles fonctionnalités ?

• Repérer les fonctionnalités qui vont devenir banales à terme et qui sont déjà incluses dans votre abonnement. Par exemple le résumé de jurisprudence. Cette fonctionnalité est déjà incluse chez certains prestataires. Idem pour la traduction.
• Repérer des fonctionnalités qui vous font cruellement défaut (cf. plus haut les cas d’usage).

L’évaluation

• Prévoir un groupe pilote qui peut varier en fonction des besoins et des spécialités. Prévoir des testeurs avec différents degrés de séniorité.
• Il est souvent recommandé de poser une question que l’on maîtrise bien à plusieurs outils pour pouvoir comparer les résultats.
  Inversement, il peut être intéressant de mesurer l’aide obtenue sur un sujet que l’on ne maîtrise pas du tout, même si l’aide consiste uniquement à plusieurs pistes qu’il faudra ensuite vérifier.
• Choisir des critères d’évaluation communs tout en laissant libre court aux remarques ou exemples en texte libre.
• Les fournisseurs sont très friands de feedback. Parfois le feedback est même obligatoire à une fréquence régulière pendant la durée du test. Je pourrais même dire : « si le test est gratuit, c’est vous le produit ! » ; votre feedback sera déterminant pour améliorer la qualité de l’outil. Les fournisseurs ont besoin de se baser sur la pratique des juristes et des avocats pour proposer des fonctionnalités.
  Inversement, le fournisseur prévoit-il de vous livrer des statistiques d’usage à l’issu du test ?
• Prévoir un test suffisamment long (idéalement 4 semaines). Il n’y a jamais de bonne période. Il ne faut pas hésiter à relancer régulièrement les équipes.
• Notez que l’évaluation est très consommatrice de temps et d’énergie humaine (en plus de l’énergie de la technologie !)
• Dialoguer avec ses pairs. Suivre les manifestations ou salons en rapport avec ce sujet, surtout si la manifestation propose nativement des comparaisons.
• Et n’oubliez pas, il faut comparer ce qui est comparable ! Voir ci-dessus les 2 familles de produits.

Le budget

• Prévoir un budget et surtout avoir une idée du coût des solutions, un coût qui va se rajouter à celui des bases de données juridiques.
• Peut-on la prendre seulement pour quelques avocats juristes d’une équipe ? Chez certains éditeurs, il est possible de prendre un abonnement pour un pourcentage du nombre d’avocats total du Cabinet. Dans ce cas, il est recommandé de donner un accès seulement aux avocats ayant présenté le plus d’intérêt pendant les tests et ayant suivi les sessions de formation/présentation de l’outil.
• Peut-on tout simplement ne pas souscrire à l’option IA ? Et si l’on ne souscrit pas, combien d’années sera maintenue la solution sans IA ?
• La souscription à une option IA conditionne-t-elle l’accès à de nouveaux contenus, de nouvelles fonctionnalités y compris des fonctionnalités d’usage pas spécifiquement liées à l’IA ?
• Autres coûts cachés ? Existe-t-il un coût en fonction du nombre de requêtes par jour. Un nombre limité de requêtes par jour ?
• Quel sera le coût de l’analyse de vos données internes si vous souhaitez les inclure ? Une GED compte plusieurs tera octets de données, leur analyse a forcément un coût.
• Dans le budget prévoir aussi l’accompagnement, la formation, les tests payants.
• Coût d’un accompagnement par un prestataire ? Coût des formations à l’art du prompt ?

La sécurité

• Se renseigner sur les technologies employées et sur le pays qui accueille les serveurs (technologie française/américaine, serveurs en Europe ou aux USA).
• Se renseigner sur la sécurité des données, le respect du RGPD, le respect de la confidentialité y compris pendant la période de test.
• Le fournisseur peut-il produire un label, une certification ? Adhère-t-il à un code de conduite ?
• Qu’en pense votre DSI ?
• Voir aussi IAG et sécurité des données : les politiques des éditeurs

Autres réflexions

• Dialoguer avec les éditeurs qui sont friands de retours d’expérience mais attention, la position des bêta-testeurs doit être bien encadrée et gagnante/gagnante.
• Attention au discours commercial trop bien rodé. Venez avec vos propres exemples.
• La question de l’utilisation de l’IA générative par les stagiaires est une question que l’on doit se poser très en amont, y compris pendant les phases de test.
• Voir aussi Les critères de choix d’une base de donnée juridique