Grands modèles linguistiques en tant qu'avocats fiscaux : cet article sur l'IA explore les capacités du LLM dans l'application du droit fiscal

Feb 05, 2024

Des progrès dans le domaine de l’IA sont réalisés. Les grands modèles linguistiques (LLM) sont le lieu où les progrès rapides se produisent. Les LLM modernes peuvent utiliser des outils, planifier et réussir des évaluations standardisées. Mais même pour leurs créateurs, les LLM ne sont que des boîtes mystérieuses. Ils ne savent pas grand-chose de leur façon de penser intérieurement et ne peuvent pas prédire comment un LLM agirait dans une nouvelle situation. Avant que les modèles ne soient utilisés en dehors du cadre de recherche, il est préférable d’évaluer les performances du LLM sur une longue liste de critères de référence. Cependant, ces repères doivent souvent refléter des activités du monde réel qui sont importantes pour nous ou qui peuvent avoir été mémorisées par le LLM au cours de la formation. Les données requises pour l'évaluation des performances sont généralement incluses dans les ensembles de données utilisés pour la formation des LLM, qui sont fréquemment téléchargés sur Internet.

Le chevauchement peut surestimer les performances du modèle, créant une impression de compréhension alors qu'il ne s'agit peut-être que d'une simple reconnaissance. Ils concentrent particulièrement leurs efforts d'évaluation sur les compétences analytiques juridiques des LLM pour trois raisons. Premièrement, déterminer dans quelle mesure les LLM comprennent la loi peut contribuer à une réglementation plus générale des LLM et des systèmes automatisés. Une stratégie pertinente en termes de politique consiste à utiliser le raisonnement juridique et réglementaire dans les LLM pour une « IA fondée sur le droit » qui s'aligne sur les idéaux sociétaux établis via des procédures démocratiques et la législation. Cette stratégie « La loi informe le code » repose sur la capacité démontrée du processus démocratique à produire des normes juridiques flexibles telles que les obligations fiduciaires par le biais de délibérations itératives et de litiges. L’idée est qu’enseigner aux systèmes d’IA l’esprit de la loi peut les aider à prendre des décisions défendables dans des situations inconnues. Lorsqu’un système basé sur LLM prend en charge un principe humain, cette capacité précoce à détecter lorsque les responsabilités fiduciaires ne sont pas respectées pourrait permettre des déploiements d’IA plus sûrs. Deuxièmement, que ce soit en libre-service ou en faisant appel à un avocat qualifié, les LLM peuvent être utilisés comme instruments par les personnes pour fournir des services juridiques plus rapidement et plus efficacement. Les modèles peuvent être plus fiables et plus précieux s’ils comprennent mieux la loi. Les LLM peuvent contribuer à diverses activités, de la prédiction des cas à l'analyse des contrats, démocratisant ainsi l'accès à l'assistance juridique et réduisant le coût et la complexité pour les personnes qui autrement auraient du mal à comprendre le système juridique.

Compte tenu de la nature délicate du travail juridique, certaines protections devraient être mises en œuvre au fur et à mesure de la mise en œuvre de ces modèles. Cela implique d'améliorer la confidentialité des données, de réduire les biais, de respecter la responsabilité des choix de ces modèles et d'évaluer l'applicabilité des LLM pour un cas d'utilisation particulier. Des évaluations systématiques sont donc nécessaires. Troisièmement, si les LLM possèdent des connaissances juridiques suffisantes, ils peuvent être utilisés par le gouvernement, la population et les universitaires pour détecter les contradictions juridiques. Les LLM peuvent améliorer l’efficacité globale et l’ouverture des gouvernements. Par exemple, les LLM peuvent souvent expliquer des règles et réglementations complexes d’une manière à la fois claire et intelligible.

À l’avenir, les LLM pourront prévoir les effets probables de nouvelles lois ou politiques. Les LLM pourraient identifier une législation éventuellement « obsolète » ou des situations dans lesquelles la loi est muette alors que, dans d’autres cas comparables, le législateur ou les régulateurs donnent des orientations en analysant d’énormes quantités de langage juridique et les mises en œuvre qui l’accompagnent. Dans cette recherche, des chercheurs de l'Université de Stanford, de l'Université du Michigan, de l'Université de Washington, de l'Université de Californie du Sud, de la Northwestern Pritzker School of Law et de SimPPL étudient la création de LLM avec récupération augmentée en utilisant le texte du Code américain (un ensemble de lois fédérales). ) et le Code américain des réglementations fédérales (CFR). Ils évaluent la compréhension croissante du droit fiscal d'un groupe de LLM. Ils ont opté pour la législation fiscale en fonction de quatre facteurs.

L'autorité juridique en matière de droit fiscal réside principalement dans deux sources : les règlements du Trésor en vertu du CFR et le titre 26 du code américain (communément appelé Internal Revenue Code). Cela contraste avec plusieurs domaines juridiques où les doctrines sont distillées à partir de multiples précédents. Cela nous permet de compléter la récupération du LLM à l'aide d'un univers prédéfini de documents éventuellement pertinents. Deuxièmement, de nombreuses lois fiscales permettent de répondre de manière concluante aux questions. Cela nous permet de mettre en place des workflows de validation automatique et cohérents. Troisièmement, pour traiter des questions de droit fiscal dans un cas spécifique, il faut généralement plus que simplement lire l’autorité juridique pertinente ; par conséquent, ils peuvent évaluer les compétences LLM d'une manière qui s'applique à la pratique du monde réel.