CNNなどのマスメディアなどでも取り上げられた弁護士のChatGPT利用による不祥事がありました。ある弁護士がある訴訟のための判例調査にChatGPTを使用しましたが、ChatGPTは存在しない引用や裁判の決定を捏造しており、最終的に裁判所に提出する書類にそのような情報が含まれていました。この事件は、法的調査やその他の法的問題にAIに依存することのリスクを強調しています。AIソフトウェアは正当に見え、正確な引用形式を使用し、情報が判例データベースで見つかると主張して虚偽の情報を提供しました。AIは便利ですが、人間によるチェックと検証が重要であると述べています。
ーーー
最近、ニューヨーク州南部地区の連邦地方裁判所に提出された書類に存在しない事例や判決の引用が含まれていたという報道をご覧になった方もいらっしゃるのではないでしょうか？
この事件の弁護士は、裁判所に提出のための書類に関する法的調査を行うために、生成型人工知能（AI）プログラムChatGPTを使用していましたが、ChatGPTが引用文献や判決を捏造していたことに気づいていませんでした。この事例は、訴訟の文脈以外でも、法的調査、法的質問、その他の法的問題に関連してAIを利用しようとする個人に対する注意喚起となるはずです。
不自然な判例引用から全ては始まった
Mata v. Avianca, Inc. Case No. 22-cv-1461 (S.D.N.Y.) で、原告は、航空会社の従業員の1人が金属製の配膳用カートが当たった際に負ったとされる怪我について、航空会社に対して不法行為の請求を行っていました。航空会社は、この訴訟を却下する動議を提出しました。原告の弁護士は、この申し立てに対する異議申立書を提出し、その中で、いくつかの判例とされるものを引用して論じました。航空会社は、原告代理人が引用した多くの裁判例が見つからず、存在しないと思われ、他の2つの裁判例は間違って引用されており、さらに重要なことに、原告代理人が主張することは述べられていないと反論しました。裁判所は、これを受け、航空会社が特定した問題のある判決を添付した宣誓供述書を提出するよう、原告弁護士に指示しました。
原告の弁護士は指示された宣誓供述書を提出し、その中で、1つの判決を見つけることができなかったが、他の判決は添付したと主張し、特定の判決は「判決文全体を包括するものではなく、オンラインデータベースにより利用可能になったもののみかもしれない」という注意書きが書かれていました。しかし、この宣誓供述書に添付された多くの判決は、裁判所が公表したり、WestlawやLexisNexisなどの法務調査データベースで公表される判決の形式ではありませんでした。
宣誓供述書における言い訳が事態をさらに悪化させることに
これに対し、裁判所は、「提出された事例のうち9件は、インチキな引用とインチキな内部引用を伴うインチキな司法判断と思われる」と述べ、11th Circuit Court of Appealsのものとされる存在しない判決を実証例として挙げました。裁判所は、11th Circuit Court of Appealsの書記官と連絡を取ったところ、「11th Circuit Court of Appealsにはそのような事件は存在しない」と言われ、原告の提出した書類に記載されている訴訟事件番号は別の事件のものであることがわかりました。。裁判所は、さらに「原告の弁護士が提出した（他の）5つの判決も同様に偽物であるようだ」と指摘しています。裁判所は、2023年6月8日に公聴会を予定し、原告代理人が「偽」の事例を引用したことで制裁を受けるべきでない理由について本人が説明するように要求しています。
宣誓供述書でChatGPTを使用していたことがわかる
さらに原告代理人が情報を開示することで、事の次第が明らかになりました。
存在しないケースを引用した書類を最初に提出した弁護士は、彼の事務所の別の弁護士が調査を担当したとする宣誓供述書を提出し、その内容に関して「疑う理由がなかった」と述べました。また、調査を行った2番目の弁護士も宣誓供述書を提出し、その中でChatGPTを使って法的調査を行ったと説明しました。二人目の弁護士は、ChatGPTが 「その法的出典を提供し、その内容の信頼性を保証してくれている」と説明しています。彼は、これまでChatGPTを法律調査に使用したことがなく、「その内容が虚偽である可能性を知らなかった」と説明しました。調査を行った弁護士は、書類を提出した弁護士に過失はなく、自分の過失であるとし、「当裁判所や被告を欺く意図はなかった」としました。さらに、調査を行った第二の弁護士は、自身が引用された事例が実在するかどうかを質問したChatGPTとのチャットのスクリーンショットを提出しました。ChatGPTは「Yes, one of the case is a real case」と回答し、その引用例を提示しました。ChatGPTはスクリーンショットで、その判例がWestlawとLexisNexisで検索できることを報告しました。
この不祥事から学べることは多い
この事件は、いくつもの重要な教訓を与えてくれます。
その中には、自分の仕事と他人の仕事をダブルチェックし、間違いはすぐに認めるという古くからの教訓もあります。しかし、AIに特有の教訓も数多くあり、弁護士にも弁護士でない人にも適用できるものです。
この事例は、ChatGPTや類似のプログラムが、合法的に見える流暢な回答を提供しても、提供する情報が不正確であったり、完全に捏造されている可能性があることを示すものです。このケースでは、AIソフトは正しい引用形式を用いながら、市販の法律研究データベースでその事例が見つかると仮定して、存在しない判例をでっち上げたのです。
同様の問題は、訴訟以外の場面でも起こりうります。例えば、契約書を作成する弁護士や遺言書を作成する信託・遺産弁護士は、実際にどの裁判所でも使用されたことがなく、支持されたこともない、一般的な契約書や遺言書の文言をAIソフトウェアに要求することができます。遺産弁護士がAIソフトを使って、特定の州で利用可能な適切な権原保険の裏書（endorsements）を特定しようとすると、適用できないか存在しない裏書のリストが表示されることもあるでしょう。弁護士以外の人が、弁護士に依頼せずに有限責任会社や同様の事業構造を設立しようとすると、AIソフトウェアによって、必要な手順や記入・提出が必要なフォームについて混乱する可能性があります。いままでもこのようなことはありましたが、AIの利用が一般化されるなかで、このようなケースは今後増えていくことでしょう。
また、このケースは、AIソフトウェアへの質問の仕方に注意する必要性を強調するものでもあります。このケースでは、弁護士の質問のひとつが、単に「提供した他のケースは偽物ですか」というものでした。より具体的な質問をすることで、ユーザーが他のソースからの情報を再確認するために必要なツールを提供することができますが、最も巧妙なプロンプトであっても、AIの回答が不正確であるという事実を変えることはできません。とはいえ、正しく慎重に使用すれば、法律業務に関連してAIを使用することには、多くの潜在的なメリットもあります。特に、AIは膨大なデータの選別や法律文書の一部分のドラフトを支援することができます。しかし、人間の監視とレビューが重要であることに変わりはありません。
ChatGPTは仕様上、法的な疑問を持つユーザーに対して、弁護士に相談するよう頻繁に警告していますが、その理由が今回の不祥事で十分わかったのではないでしょうか？
AIソフトウェアは強力で革命的なツールになり得ますが、訴訟、取引業務、その他の法的な文脈を問わず、法的な質問に対して信頼できる段階には（まだ）至っていないのです。私たちはまだそこに到達していないのです。
弁護士であろうとなかろうと、AIソフトウェアを使用する個人は、その限界を理解し、AIソフトウェアの出力だけに頼ることはできない、AIソフトウェアが生成する出力は独立したソースを通じてダブルチェックし検証されなければならないという認識を持ってソフトウェアを使用する必要があります。AIソフトウェアが生成する出力は、独立したソースを通じてダブルチェックと検証を行う必要があります。しかし、正しく使用することで、弁護士と弁護士以外の人を支援する可能性も十分あることも理解する必要があります。
参考記事：Use of ChatGPT in Federal Litigation Holds Lessons for Lawyers and Non-Lawyers Everywhere
