ホリエモンAI学校、弁護士によるブラインド採点で主要生成AIのリーガルレビュー性能を検証

ホリエモンAI学校は、Anthropic社から発表されたClaude Cowork法務プラグイン「Claude for Legal」の大幅アップデートに伴い、Claude for Legal、ChatGPT、Geminiによる契約書レビュー結果を弁護士によるブラインド採点で評価し、その結果を発表した。

Claude for Legalは日本企業で日常の法務レビューに使えるのか？　Claude for Legalプラグインを入れたClaude Coworkと、日常でよく使用されているChatGPT、Gemini、この3つのAIを使って同じ契約書をレビューした結果を、ワードファイルABCとして保存し、弁護士によるブラインド評価を行った。

その結果、AIによる契約書レビューでは、前提情報をどこまで正確に入力できるかが非常に重要であり、プロンプト設計の難しいことが明らかとなった。今後は、AIに前提情報を正確に把握させるため、社内ファイル、Googleドライブ上の資料、社内外の打ち合わせ音声、メール、Slackなど、会社の保有する情報を包括的に読み込ませた上で、契約書を作成・レビューする形になると考えられる。

また、AIが出したレビュー結果を適切に判断し、実務に落とし込むには、結局のところ、弁護士や一定の経験を有する法務担当者の関与が必要になることも分かった。さらに、AIが指摘した修正希望に対して相手方が応じない場合、どこを落としどころにするのかの判断も難しいポイントとなり、契約上の弱点やリスクを認識した上で、それが顕在化しないようにビジネスを進めていくという対応をせざるを得ない場合も多くあると考えられる。

とはいえ、Claude for Legalは自社の事前情報、他契約書情報、規約やリスク許容度の基準（プレイブック）を読み込ませることのできるように設計されており、実務に耐えうるレベルにまで伸ばすことができる可能性が高いとしている。