ChatGPT、Legoraの41文書レビューに活用 4件の仕込みエラーを検出
- LegoraがGPT-6 Astraで41文書を数分で確認しました。
- 仕込みエラー4件すべてを検出しました。
- 同ワークフローで性能が約40%向上しました。
Legoraによると、作業は数分で完了しました。
対象は、ドラフト勘定の各数値を試算表、連結スケジュール、前年の勘定と照合する作業です。Agentは各残高を裏付け資料と照合し、金額の不一致を示し、各チェックを記録しました。
Legoraは、実務由来の法律タスクを測るLegora Benchmark for Agentic ReasoningでGPT-6 Astraを評価しました。同社は、この財務諸表ワークフローで前モデル比約40%の性能向上があったと報告しました。全タスク平均では約3%の向上でした。
照合作業では、Legoraが勘定に仕込んだ4件のエラーをすべて検出しました。エラーには、収益注記に隠された£500,000の差異が含まれます。最終判断は法律専門家が担う運用です。
ざっくり言うと、決算書の数字が裏付け資料と合っているかを一行ずつ突き合わせる作業を、AI が数分で終わらせたという話です。ここでいう Agent は、指示を受けて自分で資料を読み、金額を照合し、確認した記録まで残す使い方を指します。
わざと仕込んだ 4 件の誤りは、すべて見つかりました。ただし、その結果を見て最終的に判断するのは法律の専門家のままです。
数字を合わせるだけの作業。ここが一番人手を食っていた、という話が刺さります。
筆者がちょっと引っかかったのは、伸び率の出方です。全タスクの平均では約 3% の改善なのに、この財務諸表の突き合わせだけ約 40%。得意な作業とそうでもない作業の差が、そのまま出た数字だと読んでいます。導入を考えている人なら、平均値よりも自分の仕事に近いタスクの数字を探すほうが早そうです。
仕込んだ誤りを 4 件とも拾った、という見せ方も目を引きます。ただ、見つかる前提の誤りを置いた検証でもあります。実務で同じ精度が出るかは別の話。最終判断を人が握る運用は崩さないほうが良さそうです。
Legora は同じ仕組みを監査や税務にも広げようとしています。日本語の決算資料でこの突き合わせが通るのか、国内の会計事務所や監査法人から同じ型の事例が出てくるかを見たいです。
財務諸表レビューや法務、監査、税務、コンプライアンス、リスク対応で大量文書を確認する専門家に関係します。
出典: OpenAI News ↗
