事例紹介:レビューでTARを使用し始める時期に手遅れはあるのか?

Case_Study-300x200「何かを始めるのに遅すぎるということはない。」よくそういう言葉を耳にします。しかしそれはテクノロジー支援型レビューにもあてはまるのでしょうか。法務担当者が手作業で行うレビュー業務にかなりの長時間を費やしてしまった後でも、TARを使う価値はあるのでしょうか。ある特許関連訴訟でクライアントがTARの使用をなかなか認めず、法律事務所が収集文書の半数近くを手作業でレビューしたあとに、ようやく認めてくれたという事例がありました。この訴訟案件で問題になったのが、まさにこの点でした。結果としては、レビュー業務が終盤にさしかかってから使い始めたにもかかわらず、Insight Predictのおかげで時間と費用を大幅に節減することができました。

問題:TARの使用について承認を得る前にレビューを開始しなければならなかったこと

その法律事務所の依頼主はあるジェネリック医薬品メーカーで、著名な大手製薬会社との特許侵害訴訟をかかえていました。原告側の主張は、依頼主のジェネリック医薬品が自社の特許を侵害しているというものでした。

レビューが必要な収集文書の総数は(キーワード検索と不要文書の選別除去の実施後で)およそ40,800点でした。それほど多い数ではありませんが、一つ一つ見ていくにはやはり多過ぎますし、クライアントの費用も相当膨らむだろうと思われました。

弁護士はTARを使用すればレビューがもっと速く進むに違いないと考え、依頼主にそれを提案しました。しかし時間を無駄にしまいと、依頼主がその提案を検討中だったにもかかわらず、レビューを開始しました。そして収集文書の半数近くを手作業でレビューしてしまった頃、ようやく依頼主からTARを使用してもよいという許可が出たのです。

レビュー済みの文書を活用して一気にレビューを進行

法律事務所は依頼主の許可が出た頃には総数40,800点の文書のうち18,200点のレビューを終えていました。最初からTARを使用していればそれほどたくさんの文書をレビューする必要はなかったはずです。とはいえ、レビュー済みの文書はTARのアルゴリズムを訓練するためのシード文書として活用することができました。

弊社は18,200点の文書に関する開示の要否の判断を利用して、弊社独自の次世代型TARエンジンであるInsight Predictの訓練を行いました。Insight Predictには継続能動学習という機能があります。これはコンピュータを訓練するためのプロトコルで、使用すると、既に開示の要否が判断してある文書の一部または全部をシード文書として使って、他の文書の開示要否を判断できるようになります。つまりこれを利用すると、TARシステムの訓練とレビューでワークフローを分ける必要がなくなるのです。第1世代TARシステムではこれは不可能でした。今回は最初に弁護士が開示の要否を判断した文書をすべてシステムに読み込んで、対象文書全体を分析し、ランク付けしました。

最初のランク付けが終わってから、文書をそのランクにしたがって自動的に50点ずつに分け、文書群を作成するようにInsight Predictを設定しました。ランクが高い文書群には、まだレビューを終えていない文書の中で、他方当事者の開示要求に応えて開示すべきものが最も高い確率で含まれていることになります。各文書群にはさらに「文脈的多様性」のある文書が少数含まれていて、それをレビューすると、レビュー担当者が収集文書中にある特定の話題や概念を判断しないまま終わってしまうようなことがなくなります。

レビュー担当者が自分に割り当てられた文書群のレビューを終える度に、システムは継続的にバックグラウンドで全文書のランク付けをし直し、レビュー担当者の開示要否に関する判断を利用して「より賢く」なり、予想の精度を向上させます。レビュー担当者が各文書のボタンをクリックする度に、システムは最新のランキングに基づいて新しい文書群を作成していくのです。

TARの利用によって残りの文書の中でレビューが必要なものの数が70%減少

レビュー担当者が文書群の中に開示対象文書をまったくとは言わないまでもほとんど見つけられなくなるまで、レビューはこうした手順で進められました。開示対象文書がほとんど含まれていない文書群が出てきたということは、残りの文書の中にも開示対象文書がほとんど含まれていないということです。そこでまだレビューしていない文書の中からサンプルを抽出して調べることで、成果のテストを行いました。統計的分析の結果、レビューによってきわめて高い「捕獲率」が達成できたことが明らかになりました。つまりレビュー担当チームは開示対象文書の大多数を発見することができたわけです。

TAR処理が終わるまでに担当チームがレビューした文書の数は6,800点で、これは当初予定していた18,200点と比べるとすばらしい成果です。残りの15,800点の文書はレビューせずにすんだのです。それはつまり、TARを使い始めた時点で残っていた文書の30%しかレビューをする必要がなかったということです。TARのおかげで、残りの文書をそのまま一つ一つレビューしていたらかかったはずの費用と時間を70%も削減することができたのです。

一部の大型案件の基準に照らせば、この数は大した節減効果ではないように思えるかもしれません。しかしレビューする文書が大量だと、たとえその一部であるにしても、70%節約できる場合の節減効果は絶大です。法律事務所が今回の案件で試算したところによると、TARを使用したことで依頼主が節減できた費用の額は、TARの費用を算入しても70,000ドルにのぼったということです。

結論:たとえレビューの途中で利用を始めてもTARの効果は絶大

比較的小規模で専門的な内容の案件で、レビューの途中でTARを使い始めたとしても、その効果はやはり絶大です。レビュー担当チームがTARを利用したレビューに切り替えた時には既に半数近くの文書を手作業でレビューし終えていましたが、それでも残りの文書の70%、文書全体では40%を手作業でレビューする必要がなくなりました。その結果、依頼主は費用の大幅節減に成功し、法務担当チームは時間の大幅節減に成功したのです。

Like this Article? Subscribe to Our Feed!

Leave a Reply

Your email address will not be published. Required fields are marked *