継続能動学習に関して自社のTAR業者にすべき5つの質問

blog_tar_vendor_questionsモウラ・グロスマン氏とゴードン・コーマック氏は2014年7月付の論文「Evaluation of Machine-Learning Protocols for Technology-Assisted Review in Electronic Discovery」で、両氏の管理下で行ったTARに関する研究の結果を発表しました。両氏はその中で継続能動学習(CAL)プロトコルとシステムの訓練を1度しか行わない第1世代TARのプロトコル2種について、その効力を比較しました。その結果、CALプロトコルの方が効力が高く、ほとんどどんな場合でも第1世代TARより優れていることが判明しました。

これによってCALの優位性が確立されため、eディスカバリを手がける業者は流行に乗り遅れまいといっせいにCALに飛びつきました。突如としてあらゆるeディスカバリ・ベンダーがCALを使用するか、あるいは何らかの形で自社のプロトコルにCALを組み込もうとしたのです。

しかし、現在市場で入手できる複数のTARプロトコルには機能の点で大きな隔たりがあります。したがって購入する製品がどんなものかを知っておくことが大切です。グロスマン氏とコーマック氏はCALがレビューにかかる労力を最低限に抑えながら、同時に捕獲率、すなわち開示を要する文書の発見率を最大限に高めるという点で第1世代TARよりはるかに優れているということを明らかにしました。両氏はさらに、開示対象文書が収集文書中に低い割合でしか含まれていない場合に、CALはとりわけ第1世代TARより優れた効力を発揮するということも明らかにしました。

読者の皆さんはTARを利用する場合、CALの使用を公言している業者が実際にはどんなことをしているのかをどうすれば判断できるでしょうか。以下に業者に問い合わせてレビューを行う際にCALを効果的に活用できるようにするための質問を5つ(加えてボーナスも)ご紹介します。

1. 貴社のTARツールはシステムの訓練に対照用の文書群を使っていますか?

対照用の文書群というのは第1世代TARに固有のものですが、CALの思想とは根本的に相いれないものです。それどころか、対照用文書群をシステムの訓練に使用すると、多くの場合、TARのプロセスが効力を失い、しかも煩雑になります。

第1世代TARを訓練するには、無作為にサンプルを抽出し、統計学的な意味で収集文書全体の代わりになるものとして使用するのが一般的です。そうした無作為なサンプルは収集文書全体の一部で、対照文書群になると考えられています。文書のランク付けと開示の要否の判断が終わると、訓練の進捗状況を対照文書群と比較して評価します。対照文書群は訓練が一巡する度にランク付けし直されます。訓練をしても対照文書群のランク付けにほとんど変化が見られなくなると、そのツールは安定化したとみなされます。いったん一通りの訓練が終わると、できあがったツールを使用して収集文書全体のランク付けが行われ、それに基づいて開示の要否がレビューされます。

一方、本物のCALのプロセスには対照文書群は使用しません。レビューによって各文書の開示の要否が判断される度に、その結果をツールの訓練に使用し、収集文書全体(少数の一部文書ではなく)が継続的にランク付けし直され、監視されます。収集文書全体について目標を達成したと考えられるようになるまで、あるいはこれ以上訓練しても収集文書全体のランクに影響がなくなり、開示要請に応えるべき文書の可能性があるのでレビューが必要という指示がシステムから返ってこなくなるまで、レビューと訓練が続けられるのです。

2. システムの訓練の際に重点を置いているのは案件との関連性の低い文書ですか、それとも関連性がきわめて高い文書ですか?

案件との関連性が低い文書に重点を置いてシステムの訓練を行うと、CALを最大限に活用することができません。それどころか、案件との関連性が低い文書を中心的に取り扱うようにできているTARのプロトコルは、一般にCALではなく、CALほど効力がありません。

案件との関連性が低い文書をレビューする主な目的は、関連文書とそれ以外の線引きをどこで行うかを判断することにあります。その最終的な目標は「分類指標」というアルゴリズムを訓練してそうした線引きを行い、案件と関連があると思われる文書の開示の要否を別々にレビューできるようにすることです。TARのプロトコルの中でも分類指標を使用して文書の分離を行うものは、一般に収集文書のランク付けも、あるいはレビューの目的達成を通じたシステムの継続的な訓練も行いません。したがって、そうした類のものはCALとは考えられません。

下図に示したように、分類指標の考え方は欠点が2つあります。まず、どんなにうまく線引きをしても関連文書の一部(本来なら開示すべき文書)は関連文書以外に分類され、レビュー対象文書群に入らなくなることです。次に、一生懸命あるべきところに線引きをしようとすればするほど、文書のレビューを始めるまでに時間と労力がかかってしまうことです。catsanddogs-JPN-01

対照的に、CALの目的はレビュー担当者の判断を継続的に使用して訓練の成果と収集文書のランク付けを改善し、改善されたランキングを利用してレビュー担当者により関連文書である可能性が高い文書を提示することです。このプロセスはレビューの収集文書全体で目標が達成されるまで繰り返し続けられます。このプロトコルを効果的に実施するため、訓練とレビューはとりわけ案件との関連性がきわめて高い文書を主体として行います。そうすれば労力も無駄にはなりませんし、関連文書をもれなくレビュー担当者に提示することができます。

3. レビュー中はどのくらいの頻度で収集文書のランク付けを行いますか?

CALの真骨頂はレビュー担当者の判断を活用して収集文書のランク付けを行い、レビュー担当者に可能な限り短時間で案件との関連性が高そうな文書を提示できるという点にあります。CALが収集文書のランク付けを行う度に、レビュー担当者の判断が活用されてレビューの効率が高まり、さらにそれが巡り巡って次回のランク付けの精度を向上させます。このプロセスは循環的で、成果は飛躍的に高まります。

研究が明らかにしたのは当たり前のことに過ぎません。ランク付けを頻繁に行えば行うほど結果がよくなるということです。この現象は利子を複利で計算する場合と似ています。利子の複利計算は頻度が高ければ高いほど元利合計額が高くなります。CALの場合、収集文書のランク付けの頻繁が高ければ高いほど、レビュー担当者は自身の決断全般を積極的に活用して、判断結果をツールに還元し、精度をより高めることができます。

収集文書のランク付け(あるいは第1世代の対照用文書群のランク付け)の頻度に関しては、業者の中でもかなりのばらつきがあります。例えばカタリストは数百万点の文書を数分でランク付けできますし、実際にしています。レビューと訓練の進行中はレビュー担当者の判断を使用して1時間に何回か収集文書全体のランク付けを行っています。他の業者のほとんどはレビューと訓練の進行中に対照用文書群(収集文書全体ではなく)だけにランク付けし、続く収集文書全体のランク付けは1度しか行いません。その上、そうした業者では収集文書全体のランク付けをするのに数時間も時間がかかるのが普通です。

4. 訴訟案件の専門家が訓練を行う必要はありますか?

第1世代TARは訴訟案件の専門家が訓練を行う必要がありますが、CALでは必要ありません。それどころか、レビュー業務がすべてそのままシステムの訓練作業にもなるので、訴訟案件の専門家に訓練を依頼すると無駄な費用がかかります。CALを使用すると訴訟案件の専門家はもっと生産的な仕事に集中して、システムの訓練はレビュー担当者にまかせることができるようになります。そのためすぐにレビューを始めることができ、第1世代TARツールで訓練を行った場合に訓練にかかっていた時間と費用がかからなくなります。

第1世代TARでは訓練の実施は1回だけで、その成果の多寡は少数の対照用文書群によって決まり、プロセスはどの文書の開示の要否をレビューすればよいかを明確に指示します。そのため、当然ながら最終的なレビューの対象範囲を決めるだけの知識と権限をもった1人の意思決定者が一貫して必要になるのです。

CALではそんなことはありません。レビューで出た判断はいずれもツールの訓練に使われます。レビュー担当者はもし第1世代TARを使用していたらシステムの訓練を行ったあとに調べただろうと思われるものと同じ文書(おそらくそれ以上に)に目を通し、おそらく同じ決断を下します。ツールはレビュー担当者の判断を利用して継続的に学習しますので、レビュー担当者に渡される文書はどんどん精度の高いものになり、開示の必要性が最も高そうな文書が増えていきます。

訴訟案件の専門家が必要なくなると、結果的に時間や費用も節減できます。第1世代TARだと一般に訴訟案件の専門家が少なくとも2週間かけてシステムの訓練を終えるまではレビュー担当チームは1つも文書のレビューをすることができません。訴訟案件の専門家として業務にあたる可能性が高い上級弁護士の時給がきわめて高いことを踏まえると、そんなことをすれば膨大な費用がかかるはずです。しかしCALならレビューと訓練が同時に行えるので、すぐに始めることができて、訓練作業による回収不能原価も発生ません。

5. 複数のTARプロジェクトは簡単に同時進行できますか?

CALのもう一つのメリットは、複数のTARプロジェクトを同時進行して、瞬時に有益な成果をあげられることです。レビュー期間中のどの時点であっても、追加設定を行わずにそうすることができます。第1世代TARでは、同じことをやろうとするとプロセスがもっとずっと面倒なものになります。貴社の依頼している業者が簡単かつ迅速に複数のTARプロジェクトを同時進行できないなら、貴社はCALの潜在能力をフルに使っていないということになります。

CALではレビューがそのままシステムの訓練作業になるので、別々の問題を扱う複数のTARプロジェクトを同時進行しても追加作業はほとんど必要ありません。単にそれぞれの案件に該当する問題を特定して、レビューを進めながら問題ごとに各文書の開示の要否を判断していけばよいのです。ツールは各々の判断を利用して、それぞれの問題に関して別々にランクを生成、維持管理します。どちらか一方のTARプロジェクトがレビューの目標を達成したら、次のプロジェクトに注力します。既存のランキングが後続のプロジェクトそれぞれの効率をアップしてくれます。

CALはレビュー中のどの時点であっても新しいTARプロジェクトを組み込んで、直ちに成果をあげることができます。新しいプロジェクトのレビューと開示要否の設定は、問題が特定できた時点ですぐに始めることができます。それ以降はレビューである判断を下す度に、それぞれの結果を新規プロジェクトで問題になっている点に関する判断に組み込むことができます。新しいTARプロジェクトに特に集中することで、レビューと訓練の効果ですぐにランキングの精度が上がり、システムがレビュー担当者に次にレビューを行うように提示してくる文書の中に開示対象文書が含まれている確率が高まります。

第1世代TARは同じことをやって効果をあげるにはあまりに厄介です。第1世代TARの場合、それぞれのプロジェクトで別々に対照用文書群の開示要否の設定を行い、それを用いて訓練の進捗度の評価を行わなくてはなりません。そのため、特にレビュー中に新規プロジェクトの立ち上げが必要になったような場合、複数のプロジェクトの同時進行は実施困難です。

おまけの質問:文書が1度に集まってこず、何度かに分けて集まってくる場合、貴社はどんな処理方法をとりますか?

最近の情報開示では、実は開示の要否をレビューすべき文書がすべて同時に集まってくることはきわめて稀です。むしろ文書は少しずつ、何度にも分けて集まってきます。CALのさらなるメリットは、実質的にレビューのどの時点でも新たに集まってきた文書を既存の文書群に組み込むことができ、それまでに費やした労力が無駄になることはないという点です。業者から文書を何回かに分けて収集するとレビューが円滑に進まなくなると言われたら、その業者はCALを効果的にも効率的にも使っていないということです。

第1世代TARで文書を何回かに分けて収集すると問題が発生するのは、第1世代TARが対照用文書群を使用して訓練を行っているからです。対照用文書群は文書全体の代表にすることを意図してつくられます。文書を新たに追加すると収集文書の特性が変わってしまうので、最初に作成した対照用文書群は文書全体を代表するものではなくなってしまいます。したがって文書を既存の収集文書に新たに加える度に、新たな対照用文書群、作り直した対照用文書群、追加の対照用文書群のいずれかを作成する必要があります。さらに悪いことに、新規文書を訓練が完了してレビュー用文書のセットを生成したあとで追加した場合、新しい対照用文書群を作成しなければならないだけでなく、ツールの訓練を完全にやり直さなければならない可能性があります。

CALにはこうした制約はありません。新しい文書は受領次第、ただ既存の収集文書に加えられ、既存のランキングに組み込まれます。組み込まれた文書は継続学習プロセスを通してレビューと開示要否の設定が行われるので、ランキングには新たな情報が反映されます。それまでの労力が無駄になることはありません。過去に行った判断はそのまま効力を保ち、続いて行う判断によってランキングの精度がさらに向上していきます。

CALには効率と効力の両面で他のTARプロトコルを大幅に上回るメリットがあります。では貴社が依頼している業者がCALプロトコルの効力と効率の面のメリットを最大限に生かして貴社のレビュー・プロジェクトを実施しているかどうかを確認するにはどうすればよいのでしょうか? その答えはもちろん、ここにご紹介した5つの質問、そしておまけの質問を投げかけて、しっかりと評価するということです。

 

Like this Article? Subscribe to Our Feed!

Leave a Reply

Your email address will not be published. Required fields are marked *