ブロイラーチキン反トラスト法違反事件におけるTAR

TAR_for_Smart_Chickens-1専門委員であるグロスマン氏が、ブロイラーチキン反トラスト法違反事件において新たな検証プロトコルを提案しています。

検証はテクノロジー支援型レビュで困難を極める部分のひとつです。このことについて、及びレビュー対象文書に含まれる関連文書のうち何件発見できるか(以下、「発見率」という)を証明することの難しさついて、当社はこれまでに以下のような記事を発表してきました。

根本的な課題は、TARを使っている当事者が、文書開示義務を果たすために十分な数の開示文書1を見つけているのかどうかということです。以前の記事で論じたような理由で、十分な割合の関連文書を発見したことの証明は、特に関連文書の割合が低い場合には難しい問題になり得ます。

専門委員のモウラ・グロスマン氏は、イリノイ州北部地区で係属中の訴訟において発行した命令の中で、新たな検証プロトコルを打ち立てました。(In Re Broiler Chicken Antitrust Litigation(2018年1月3日)ダウンロードはこちら)。

本命令は書類集中型訴訟という背景の下で発行されましたが、この検証の方法はTAR 1.0、TAR 2.0を使用したレビュー、又はリニアレビューにさえも役立ち得る意義深いものです。

ブロイラー鶏?

本件は、全米のブロイラー鶏飼育業者12社あまりに対する反トラスト訴訟です。Wikipediaに目を通すと、ブロイラー鶏は食肉専用に交配、飼育された家禽の鶏肉であることが分かります。一般的にブロイラーの羽は白く皮膚は黄色がかっています。クワッ、クワッ、クワッ。

本件の開始間もないころ、裁判所は文書開示手続き(ディスカバリー)に関する争点を判断するための専門委員として、モウラ・グロスマン氏を任命しました(任命分はこちら)。彼女が最初に着手したことの1つはESIプロトコル(ダウンロードはこちら)に関する問題を解決することでした。

その後、恐らく当事者間で議論を重ねた後に、専門委員のグロスマン氏は「Order Regarding Search Methodology for Electronically Stored Information(電子的情報の検索方法に関する命令)」を発行しました。本命令は重複排除、スレッド、文書の選別からキーワード検索に至るまで広範なトピックを網羅していますが、本稿では検証プロトコル(本命令第3部)に焦点を当てます。

目標

グロスマン氏による検証の議論は、まず開示予定書類のレビューに関する2つの目標を簡単に確認することから始まりました。

レビュープロセスには、連邦民事訴訟法26(g)の要件に合致する合理的な文書開示を担保するために、品質管理(QC)と品質保証の手順を組み入れる必要がある。

グロスマン氏は「キーワードや他の絞り込み基準により、関連性や秘匿特権のレビューのために特定された」すべての文書に適用される検証プロトコルについて、以下のとおり明確に述べました。なお、彼女の議論は、両当事者がレビューの前提となるコレクション(文書収集)プロセスについて、それが完全かつ適切なものとして確立されていることに合意している、との前提に立っています。

レビューの完全性は、推定発見率により評価されます。発見率はコレクション全体で実際にいくつの関連文書が見つかり、コーディングされたかにより測ることができます。その算出方法は、コーディングされた関連文書の数をコレクション内の全関連文書の数で割るだけです。つまり、コレクション内に計20,000件の関連文書がある場合において15,000件の文書を関連性ありとコーディングしたときには、そのレビューの発見率は75%(15,000/20,000)になります。

コレクション内の文書を1件ずつ確認することなく発見率を割り出すためには、発見率を推定するためのサンプリングを行う必要があります。関連文書を何件コーディングしたかはわかりますが、コレクション全体に関連文書が何件含まれているかは把握していません。関連文書総数の合理的推定値は、関連性のレビューがされていない文書(レビュー対象外の文書)をサンプリングし、関連ありと判断された文書を全て、コーディングの誤りを多少修正した上で追加することで簡単に算出することができます。

Documents_1-624x529検証サンプルの作成

発見率を推定するための最初のステップとして、グロスマン氏はレビュー文書を3つのカテゴリに分けました。

レビューで開示文書と判断された文書。ただし、当該文書のファミリー文書(添付ファイル等)で、開示不要と判断されたものは含まない。(C1)

人間が開示不要と判断した文書 (C2)

TARが開示不要としてマニュアル・レビューから除外した文書(対象外文書、無効文書ともいう)(C3)

グロスマン氏は検証チームに求められるサンプリングプロトコルを次のように説明しました:開示要否に関する判断の精度を推定するためにC1から500件(サンプルD1)、誤って開示不要と判断された文書の数を推定するためにC2から500件(サンプルD2)、そしてレビュー対象外の文書の中にどれだけ開示対象のものが存在するかを判断するために、C3から2000件(サンプルD3)、それぞれランダムに選びます。つまり検証サンプルは合計3000件(D1、D2、D3の合計)になります。

このC1、C2、C3から無作為に選別した3,000件の文書をまとめ、1つの「検証サンプル」を作成します。このとき、それぞれの文書がどのサンプルに属するのか、及び開示要否の情報は隠さなくてはなりません。レビュー担当者が、検証サンプルの文書に対して過去にどのような判断がされてきたかを知ることがないようにするためです。こうすることで、先入観なくレビューを行うことが可能になるのです。

Documents_4-1024x436

複合検証サンプルの作成
SMEレビュー

次に、検証サンプルのレビューを担当する、対象分野の専門家(SME)を1人以上選択します。SMEにはどのような人物が適任なのでしょうか。シニア弁護士、ジュニアパートナー、それとも頭の切れる若手弁護士でしょうか。実のところ、肩書は重要ではありません。プロトコルは、SMEを「訴訟の主題に精通した人」と定義していますし、グロスマン氏は、SMEはRFP(提案依頼書)と当該訴訟の争点に詳しい弁護士であるべき」と語っています。

加えて、彼女が強調するのは、レビューが先入観なく行われなければならない、ということです。これは、最初に述べた目標のひとつ目、品質管理及び維持を達成するための重要な要件です。

検証サンプルをレビューするにあたり、SMEは各文書が属していたコレクション、サンプル、又はコーディングの履歴に関するいかなる情報も提供されないものとする。
この要件の趣旨は、検証サンプルのレビューが先入観なく行われることを担保することにあり、当事者がオリジナルのレビューに関与した可能性のある弁護士をSMEとして選定することを妨げることを意図するものではない。

SMEがオリジナルのレビューに関与し得たということは、文書を開示しようとする当事者(以下、「開示当事者」)が、レビューチームとSMEの間で開示の要否判断に関する見解の一致があることについて確信を持つことができる点で意義が認められます。検証チームがレビュー過程に全く関わりを持たないと、その関連性の判断がレビューチームの判断と乖離する恐れが生じます。この場合、関連文書発見率の実績値が推定値を大きく下回る可能性があるのです。

このプロセスにおけるグロスマン氏の初期の目標にたちかえると、SMEが先入観を持たずにレビューすることは、開示すべき文書が開示文書と判断され、開示する必要のない文書は不開示文書と判断されていることを確認するためのQCの役割を果たします。

検証

それではプロセスの第3の部分、すなわち検証の最終部分へと話を移しましょう。

SMEが検証サンプルのレビュー及びコーディングを終了したら、開示当事者は検証サンプルの各文書に関して次の情報を示す表を作成するよう指示されます。

1.ベイツ番号(訴訟書類番号)。
2.文書が属していたサンプルグループ(D1、D2、D3)。
3.SMEによる開示要否の判断。

当事者は、さらに、サンプル中で非開示と判断された文書の中で秘匿特権の対象でないものを提供するよう指示されます。これらはD2(レビューチームが開示不要と判断したもの)、及びD3(レビュー対象でない文書)に属していた文書ということになるでしょう。

このプロセスの最後のステップは関連文書発見率の計算です。計算式は、本命令の付属書に記載されている比較的平易なものなのですが、TARを利用するレビューの場合は次のようになります。

発見された関連文書 =D1 で発見された関連文書(%) X C1(開示文書)

誤ってコーディングされた関連文書 =D2で見つかった関連文書(%) X C2(開示不要)

レビュー対象外文書中の関連文書 =D3で見つかった関連文書(%) X C3(レビュー対象外)

したがって、SMEがサンプルD1の500件の文書のうち450件を開示文書と判断した場合、関連性ある文書の発見率は90%となります。C1(開示文書として相手方に提出された文書)の中で本当に関連性があるものの件数を予測したければ、開示された文書の総数に、上述の計算式に則って計算された発見率を掛け合わせれば算出することができます。

たとえば20,000件の文書が開示対象として相手方へ提示されていた場合、SMEのコーディングに基づいて計算すると、実際に関連性があったのはそのうち18,000件のみであったとの推定が働くことになります。(20,000件の90%)。

開示不要と判断された文書のうちコーディングに誤りのあった文書の件数、すなわち発見されなかった開示文書の数も同様の計算によって求めることができる。

では最後に、C3のレビュー対象外の文書の中に何件、開示文書と判断される文書が残っているでしょうか。

ここでの大詰めは開示された文書の中の推定関連文書発見率を定めることです。70%以上でしょうか。80%?90%?あるいは60%未満かもしれません。

この推定を行うための数式は上記で定めた数値に基づいたシンプルなものです。提出された文書中の開示文書の割合を算出する数式は、次のようなシンプルなものです。

発見された関連文書数/(発見された関連文書数 + コーディングミスのあった関連文書数 + レビュー対象外の関連文書数)

シンプルな例に戻り、見つかった(開示された)関連文書の数は18,000としましょう。誤ってコーディングされた関連文書の数は1,000としましょう。レビューされなかった文書の中の関連文書数は3,000としましょう。

数式は次のようになります。18,000/(18,000 + 1,000 + 3,000)

計算すると18,000/22,000になり、開示文書の81%を開示したと考えることができます。すなわち、関連文書の発見率は81%ということになります。

簡単だとは思いませんか? そうなのです。一度プロトコルに取り組めば簡単なのです。

プロトコルのリニアレビューへの適用

リニアレビューを選択する当事者に対してグロスマン氏は、検証サンプルがTARとリニアレビューとで同等になるよう、C2から2,500件の文書をサンプリングするよう指示しました。リニアレビューではカテゴリC3で検証する文書はありません。

グロスマン氏はリニアレビューで発見率を計算する数式も確立しました。上記の1つ目と2つ目の計算を行うだけです。

発見された関連文書 = D1で発見された関連文書 % X C1

誤ってコーディングされた関連文書 =D2で見つかった関連文書 % X C2

これらの数値が算出されたら発見率は簡単に計算できます。

発見された関連文書数/(発見された関連文書数 + 誤ってコーディングされた関連文書数)

構造的収縮性

この検証プロトコルについては他にも多々紹介したいとがありますが、差し当り理解すべきことは、このプロトコルが単に発見率を検証するだけのものではないということでしょう。この点、グロスマン氏は次のことを強調して述べています。

発見率の予測値は、意思決定の過程を外部に知らせるために算出されるものであるが、その数値自体をレビューが実質的に完了したか否かを判断するための手掛かりとするべきではない。発見率の数値と同時に注目すべきは、サンプルD(2)および/またはD(3)に属する文書のうち開示対象とされたものの新規性と重要性(逆の言い方をすれは、重複又は非重要性)である。

彼女は、さらに次のように続けます。

SMEがレビューをする場合に注意しなくてはならないのは、70%~80%の推定発見率は、そのレビューが適切(すなわち高品質)であったことを結論付けるための一要素にはなるものの、決して唯一の指標ではない、ということである。推定発見率がこれよりいくぶん低いからといって必ずしもレビューが不適切であるということも、またこの範囲より高いからといってレビューが十分であるということもない。レビューの適切さに関する最終判断は、レビューの過程で見逃された文書の数と性質に依存するのである。

すなわち、推定発見率が75%に達すると正確なレビューであったと思われがちですが、SMEが開示対象外又はレビュー対象外の文書の中から重要な文書を多数発見した場合にはレビューが適切でなかった可能性があります。反対に、新たに開示対象と判断された文書が重要性の低いものであったり、既に開示された文書と重複するものであったりする場合において、発見率が妥当なものであれば、そのレビューは適切なものであったと推論できるでしょう。

どう考えるか?

この新しいプロトコルについて皆さんはどうお考えですか? これは次の2つの方策を打ち立てた点で、文書開示の妥当性確保というグロスマン氏の目標に確かに資するものであるといえます。1) 独立したQCプロセスを導入して、レビューにおける通常のQCプロセスを補完する、2) 簡単な方法で推定発見率を算出し、文書開示過程の適切性を検証する。
当社の知見の及ぶ限り、これらを2つとも網羅する検証プロセスが提案され、又は使われた事例はありません。

これに関連して、検証を目的として、SMEに先入観を与えずにレビューをさせる趣旨、特にSMEに検証対象の文書がC1, C2, C3のうちのどの文書群から取り出されたものかを知らせないのはなぜかについてお話ししましょう。理由は非常に単純です。すなわち、SMEがどんなに注意深く、プロフェッショナルであったとしても、文書がC1に属していた(関連性ありと判断されている)ことを知っていると、僅かに、ほとんど無意識のうちにその判断に影響され、その文書が開示対象であると思い込むことがあるからです。反対に、文書がレビュー対象外の山から選ばれたことを知っていれば、無意識のうちに開示の必要のないものであるとの判断が働く恐れがあります。こうした先入観に基づくレビューは、既に下された他人の判断を確認するに過ぎず、検証の意義を無にはしないとしても、非常に弱めることになります。

では、このプロトコルに短所はあるでしょうか。これについては考察すべき点が多々ありますので、今後、記事やオンラインセミナーで分析していきますが、本稿では手始めに3つの観点をご紹介します。

1.費用: プロトコルでは、SMEが3,000件以上もの文書をレビューすることを求めています。仮にSMEが1時間に60件の文書をレビューし、1時間当たりの平均単価450ドルで請求したと仮定した場合、レビューを検証するのに22,500ドル以上の費用がかかることになります。これは妥当でしょうか?

少なくとも大規模な文書開示の案件では妥当かもしれません。しかし、SMEがレビュー担当者の解釈に同意しなかった場合(C2とC3の文書の中からレビューチームが開示すべきと判断した文書よりも多くの文書を開示対象としてコーディングする等)、このプロセスを繰り返す必要があるかもしれませんし、発見率は予想を下回るでしょう。発見率が70%を大きく下回った場合はレビューを継続する必要があるかもしれず、そうなれば検証プロセスも繰り返さなければなりません。

ただ、グロスマン氏は訴訟チームのシニアメンバーをSMTにすることを要求してはいません。案件とRFPを理解している弁護士資格を持った優秀なレビュー担当者であれば先入観なくレビューを行うことが可能でしょう。その場合、時間給はおよそ80ドルに下がり、検証費用は4,500ドル程度になります。

2.小規模案件: このプロセスは小規模訴訟にも機能するのでしょうか? 当社で総文書数がわずか10,000件事案でTARを利用したレビューに成功した事例を報告しています。本事例はこちらからお読みいただけます。

それでは例を挙げて考えてみましょう。開示手続きの対象となりうる文書が10,000件あるとします。レビューを進め、3,000件の文書を閲覧し終わったところで中断しました。内1,000件が開示対象と判断されています。すなわち、7,000件の文書はレビューされないまま残されている、ということになします。

プロトコルを実施しようとすると、さらに3,000件、SMEによるレビューが必要になり、レビューの規模は倍になります。レビュー担当者の時間給(たとえば時給50ドル)を考慮すると、初回のレビューの費用は約2,500ドル。これにSMEが追加で3,000件にコーディングした場合、費用は倍以上になります。これは妥当でしょうか?

グロスマン氏はこのような懸念を払拭するため、自身の命令に、ある条項を追加しました。

開示当事者が、具体的状況に照らしてサンプルのサイズが不均衡、又はひどく重荷となると考える場合は、相手方当事者と共に速やかに問題を提起するものとする。まずは当事者間で協議を尽くし、なおサンプルサイズに関する合意に至らないときには、両当事者は専門委員に紛争解決の支援を求めることができる。

上述の例であれば、SMEがレビューするサンプルサイズはより小さなものでよいでしょう。例えばS1とS2からそれぞれ350件、S3から500件ではどうでしょうか。合計で1,200件、母集団のサイズに鑑みてバランスが取れているように思われます。

3.統計データ:本プロトコルの根底にある、検証の統計についてはどうでしょう。若干本稿の所掌から外れますが、自明の事柄にのみ言及しましょう。

このプロトコルでは3つのサンプルを作成しますが、各サンプルから導かれる推定値には必ず誤差があります。では、各サンプルの最も理想値に遠い数値を用いて上述の計算をするとどうなるでしょうか。

この点に関しては、以下の記事で詳術しています:Measuring Recall in E-Discovery Review, Part Two: No Easy AnswersMeasuring Recall in E-Discovery Review, Part One: A Tougher Problem Than You Might Realize

要は、誤差を考慮に入れた場合、妥当な値であった発見率の推定値が妥当な範囲を外れる恐れがあるということです。たとえば、あるサンプルから75%の発見率が算出されたとしても、開示対象文書サンプルから低い値を、レビュー対象外文書から高い値を採用した場合、発見率は50%にまで下がることがあります。

では、この懸念は本件にも当てはまるでしょうか。我々はそうは考えませんし、基本的にグロスマン氏が提唱するアプローチを支持しています。以前にも指摘しましたが、誤差の限界値に過度な信頼を置くと、検証に不均衡が生じる恐れがあり、結局誰の利益にもなりません。

結論として、当社はグロスマン氏の検証プロトコルを推奨します。このプロトコルは難しい論点に対して新しいアプローチを提供し、プロセスに貴重なQCの要素を加え、困難な問題への実際的な解決策を提案するものといえるでしょう。

ニワトリがねぐらに戻るかどうかは分かりませんが、数羽は戻るかもしれませんね。

1.一般的に「Relevant(関連性あり)」という言葉はレビュー中に見つかった肯定的な文書について言及する際に使用します。それはレビューを生じさせた文書開示要求に文書の内容が関連しているためです。本稿にいう検証の方法は開示文書に関するものであるため、「Responsive(開示対象)」という言葉の方がより適切に思われます。

2.なお、この検証のための方法論はキーワードによりレビュー対象を特定する場合にも機能します。

Like this Article? Subscribe to Our Feed!

Leave a Reply

Your email address will not be published. Required fields are marked *