何がどうやって知られているのか、わからない世界

評点化される社会に生きるということ


フランク・パスカーレ(Frank Pasquale)

メリーランド大学法学教授

Black Box Society: the Secret Algorithms That Control Money and Information,

Harvard University Press, 2015の著書がある。

訳:大竹秀子


 ビッグデータに関しては、データの収集段階、データ解析に基づく人々の種類分けの適用、得られたデータの悪用など、ビッグデータのあらゆる側面に対し、政府の明確な規制が必要だ。個人ひとりで立ち向かえる闘いではない。[日本語版編集部]

(英語版2018年5月号より)

photo credit : Matthias Weinberger
Soundwaves

 キャスリーン・テイラーの人生は、あるデータ・ブローカー[消費者の情報を収集し、ほかの組織に販売する]が誤情報を流して以来、根底から覆された。テイラーに関する調査書類に、彼女が覚醒剤メタンフェタミンをそれと知りつつ製造販売し刑事訴追されたという報告が載ってしまったのだ。業界に蔓延するデータ販売のおかげで、この虚偽の告発はあっという間にひろまった。テイラーが求職しても、雇用者はデジタル・データに現れる烙印を見て、採用に二の足を踏んだ。食器洗い機購入のためのローンを組むことさえ、できなかった。

 結局、消費者データ集積を行う数ある会社のひとつ ChoicePoint は誤りを訂正したが、同社からすでにテイラーの関係ファイルを購入していたほかの会社は、訂正しようとしなかった。テイラーは、繰り返し何度も訂正を求め、訴訟まで起こさざるをえなかった。垂れ流されるデータに彼女はほとほと疲れ果てた。「四六時中、見張っていることは不可能です」。ワシントン・ポスト紙の記事の中で、テイラーはそう語っている(1)。誤ったデータが流れた後、テイラーが新しい職を得るまで4年以上もかかった。その後もアパートの賃貸を拒否され、姉の名義を借りてなんとか住宅を購入したが、ストレスにより持病の心臓疾患が悪化したという。

 キャスリーン・テイラーは、自分の名誉を毀損するデータの存在を知ったが、大半の場合、人々はデジタルの世界で自分がストーキングされ、プロファイリングされていることにまったく気づかない。洗練されたアルゴリズムを用いて我々を監視し操作するこうした企業は、責任を問われると企業秘密を隠れ蓑にする。ジャーナリストと内部告発者が垣間見せることができるのは、新しいデジタル経済というブラックボックスの氷山のほんの一角にすぎない。フェイスブック社とケンブリッジ・アナリティカ社をめぐる衝撃的な報道は、データ政策へのグローバルな関心を引き起こした。現在、各国の政府はデータの誤用を止めるようこれまで以上に策を講じる必要に迫られている。大西洋をはさんだアメリカとヨーロッパの両方で議員たちは立法化や既存の規制のより効果的な行使に向けた準備を進めている。そのためには、広大なデータ・インフラの様態を示すマップを思い描き把握する必要がある。この地図をナビゲートする方法のひとつは、個人情報の3つの側面、すなわち、データ収集、人々に関する推測を行う分析、活用について考えることだ。そのひとつひとつから、異なる諸問題が惹起される。

むき出しにされる暮らし

 フェイスブックやグーグルに対して自分のデジタル個人情報書類の開示を求める市民は、不愉快な驚きにみまわれる。完全に削除したと思っていたビデオや親密なチャット、画像がアーカイブスに永久保存されているのだ。刻一刻の位置情報記録が浮上してくる。Android携帯で、フェイスブックは通話情報を水面下で追跡してきた。スマホの検知能力が改善されるにつれ、インターネットの巨大企業はさらに多くの個人データの収集を試み、それぞれの人の弱み、欲望、性癖、さらに犯罪履歴すらも明らかにする包括的なイメージを構築することだろう。

 あなたはこれまでに淋病の症状について検索したことがあるだろうか? 破産宣告のやり方については? その時の一連のクリックが、あなたの名前やあなたのコンピューターのIPアドレス、そのハードウェアの固有の識別子と結びついて、いまなおあちこちに残っている可能性がある。企業が、効果があがらないダイエットをぐずぐずと続けている人、神経症あるいは困窮者とみなされている人のリストを収集するのは簡単だ。「あなたのクレジットカードの履歴や、あなたがアメリカ製の車を運転しているかどうか、およびその他のいくつかのライフスタイルを示す要素に基づいて、当社が着目している病状があなたに該当するかどうか、我々は大変な精度で狙いをつけることができます」と保健産業に属するある企業の副社長は語っている(2)。鬱状態の人やガン患者の住所と投薬リストを販売している会社もある。

 我々が通常、こうしたデータ収集について知りうるのは、企業がうっかり開示してしまう時だけだ。あるアメリカの会社は、誤って「自動車事故で娘を亡くした、マイク・シー」宛てに書簡を送ってしまった。実際、彼の娘は最近、自動車事故で死亡していた。このような薄気味悪いことが、マーケティング戦略にとっていったいなぜ、そしていかにして妥当とされ得たのかについては、我々には知るすべがない。この会社は、どこでその情報を得たかを語らず、明らかにしていない。データ・ブローカーは、顧客と契約する際、自分たちを情報源として公開しないという義務を課すことができるのだ。

 データ・マイニング業者、データ・ブローカー、データ再販業者は、無害な情報を売り歩くこともあるが、その一方で、彼らが作る分類の薄気味悪さはかつてないレベルにまで到達している。性感染症の患者、性的暴行の被害者のリストが作成されているし、アルツハイマー患者、認知症とAIDS患者、性的不能者、鬱状態の人のリストもある。名前ひとつに付き2~3セントの値段で販売されるこうしたリストが熱心なバイヤーをひきつけるために、データの信頼性は不可欠な条件ではない――大半のマーケティング責任者ばかりでなく、ますます多くの金融業者が顧客の不正行為を警戒し吟味するために、そして雇用者が雇用対象候補の適性検査としてこれを使う。さらに悪いことに、労働者に関するデータ・マイニングは、企業秘密を隠れ蓑にして個人のプライバシーを骨抜きにする。企業秘密が拡大する一方、ひとびとのプライバシーは縮小の一途をたどっている。

ブラックボックスを開け

 こうしたデータの一部は、正確性を欠いている。ある(健常な)友人のもとに、多発性硬化症(MS)患者の集いへの見当外れの招待が届いた。彼女はMSの友人をもつ人々の会合用の登録用紙に記入したことがあった。そのデータが収集されてマーケティング会社に売却されたのだ。用紙に記入する際、こういったタイプのことに使われる可能性に関する警告が書かれていたかどうかは、わからない(読みもせずにクリックしたサービス利用規約に何が記載されていたか、思い出せるはずがない)。マーケティング会社が彼女のデータを製薬会社が所有する別の会社に売却したため、MSイベントへの販促資料を受け取るはめになったのだ。こんな風にあずかり知らないカテゴリーに割り振られてしまった人たちが、どんなに大勢いることだろう(3)

 ケンブリッジ・アナリティカのスキャンダルを通じ、この企業がフェイスブックの何百万人ものユーザーのデータを手に入れる遣り口が明るみに出された[訳注]。しかし通常は、このようなデータ転送が暴露されることはない。政府は、「すべて受諾か否か」の二者択一しかないサービス利用規約を課すのではなく、企業が個人から収集するデータのタイプに関する報告を義務づけ、ユーザーが特定の形態のデータ収集に対しては選択して阻止することができるように規制するべきだ。フェイスブックのユーザーは自分の受診のすべてが網羅されている調査書類を同社が保持することを望まないだろう。

 ビッグデータはビッグな危険を生じかねない。現在の便宜が長期にわたる代価に価するものだろうか? システムが破られデータ漏洩の危機が増加していることによって、一般消費者をターゲットとするサービスではデータ収集の正当性をゆるぎなく唱えることが難しくなっている。何によらず巧みにやってのける巨大企業でさえも、ハッキングされかねないし、サイバー犯罪のデータ・トラフィッキングは見過ごされがちなトピックだ。少なくともあるひとつの事件では、名のあるアメリカのデータ・ブローカーが、数百万の社会保障番号、運転免許証番号、銀行口座、クレジットカードのデータを誤ってなりすまし犯に売却していた(4)

 企業がデータをどこから取得し、誰に売っているのか、もっと優れた監視制度が必要だ。何百万ものデジタル・ファイルを暗号化し一瞬のうちに送信できる現在、医療健康データの交易は、捉えるのがきわめて困難なターゲットだ。データ販売の記録は最終的には見つかるかもしれないが、それがもしブローカーたちの間で、「ハンドシェイク・ディール」(事前にプロトコールを決めた簡易取引)でなされているとしたら? 誰のものとも知れぬフラッシュドライブに数百万の記録が保存されている可能性があるのだ。当局は物質世界のビジネスを監視するだけでも大変だ。データ会社の急増は、当局に過重な負担をかけている。データ企業に、彼らが保有するすべてのデータの正確な出処と転送先を文書化し報告する義務が課されるまで、我々がデータの悪用の規模を推定することも、データの違法な転送を無効にすることも不可能なのだ。

相手にされなくなるリスク

 立法府の議員たちはまた、特別な適用免除がないままに人々が特定の情報を提供することがないよう立法措置をとるべきだ。そうしなければ、競争の力学が働いて、何でも公開の未来が無理強いされることになるだろう。アメリカの多くの州では、雇用者が現在の被雇用者や求職者にソーシャル・ネットワークのアカウントのパスワードを求めることを禁止している。しかし、もしライバルの求職志願者が、進んでそれを提出し始めたとしたらどうなるだろう? 彼らは、雇用者たちが、あらゆる次元のオンライン・ライフをあらわにする人たちを優遇するかもしれないと考えて、正式な法律上の権利をもっているにもかかわらず、プライバシーへの懸念をかなぐり捨てるかもしれない。機密情報の使用が禁止され監査されるようになるまで、プライバシー無き未来から保護される者はひとりとしていない。

 データ収集は、プライバシー問題の端緒にすぎない。企業は収集データを手にすると、それを分析し、推論を行う。社会学者のメアリー・エベリングは、妊娠初期にいくつかの用紙に記入した。妊娠は流産に終わったが、マーケティング企業による彼女への赤ちゃん製品売り込みは続いた。無責任なデジタル・データベースにより、すでに母親としてマークされてしまったからだ。エベリングは、自分の医療健康プライバシーが、いかにして侵されたかを見出そうとした体験を本にしたが、長年にわたり彼女を悩ませたダイレクトメールと広告に関する真相を突き止めることはかなわなかった(5)

 またアルゴリズムがあることで、借り手、学生、賃貸者、被雇用者としての私たちの評判が作り出されてしまうことがある。市場の大勢の貸し手たちが、従来とは異なる形態のデータを使ってクレジット引受け業務を行い、消費者や小規模ビジネスにローンを提供している。このような評点化される社会において、個人は自分たちがクレジット授与においてどのように処理されているのか、基本的な情報を欠いている。最近の「プライバシー・インターナショナル」のレポートが明らかにしたように、こうしたことは抽象的にも厄介な問題だが、その具体的な影響には、背筋を寒くさせるものがある。金融テクノロジー企業は、すでに政治活動、電話する相手、電話やメッセージを交信する時間帯、デバイスにどんなアプリを入れているか、位置情報データ、用紙にどのように記載するかに基づいて、信用度を評点化している(6)

 機械学習システムは、信用度査定やそれに影響を及ぼす要因をつきとめるため、個人情報により一層踏み込む方法を絶えず開発している。最近発表されたある文献は、犯罪性への性向は顔だけでわかると主張している(7)。現在、セクシュアリティと健康状態の予測は、グーグルやフェイスブックを通して簡単に収集が可能な、顔写真を基にした機械学習リサーチによって行われている(8)

 機械学習は、ガンとの闘いやハッカー撃退にとっては多大で貴重な発明だが、こと人間への影響となると、ネガティブな場合が少なくない。予測的分析手法のおかげで、少なくともクレジットカード会社一社が、メンタルヘルスケアを受けていることや結婚カウンセリングに行くといった人生の節目に起る出来事に注意を払っていることを私たちは知っている。統計的にみれば、カウンセリングを受けるカップルは離婚する可能性が高いので、カウンセリングは夫婦間の不和が財政難に波及する可能性となりかねないシグナルとなる。これは実際上、「カウンセリングを受けることの報い」として機能し、[個人情報の規制をどのように行うべきかを決定する]政策立案者にとってのジレンマとなっている。もしこの情報を非公開とすれば、クレジットカード保持者の信用度決定にとって重要な要素を隠蔽することになる。だがもし開示を認可すれば、カップルに、二人の関係を救うのに必要なアドバイスを求めることを思いとどまらせることになりかねないからである。

 一方でカウンセリングを受けることとクレジット支払いの延滞との間に因果関係があるとは言い切れない。だが、利用しようとする行動を駆り立てるには、単なる相関関係で十分だ。妊娠のような、客観的に証明可能な状態の場合には、ぞっとするような結果を引き起こしかねない。怠け者、信頼がおけない、生活苦と闘っている、あるいはもっと悪い何かのカテゴリーに誤って入れられてしまった人にとっては壊滅的なことになりかねない。暴走するデータが新たな具体性をもった現実という意味でのアナログ・リアリティを生み出すにつれ、不都合がなだれをうって生まれる可能性がある。もしひとつのソフトウェアが、その人は危険な融資先、あるいは義務を怠る労働者、限界消費者だと推論を出せば、その特性が経済のすべてにわたって他のシステムにも表れ、意思決定に影響力を及ぼしかねない。

住所で判断される信用度

 こうしたデータの疑惑をもたれる出処が金融テクノロジー企業に影響を及ぼしていないか、そして影響の中に禁止すべきものがあるかどうかを、規制当局者が、少なくとも理解するには、機械学習プロセスを監査可能なものにする必要がある。位置情報データは人種アイデンティティとの相関性がきわめて高い可能性がある。「環境が悪い地区」内という位置情報を基にして信用度を決めることは、人々に人種のアイデンティティを割り振り、そこに属していることをもって与信を拒否するに等しい。

 一般市民の暮らしが恒常的に政府の精査の対象になる一方、驚くべきほど多くの会社が、そのデータとアルゴリズムを、我々を保護すべき当局に対して隠蔽している。政府とその請負業者にもっと多くの企業の悪行を看破させるべきではないか? グーグルとフェイスブックは、プライバシー侵害の重大な前科があり、現在よりはるかに厳重な監視と監査の下に置かれるべきだ。技術的にも司法的にも、多くの下準備は整っている。テロとの戦争の名の下に、世界のいたるところでスパイ当局は監視を強化しているのだから、プライバシー侵害とデータの悪用との戦いは、こうした情報組織に歓迎すべき新たな方向づけを与えることになるだろう。

 規制当局が、疑惑がもたれるデータ情報源が企業に影響を及ぼすか否かを理解するには、機械学習プロセスの監査の実施が可能である必要がある。機械学習も予測分析も、複雑すぎて規制不可能ということはない。人工知能に頼る一部の金融テクノロジー企業は、自社の意思決定に使用されているコンピューター演算は、人間の意思決定の説明同様、認識が困難だと反論することだろう。

 機械学習は人間の理解が到達しえないとてつもなく複雑な特性をもつことを理由にした規制緩和への主張は、疑ってかかるべきだ。商業団体ご自慢の人工知能が、愚行やもっとまずいことをやりうることは簡単に証明できる。たとえ機械学習プロセスがごく複雑だとしても、我々が踏みだし得る現実的なステップはある。我々はやはり、どんなデータが機械学習プロセスに入力されたかを知りたい。信用度評点化システムが、このうえなく複雑だと仮定してみよう。それでもなお、規制当局者たちは、そこにどんなデータ・セットが入力されたか知ることができるよう要求し、医療健康データがそこに含まれることを禁止することができるはずだ。5月25日に施行されたEUの一般データ保護規則(GDPR)の下では、市民は、自分に関する判断が完全に自動化されたプロセスに基づいてなされた場合、意思決定のロジックを知らせるよう要求することができる。不透明なコンピューター化された意思決定が、我々の日常生活により強い力を持つことがないよう、説明責任に向けたこの権利をグローバルな人権とするべきだ。

 民主的な熟議への市民の信頼を回復するために、規制当局は、アルゴリズムによる発言を生むのに使われたデータ、使用されたアルゴリズム、そしてその発言がどこを対象にしたものであるかについて迅速な開示を義務づけるべきだ。GDPRの説明を求める権利のような法の制定は、表現の自由の権利の支援にもなるだろう。影響が及ぶ企業は、自分たちのアルゴリズムは複雑すぎて開示不能と主張するかもしれない。もしそうなら、選挙に関わる当局者が、問題とされている情報をターゲッティングに使ったり、情報をアレンジすることを禁止すべきだ。

問われるデータの公正な使用

 最も重要な規制の動きは、データの使用に焦点を合わせる必要がある。おそらく政府は、リサーチャーが、顔の特徴から信用度や犯罪性を予測しようとすることを禁止することはできないだろう。たとえ誤った相関関係の結果だとしても、人々がデータ・パターンから何を発見しようとするかを監視するのは困難だ。だが、たとえば、ある申請者がよちよち歩きをしていた頃に得た破壊的行動評点が、顔の特徴に基づくクレジット引受業務や大学の入学決定にほんの一部でも使われることを禁止することはできる。

 評判に関する情報に完全な透明性のアジェンダがあると仮定してみよう。情報源からエンドユーザー向けのブローカーにいたるまで、あなたに関するあらゆる情報についてあなたは追跡することができる。不正確だと思うデータについて真偽を争うことができる。あなたは、あなたのデータを追う人が皆、あなたの趣味嗜好、利害関係、業績に関して確実に最新情報に接することができるようにすることで、あなた自身に関するさまざまなデジタル・バージョンを仕立てあげることさえできる。これであなたの懸念は、本当に和らぐだろうか? おそらく、そうではないだろう。データ利用が激化するにつれ、たとえ新しいソフトウェアや専門家の助けがあろうとも、自分がどこでどのように描かれているのか追跡するのは困難になる。そして、多くの状況の下では、正確なデータですら、その配備の仕方自体で不公正だったり差別的に機能しかねない。

 クレジットカード会社が、結婚カウンセラーへの支払いを債務不履行の前触れだとしてコード化し、カード保持者の利子率をあげると考えてみよう。感情に関する問題に専門家の助けを求めることが、クレジットの決定に影響を及ぼしてはならない。みじめさを、利子率の高騰と結びつけるのは、不公正だ。生まれ持った遺伝子を自分で統御することはできないため、雇用決定判断に遺伝子情報を使用することはすでに禁止されている。だが、いろいろな疾患においても、ガンから骨折、人間関係の失敗をもたらす可能性もある不安や鬱にいたるまで、人々は責任を持つことはできないのだ。

 ビッグデータやそれに基づく意思決定モデルに問題を発見することを、人々が自分で担うべき重荷にしてはならない。自分の暮らしに影響を与える数千ものデータベースをすみずみまでチェックすることができる人など、ほとんどいない。大手会社やブローカーの蓄積したデータを検査して疑わしいデータを見つけ、追跡可能にするよう要求しその信頼性を保証させるのは、規制当局者がやるべきことだ。保健医療の分野では、アメリカ連邦政府はすでに専門の監査人と請負契約を結び、病院や医師の診療室での問題あるデータ実務を検出している。政府がビッグデータ経済に課税して、データ使用の監査にかかる費用に充てることもできるだろう。

 企業はリスクとチャンスの査定に自動化プロセスを利用している。こうしたプロセスを管理する会社は情報化した経済の中でもっともダイナミックで利益をあげ、重要な部分をなしている。これらの会社はみな通常は機密のアルゴリズムを用いて膨大な量の情報を処理している。そのテクノロジーがもつ魅惑は明らかだ。すなわち、それは古来からある未来を予測したいという願望なのだが、それが現代の謹厳な統計学で鍛えられている。

 とはいうものの、秘密がはびこる風潮においては、悪い情報が良い情報として通用しがちで、その結果、不公正というだけでなく破滅的でさえある予測を生み出しかねない。不公正で不適切な判断がアルゴリズムの力と結びついて、誤った予測という失敗作を生み出してしまうとき、モデル化がもたらす害悪はさらに強化される。教養ある市民は、政府のあるべき姿を知るだけではなく、政府と文化に影響を及ぼす企業のありようについても知る義務がある。情報時代の大立者たちは自由と自己決定を約束するが、彼らが有するブラックボックスが、デジタル貴族社会を支えてもいるのだ。



  • (1) Ylan Q Mui, ‘Little-known firms tracking data used in credit scores’, The Washington Post, 16 July 2011
  • (2) Joseph Walker, ‘Data mining to recruit sick people’, The Wall Street Journal, New York, 17 December 2013.
  • (3) Nicolas P Terry, ‘Protecting patient privacy in the age of big data’, University of Missouri-Kansas Law Review, vol 81, no 2, 2012; Lori Andrews, I Know Who You Are and I Saw What You Did: Social Networks and the Death of Privacy, Free Press, New York, 2011.
  • (4) Experian sold consumer data to ID theft service’, Krebs on Security, 20 October 2013.
  • (5)  Mary FE Ebeling, Healthcare and Big Data: Digital Specters and Phantom Objects, Palgrave Macmillan, Basingstoke, 2016.
  • (6) Privacy International, Case Study: Fintech and the Financial Exploitation of Customer Data, 30 August 2017.
  • (7)  Blaise Agüera y Arcas, Margaret Mitchell and Alexander Todorov, Physiognomy’s New Clothes, Medium.com, 6 May 2017.
  • (8) Sam Levin, ‘LGBT groups denounce “dangerous” AI that uses your face to guess sexuality’, The Guardian, London, 9 September 2017; Barbara Marquand, ‘How your selfie could affect your life insurance’, USA Today, 25 April 2017.

  • [訳注] ル・モンド・ディプロマティーク仏語版、および英語版2018年5月号に掲載された小論 When suddenly it all went wrong(「うまく行っていたことが、突然すべておかしくなる時」)を参照。著者はフランス語版編集部のピエール・ランベール。2008年バラク・オバマが初の黒人米大統領に選出された選挙では、投票者分析・アクセスの手段として画期的な「活用」が絶賛されたオンライン個人情報が、2016年の選挙の際、トランプの戦略的利用により、トランプ勝利を導いて以来、特にソーシャルメディアなどからの個人情報の収集・利用のもつ、プライバシー保護に関する負の側面が、にわかに問題視されるようになったと指摘している。


(ル・モンド・ディプロマティーク 英語版2018年5月号より)