原書タイトルは"Weapons of Math Destruction"。
「大量破壊兵器」をもじった造語で、訳書本文中では「数学破壊兵器」と訳されている。「兵器」というワードに一瞬ぎょっとするが、いわゆるAI（人工知能）やビッグデータが社会や個人に与える悪影響を強調するために、あえて選ばれた言葉なのだろう。
AIの危険性については、今回のAIブーム開始直後から議論されてきたし、本もたくさん出た。最初は拡散していた論点も、だんだんと整理されてきている*1。
2016年末に、このテーマについてはブログに書いた。
この記事では、データを分析する側と、データ分析の影響を被る側の間にもっと「コミュニケーション」が必要ではないか、というようなことを書いた。けれど、具体的にAI・データ利用の何が「危険」なのかは、はっきりイメージできていなかったように思う。
本書『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』には、その答えがある。まさに「AIやビッグデータ、なんか危うくない？」という感覚の正体が言い当てられていて、ものすごく腑に落ちた。
著者キャシー・オニール氏のプロフィールが面白い。数学の大学教授職を手放し、金融業界でクオンツとして働き、その後はデータサイエンス業界へ。アメリカの科学者が「最優秀層がみんな金融業界へ吸い寄せられてしまう」と嘆くのを読んだことがあるが、その道を地で行った著者だ。やがてデータサイエンティストとしての自分の仕事にも疑問を抱き、会社を辞める。中を知っているだけに、説得力がある。
＊＊＊
「AI・ビッグデータの危うさ」をテーマとした本のなかで、本書が際立つ一番の点は、「すでに起こっている事例を扱っていること」だろう。
著者が「数学破壊兵器」と呼ぶもの、それは人々や社会に害をなす数理モデル（ないしはアルゴリズム）のことだ。本書で取り上げられているもののなかからいくつか挙げると、
- 広告会社が、特定の個人に対して、どんな広告が効果的かを割り出すモデル
- 警察が、街のなかで犯罪が起こりやすい場所を割り出すモデル
- 司法が、再犯の可能性が高い囚人を割り出すモデル
- 保険会社が、ある人に対して、最適な保険料を割り出すモデル
- 企業が、採用応募者のなかから有望な人を絞り込むモデル
など。いずれも、アメリカの企業や行政によって、すでに使われているものだ。なかには、いわゆるAIやビッグデータを使っていないシンプルな数理モデルもある。
これらが「数学の悪用」と言えるのは、弱者からの搾取、格差の固定化と拡大、人々の政治的分断などにつながるからだ。たとえば、「広告」の章では、アメリカの私立大学のターゲティング広告の事例が出てくる。一部の悪質な大学では、貧困層をターゲットに、各人のコンプレックスを突くような広告を投げ、入学者を獲得しているという。こうして入学した人は高い学費によってさらに苦境に陥ってしまう。ここまで露骨な「悪意」がなくても、たとえば雇用や保険の例では、その人の「人種」が原因で会社や保険に入りにくくなるなど、結果としての差別が発生している。そして、こうしたモデルを使うこと自体が、モデルにフィットしやすい状況を作り出すことに貢献するという、悪循環が生まれてしまう。
これらの「ヤバさ」を知るには本書を読むのが一番なので、まずは手に取ってみてほしい。
＊＊＊
本書で挙げられている事例の多くは、アメリカだからこそ起こったものも多いだろう。ただ、日本でも、悪質な「AI導入」「データ活用」が浸透し始めているように感じる。思いつくのは
- オンラインゲームのユーザーに課金を促すためのデータ分析
- 退職可能性の高い従業員を割り出す「AI」
などだ。本書では、悪いモデルの共通点として
- モデルの中身が不透明であること
- そのサービスや事業の目的に関係のない変数が取り入れられていること（※表現はブログ筆者の意訳）
が挙げられているが、上記の二例もそれに該当するだろう。
もちろん、企業が利益をあげるために、客単価向上や人事業務のコスト削減に努力するのは当然で、そのためにできることは何でもやるというのはわかる。だからこそ、消費者（市民）の側で意識を高めて、企業や行政に「公正なデータ活用」を行う圧力をかける必要がある。少なくとも、「セクシー」だとか「最強」だとか「導入が急務」だとか、データ分析やAIを無条件に是とする雰囲気は、そろそろ変えていったほうがよさそうだ。
……まずは、今年から全国にでき始めている「データサイエンス学部」で、本書を教科書にしてはと思いますが、いかがでしょうか。
