数学は中立である、という安心を疑う
キャシー・オニールの『Weapons of Math Destruction』が投げかける問いは、単純に「アルゴリズムは危険か」ではない。より重要なのは、**数値による判断が人間の判断より客観的で公正だと、なぜ私たちは考えてしまうのか**という問いである。
2016年に刊行された本書で、オニールは教師評価、大学ランキング、採用、信用評価、保険、警察活動、刑事司法などを横断し、一部の数理モデルが既存の格差を再生産しながら、その判断過程を見えにくくしていると論じた。彼女が「大量破壊数学兵器（Weapons of Math Destruction、WMD）」と呼ぶモデルの特徴は、おおむね規模の大きさ、不透明性、そして社会的な害である。
この命名には明らかに挑発的な面がある。それでも本書の核心は「数学が悪い」という反科学的な主張にはない。むしろ数学への信頼が強いからこそ、数式の外部に置かれた価値判断を検査しなければならない、という要求にある。
問題は計算ではなく、何を計算するかにある
本書の中心的な主張は、モデルが現実そのものを測定しているのではなく、設計者が選択した代理変数を通じて現実を評価しているという点にある。
たとえば「優れた教師」「信用できる借り手」「犯罪を起こしそうな人物」といった対象には、温度や重量のような直接測定可能な値が存在しない。そこでモデルは試験成績、信用履歴、居住地域、過去の行動など、測定可能な別の変数を利用する。ここで重要なのは、その選択が数学によって自動的に決まるわけではないことである。
どの結果を成功と定義するのか。どのデータを利用するのか。誤判定のうち何を重大視するのか。どの程度の精度なら人間の生活に介入してよいのか。これらはすべて規範的な判断を含んでいる。
オニールの貢献は、この当たり前だが忘れられやすい事実を、抽象的なAI倫理ではなく生活上の意思決定として見せた点にある。数式の計算が正しくても、目的変数や代理変数の選択が不適切なら、社会的には不合理なシステムが成立しうる。
最も強い論拠は「フィードバックループ」である
本書の議論の中でも、とくに現在まで耐久性を持つのがフィードバックループへの批判である。
モデルは過去のデータを入力として未来を予測する。しかし、その予測に基づいて制度が行動すると、その行動自体が次のデータを作る。予測と現実が独立していないのである。
予測的警察活動を考えれば理解しやすい。ある地域で過去に多くの犯罪が記録されていれば、モデルはその地域を高リスクと判定するかもしれない。すると警察官が多く配置され、より多くの違反が発見される。その記録が再び入力されれば、「この地域には犯罪が多い」という予測はますます強化される。
そこで観測されているのが犯罪そのものなのか、それとも警察による観測の密度なのかは容易には区別できない。
オニールは再犯予測などについても、モデルによる判定が本人の将来の条件を変え、その結果が再びモデルの正しさを補強する可能性を指摘する。 これは単なる「偏ったデータ」の問題より深刻である。モデルが世界を誤って記述するだけでなく、**モデル自身が予測した世界に現実を近づける**からだ。
本書の価値は「ブラックボックス」の政治性を示したことにある
不透明なモデルについて、通常は説明可能性の問題が語られる。しかし本書の議論はもう一段広い。
重要なのは「中身を説明できるか」だけではなく、「誰がモデルを検証できるのか」「判定された人が異議申し立てできるのか」「誤りによる損失を誰が負担するのか」という権力関係である。
人間の上司に不当に評価されれば、少なくとも「上司が判断した」という責任主体は見える。ところがスコアによる判断では、担当者は「システムがそう判定した」と言える。開発者は「われわれはモデルを作っただけ」と言える。経営者は「データに基づく判断だ」と説明できる。
結果として、判断の影響力が拡大する一方で、責任の所在が分散する。
この点で『Weapons of Math Destruction』はアルゴリズム批判というより、**数値化された官僚制についての本**として読む方が本質に近い。
ただし「悪いアルゴリズム」を一括りにしすぎる
本書への重要な批判は、WMDという概念が強力である反面、かなり広いことだ。
不透明で大規模で有害なモデルという定義には、統計的に粗悪なモデルも、予測精度は高いが差別的効果を持つモデルも、目的そのものが不公正なモデルも含まれうる。問題の所在はそれぞれ違う。
技術的精度が低い場合にはモデル改善が解決になる可能性がある。一方、非常に正確なモデルが社会的に許容できない差別を行う場合、問題は精度ではなく規範である。さらに、営利企業が弱者を効率よく発見して搾取するモデルなら、モデルは設計目的に対してむしろ「成功」しているかもしれない。
後の学術的な検討でも、オニールの批判は代理変数、負のフィードバックループ、不適切な統計的推論など複数の論点を包含していると整理されている。
したがって本書の概念を分析道具として使うなら、「これはWMDだ」と認定するだけでは不十分である。**何が壊れているのかをさらに分類する作業**が必要になる。
人間の判断との比較が薄いという反論
もう一つ考えるべき反論は、アルゴリズムを排除すれば公正になるとは限らないことである。
採用担当者、教師、銀行員、裁判官、警察官も偏見を持つ。人間の判断もまた不透明で、一貫性がなく、検証しにくい場合がある。そのため本書の事例から「自動化は人間の判断より危険だ」と一般化することはできない。
むしろ問うべきなのは、人間対アルゴリズムという二者択一ではない。
同じ条件で人間とモデルを比較したとき、どちらの誤りが多いのか。どの集団に誤りが集中するのか。判断理由を検証できるのか。異議申し立てによって修正できるのか。
この比較がなければ、アルゴリズムの欠陥だけを詳細に観察し、人間による既存制度の欠陥を暗黙の基準として温存する危険がある。
ただし、この反論はオニールの問題提起を無効にはしない。彼女が批判する重要な点の一つは、まさに数理モデルが「客観的だから検証する必要がない」と扱われることである。モデルが人間より優れている可能性があることと、モデルを監査すべきことは両立する。
弱者に厳しく、強者に柔軟なモデル
本書でもっとも政治的な主張は、モデルの影響が社会全体に均等に及ぶわけではないという点だろう。
オニールが描く世界では、社会的に弱い立場の人ほどスコアによって細かく分類される一方、富裕層や権力を持つ人々には個別判断の余地が残りやすい。Scientific Americanの刊行時レビューも、本書の重要性の一つとして、こうしたシステムが比較的恵まれた人々からは見えにくいことを挙げている。
ここには本書の重要な前提がある。
公平とは、全員を同じ数式に入れることではない。
形式的には同一のモデルでも、その入力となるデータが社会的不平等の履歴を含んでいれば、既存の差を未来へ転写しうる。逆に、属性をモデルから削除するだけでも十分ではない。居住地や所得、学歴など別の変数が属性の代理となることがあるからだ。
この視点は、単純な「AIから偏見を除けばよい」という発想を退ける。
2016年の警告から、アルゴリズム監査の問題へ
本書は2016年に刊行され、National Book Awardのノンフィクション部門ロングリストにも選ばれた。 当時の中心語は現在のような生成AIではなく「ビッグデータ」だったが、本書の問題設定は古びていない。
むしろ重要なのは、技術が変化しても問いの構造がほとんど変わらないことだ。
誰が目的を設定したのか。訓練データには何が含まれているのか。誰が性能を測定したのか。失敗したとき、最も大きな損害を受けるのは誰か。外部から監査できるのか。
オニール自身も刊行後、アルゴリズム監査や、精度だけでなく公平性など社会的影響を評価する必要性を訴えてきた。
その意味で本書の歴史的位置は、AIそのものを説明した本というより、**アルゴリズムを統治の対象として見るための語彙を一般読者へ広げた本**として捉えるのがよい。
他書と読むと、本書の射程と限界が見えてくる
『Weapons of Math Destruction』の後には、アルゴリズムと社会的不平等をより限定された領域から検討する議論が厚くなった。
ヴァージニア・ユーバンクスの『Automating Inequality』を併読すれば、問題は単に不適切な数理モデルではなく、福祉行政や貧困管理という制度そのものに埋め込まれていることが見えやすくなる。サフィヤ・アンブル・ノーブルの『Algorithms of Oppression』は、検索や情報分類を通じて人種やジェンダーをめぐる既存の権力関係がどう再生産されるかを問う。
さらにショシャナ・ズボフの『The Age of Surveillance Capitalism』まで視野を広げれば、焦点は個々のモデルの公平性から、そもそも大量の行動データを収集し予測へ変換する経済制度へ移る。
この順序で読むと、オニールの本の特徴も明確になる。彼女は巨大な理論体系を構築するのではなく、異なる制度の背後にある共通構造を発見するための概念を提示した。その一般性が本書の強さであり、同時に粗さでもある。
再読するときに問うべきこと
現在この本を読むなら、「オニールの予言は当たったか」と確認するだけでは足りない。
より有効なのは、身の回りのモデルについて本書の問いを逆向きに適用することである。
あるスコアが導入されたとき、それは何を最適化しているのか。その目標は誰が決めたのか。正解データは本当に正解なのか。モデルが間違ったとき、誰がそれを発見できるのか。判定された本人には訂正する手段があるのか。そして最も重要なのは、そのモデルが未来を予測しているだけなのか、それとも**予測を通じて未来そのものを作っているのか**という問いである。
『Weapons of Math Destruction』は、アルゴリズムを恐れるための本ではない。
数値が示された瞬間に思考を停止しないための本である。
再読すべきなのは個々の事例が現在もそのまま通用するからではなく、「数学的に計算された」という事実と、「社会的に正当である」という判断の間には埋めなければならない距離がある、と繰り返し思い出させるからだ。その距離を誰が、どのような証拠と手続きによって埋めるのか。本書が残した問いはそこにある。