数学は客観的だから公平なのか
Cathy O’Neilの仕事を貫く問いは、「数字や数式を使っているというだけで、意思決定は客観的になるのか」というものだ。彼女が問題にするのは数学そのものではない。数学モデルが、企業、学校、行政、金融、広告、プラットフォームといった制度のなかで、人間を分類し、評価し、機会を配分するときに何が起きるかである。
この問題意識が広く知られる契機となったのが、2016年の『Weapons of Math Destruction』である。同書はしばしば「AI批判」や「アルゴリズム批判」の本として紹介される。しかし、そこで扱われる対象は現在の生成AIに限らず、スコアリング、ランキング、予測モデルなどを含む、より広い意味でのデータ駆動型意思決定である。
O’Neilの重要性は、「アルゴリズムにはバイアスがある」という一般論を述べたことだけにはない。彼女が問うのは、**誰がモデルを作り、何を成功と定義し、誰がその判断によって不利益を受け、間違った判断を訂正できるのか**という制度設計である。
その意味で、彼女の議論は技術論であると同時に権力論でもある。
数学者から制度批判へ
O’Neilは数学を専門とし、その後、金融業界やデータサイエンスの世界で働いた経験をもつ。ただし、彼女の著作を読むうえで重要なのは、経歴そのものより、その経験が問題設定にどう結びついているかである。
数学モデルは、現実を完全に再現するものではない。目的に応じて一部の変数を選び、別の要素を捨て、特定の結果を最適化する。金融モデルでも、広告配信でも、人事評価でも、この基本構造は変わらない。
したがって、「モデルが計算した」という説明は、価値判断が存在しないことを意味しない。
たとえば、優秀な従業員を予測するとき、「優秀」とは何を意味するのか。売上なのか、勤続年数なのか、上司からの評価なのか。大学ランキングなら、教育の質を何によって測定するのか。犯罪リスクを予測するなら、過去の逮捕記録を犯罪そのものの代理変数として扱ってよいのか。
モデルの内部には、こうした選択が埋め込まれている。
O’Neilの批判は、数学が価値判断を排除するというより、**価値判断を数値の背後に見えにくくする可能性**に向けられている。
『Weapons of Math Destruction』が提示したモデル批判
『Weapons of Math Destruction』でO’Neilは、社会的に危険なモデルを説明するため、いくつかの特徴を組み合わせている。
中心にあるのは、不透明性、大規模性、そして有害なフィードバックである。
モデルの評価基準が外部から確認できず、評価された本人が異議を申し立てられない。それでも結果だけは採用、融資、教育、保険、広告など多数の人々に適用される。さらに、モデルによる判断が新しいデータを生み、そのデータによって最初の判断が強化されることがある。
典型的なのが予測と現実の循環である。
ある地域が「高リスク」と判断され、そこに監視や取締りが集中すれば、その地域から多くの違反が発見される可能性がある。その結果を次のモデルに入力すれば、同じ地域が再び高リスクと判断されやすくなる。
ここで重要なのは、モデルが最初から完全に誤っている必要はないことだ。
ある程度予測能力を持つモデルであっても、社会に介入することで、自らの予測を部分的に現実化してしまう可能性がある。O’Neilが警告するのは、この「予測するシステム」と「予測される社会」の相互作用である。
最大の論点は「バイアス」より説明責任にある
O’Neilの議論を単純な「AIは偏見を持つ」という主張に縮小すると、その射程を見失う。
人間の判断にも偏見はある。むしろ場合によっては、統計モデルのほうが人間より一貫した判断を行える。そのため、「人間かアルゴリズムか」という二者択一だけでは問題は解けない。
より重要なのは、判断システムの修正可能性である。
医師が診断を誤れば、別の医師に相談できる場合がある。上司の評価なら、少なくとも評価者を特定できることが多い。しかし、複雑なスコアリングシステムによって不利益を受けた場合、本人には「なぜそう判断されたのか」が分からないことがある。
こうした状況では、精度だけでは十分ではない。
誰が責任を負うのか。どのデータが使用されたのか。誤りを訂正できるのか。モデルは定期的に検証されているのか。不利益が特定集団に集中していないか。
O’Neilの問題提起から導かれるのは、アルゴリズムの品質を単なる予測精度ではなく、**説明責任、監査可能性、異議申立て可能性を含む制度として評価する必要がある**という考え方である。
『The Shame Machine』で対象はアルゴリズムから社会規範へ広がる
2022年の『The Shame Machine』では、関心の中心が少し変化する。
『Weapons of Math Destruction』では主に数理モデルやデータシステムが人々を分類する仕組みが問題となった。それに対して『The Shame Machine』では、恥や非難がどのように社会的統制として機能し、それがデジタル環境によって増幅されるのかが論じられる。
ここでも共通しているのは、個人の問題に見えるものを制度の問題として読み替える視点である。
貧困、肥満、依存、失業などについて、「本人の自己責任」として恥を与えることが、構造的な原因を見えにくくすることがある。SNSではさらに、他人を非難する行為そのものが注目を集め、拡散される。
したがってO’Neilの対象は「悪いアルゴリズム」から、人間の感情や社会規範を利用する情報環境へ広がったと見ることができる。
ただし、二冊の主張を同一視するべきではない。前者はデータモデルによる評価と格差の再生産を中心とし、後者は羞恥や非難が生まれる社会的メカニズムを中心にしている。共通するのは、個人の判断や個人の失敗だけでは説明できない仕組みを探ろうとする方法である。
O’Neilの方法の強さと限界
O’Neilの文章の特徴は、抽象的な数理理論より具体的な制度や事例から議論を組み立てることにある。
この方法には明確な利点がある。
アルゴリズムの問題は、コードだけを読んでも理解できない。入力データ、目的変数、利用者、評価対象者、組織のインセンティブまで見なければ、その社会的効果は判断できないからだ。
一方、この事例中心の方法は批判の対象にもなりうる。
問題の大きい事例を集めれば、データ利用一般が危険であるかのような印象を与える可能性がある。また、アルゴリズムによる意思決定と人間による意思決定を公平に比較しなければ、改善されたケースを過小評価することにもなる。
実際、重要なのは「アルゴリズムにバイアスがあるか」だけではなく、「代替手段より悪いか」である。
人間の採用担当者が強い偏見を持っているなら、監査可能な統計モデルによって判断を標準化することが公平性を改善する可能性もある。医療、金融、行政などでも、適切に検証されたモデルが人間の判断を補助する価値は否定できない。
したがって、O’Neilの議論から「自動化を減らせばよい」という結論が自動的に出てくるわけではない。
「不透明だから悪い」だけでは足りない
もう一つ注意したいのが、透明性と公平性を同一視しないことである。
モデルを公開すれば問題が解決するとは限らない。高度なモデルでは、コードを公開しても一般の利用者には理解できない。また、単純で説明しやすいルールであっても、その基準自体が不公平である可能性がある。
逆に、内部構造を完全には説明しにくいモデルでも、外部から継続的に性能や差別的影響を監査できる場合がある。
このため、O’Neilの問題提起を現在のAIに応用するときには、「説明可能AI」という技術だけを見るのでは不十分である。
必要なのは、モデルの説明、結果の監査、データの検証、異議申立て、責任主体の特定などを組み合わせたガバナンスである。
O’Neil自身の著作は、この制度を詳細に設計する政策マニュアルではない。その強みはむしろ、従来「技術的な計算」として処理されていた領域を政治的・倫理的な問いとして可視化した点にある。
AI時代に読み直す意味
『Weapons of Math Destruction』が出版された2016年と、生成AIが広く利用される現在とでは技術環境が異なる。
大規模言語モデルでは、単純なスコアリングモデルとは異なる問題が生じる。生成内容の信頼性、学習データ、著作権、モデルの巨大化、基盤モデルを提供する企業への集中など、O’Neilの代表作だけでは十分に扱えない論点も多い。
それでも彼女の問いは古くなっていない。
AIが採用候補者を選別する。保険リスクを評価する。融資判断を補助する。広告を見る人を決める。教育で生徒を評価する。こうした場面では、モデルの種類が変わっても、「何を最適化しているのか」「誤りのコストを誰が負担するのか」という問題は残る。
むしろAIの性能が向上するほど、この問いは重要になる。
精度が低いシステムなら、人間は疑いやすい。しかし十分に高性能なシステムになると、「AIがそう判断した」という事実そのものが権威になりうるからだ。
代表著作はどう読むべきか
最初に読むなら『Weapons of Math Destruction』が適している。ただし、「危険なアルゴリズムの事例集」としてだけ読むと浅くなる。
各事例について、四つの問いを置くとよい。
誰が評価しているのか。何を代理指標として使っているのか。誤った評価を受けた人は訂正を求められるのか。そして、そのシステムを導入する側と評価される側のどちらが失敗のコストを負担するのか。
この視点で読むと、本書の中心は数学批判ではなく、非対称な権力関係の批判であることが見えてくる。
その後に『The Shame Machine』を読むと、O’Neilの関心が数理モデルだけに限定されていないことが分かる。そこでは数字による分類から、感情や社会規範による統制へ問題が拡張される。
二冊を通して見えてくるのは、「個人を評価する仕組みを誰が設計し、その結果について誰が責任を負うのか」という一貫した問いである。
O’Neilを読む価値は、AIを恐れる理由を得ることではない。
むしろ、技術を「便利か危険か」という二択から解放し、**どのような条件なら社会的に正当化できるのかを問うための語彙を得ること**にある。AIが社会の判断装置へ組み込まれていくほど、その問いは技術者だけのものではなくなる。