「中立ではない」とは何を意味するのか
「アルゴリズムは中立な判断者ではない」という主張は、アルゴリズムが必ず差別的である、あるいは人間より悪い判断をする、という意味ではない。より限定して理解すべきなのは、アルゴリズムによる判断には、入力するデータ、予測対象、損失関数、閾値、運用方法などを通じて、人間が選んだ目的や既存社会の構造が入り込むということである。
ここで区別すべきなのは、計算手続きとしての中立性と、社会的判断としての中立性である。同じ入力に同じ計算を適用するという意味では、アルゴリズムは一貫した処理を行える。しかし「何を良い結果とみなすか」「どの誤りを重く扱うか」「誰に資源を配るか」といった判断は、計算式だけからは決まらない。したがって問題は、アルゴリズムが感情や偏見を持つかどうかではなく、社会的価値判断を数値化する際に何が埋め込まれるかにある。
この主張が特に重要になるのは、採用、融資、保険、医療、刑事司法、教育、広告配信など、予測結果が人の機会や資源配分に結びつく場面である。逆に、数字の並べ替えや画像圧縮のように、社会的利害がほとんど関係しない処理まで「非中立」と呼ぶなら、主張は広すぎて意味を失う。論点はアルゴリズム一般ではなく、社会的意思決定に組み込まれたアルゴリズムである。
強い論拠は、偏見よりも「代理変数」にある
この主張を支える代表的な論拠は、差別的な変数を明示的に使わなくても、不平等な結果が生じうることである。Obermeyerらが2019年に『Science』で報告した医療アルゴリズムの研究では、患者の将来の医療費を健康上の必要性の代理として用いることで、同程度のリスクスコアを持つ黒人患者のほうが白人患者より実際には重い健康問題を抱える状況が生じていた。原因は、アルゴリズムが人種を直接入力していたことではなく、医療費という目的変数が既存の医療アクセスや支出格差を反映していたことにあった。
この例が示すのは、「差別属性を削除すれば中立になる」という素朴な考えの限界である。郵便番号、所得、学歴、職歴、購買履歴などは、直接には人種や性別を表さなくても、社会構造を介して属性と相関することがある。さらに問題は入力だけではない。何を予測対象にするかがすでに価値判断である。病気そのものではなく医療費を、能力ではなく過去の採用実績を、返済意思ではなく過去の貸倒実績を予測すれば、過去の制度が作った結果を「正解データ」として再利用することになる。
顔認識でも、人口集団によって誤認率が異なりうることはNISTの大規模評価で検討されてきた。2019年の報告では多数のアルゴリズムで人口統計的な性能差が確認され、その後もNISTは人口集団別の誤り率を継続的に評価している。一方、その差はすべてのシステムで同じではなく、性能はアルゴリズムやデータセット、利用条件によって異なる。したがって「顔認識は差別的だ」と一括するより、「どのシステムが、どの集団に、どの種類の誤りをどれだけ出すか」を測る必要がある。
公平性は一つの数式では決まらない
さらに重要なのは、「公平なアルゴリズム」という目標そのものが一意ではないことである。たとえば、各集団で同じリスクスコアなら実際の発生率も同程度になることを求める「較正」と、偽陽性率や偽陰性率を集団間で等しくすることは、基礎発生率が異なる場合には同時に満たせないことがある。Kleinberg、Mullainathan、Raghavanは、複数の公平性条件が一般には両立しないことを形式的に示した。
この結果は、「技術者が十分に努力すれば完全に中立なアルゴリズムを作れる」という発想に強い制約を与える。公平性の指標を選ぶ行為自体が、どの誤りを重く見るかという倫理的・制度的選択だからである。融資なら、返済可能な人を誤って拒否することと、返済困難な人に貸すことのどちらを重く見るのか。医療なら、見逃しと過剰診断のどちらの損失を大きく見るのか。これらは数学だけでは決められない。
ただし、ここから「公平性は主観的だから測定しても無意味だ」と結論するのも誤りである。むしろ複数の公平性指標を明示し、どの指標を採用したとき誰が利益を得て誰が不利益を受けるのかを比較できる点に、アルゴリズム監査の意義がある。曖昧な人間判断よりも、設計目標や誤り率を記録しやすいことは、アルゴリズムの弱点であると同時に長所でもある。
予測と決定を混同しない
この論点は、「予測」と「決定」の区別とも深く関係する。機械学習モデルが直接行うのは、多くの場合「この人が返済不能になる確率」「再受診する確率」「応募者が一定の評価を得る確率」といった予測である。しかし、その確率をもとに融資を拒否するか、追加治療を割り当てるか、採用候補から外すかは別の決定であり、そこには費用、権利、政策目的、許容できるリスクについての判断が必要になる。
この区別を曖昧にすると、モデルの精度が高いことが、そのまま意思決定の正当性に読み替えられてしまう。たとえば再犯予測が統計的に正確でも、その予測をどの程度拘禁判断に使うべきかは、自由の制約をどれほど重く見るかによって変わる。逆に、予測精度が完全でなくても、人間判断より一貫し、誤りを監査できるなら制度全体として改善する可能性はある。アルゴリズムの中立性を論じる際には、モデルの性能、公平性、最終的な政策判断を別々に評価しなければならない。
最大の反証は「人間より公平になりうる」ことだ
この主張への最も重要な反論は、アルゴリズムが非中立だからといって、人間の判断に戻れば公平になるわけではないという点である。人間による判断にも偏りや一貫性の欠如があり、アルゴリズムには同じ条件へ同じ規則を適用できるという利点がある。機械学習と人間判断を比較した研究でも、人間側の判断に含まれるノイズが改善余地の一つとして論じられている。
Kleinbergらが保釈判断を分析した研究では、機械学習による予測を利用することで、拘禁率を増やさず犯罪を減らす、あるいは犯罪を増やさず拘禁率を下げる余地があるとするシミュレーション結果が示され、同時に人種的不均衡を縮小できる可能性も報告された。これは実運用で自動的に同じ効果が得られることを証明するものではないが、「アルゴリズム化そのものが差別を悪化させる」という強い命題には反例となる。
さらに、アルゴリズムは人間の偏りを可視化する道具にもなりうる。判断規則がコードやモデルとして固定されれば、入力変数、予測精度、集団別誤差、閾値変更の影響を検証できる。人間の暗黙的判断では、なぜその人を採用しなかったのか、なぜその患者を優先しなかったのかを後から正確に分解するのは難しい。適切な監査制度があれば、アルゴリズムは差別を隠す装置ではなく、差別を検出する装置にもなりうるという議論にも根拠がある。
この主張が陥りやすい誇張
「アルゴリズムは中立ではない」という言い方には、正しいがゆえの危険もある。第一に、あらゆる設計が価値を含むという事実を、すべてのアルゴリズムが不公正であるという命題にすり替えやすい。非中立性と不当性は同義ではない。救急医療で重症患者を優先するアルゴリズムは価値判断を含むが、その価値判断が直ちに不当とはいえない。
第二に、「データには社会の偏見が入っている」という説明だけでは、どの程度の害が生じるかは分からない。偏りが存在しても意思決定への影響が小さい場合もあれば、小さな予測差が大量の利用によって大きな格差を生む場合もある。必要なのは道徳的なラベルだけではなく、誤り率、選抜率、利益・不利益の大きさ、影響を受ける人数、異議申立て可能性まで含めた実証である。
第三に、「バイアス」という語が広すぎる問題がある。統計学でいう偏り、データの代表性不足、社会的不平等、法的な差別、倫理的に望ましくない格差は別概念である。これらを一括すると、議論は強く見える一方で、何を修正すべきかが分からなくなる。
反論可能な主張にするには何を測るべきか
この主張を科学的に扱うには、「中立ではない」を検証可能な形に分解する必要がある。最低限、予測性能を集団別に比較し、偽陽性と偽陰性のどちらに差があるかを見る。次に、目的変数が本当に政策目的を表しているかを検討する。さらに、モデル導入前後で資源配分や最終結果がどう変わったかを追跡する必要がある。
重要なのは、モデル単体ではなく制度全体を見ることである。アルゴリズムの推奨を人間がどの程度採用するのか、低いスコアを付けられた人が将来データから排除されないか、予測が行動を変えてその予測を自己実現させないか。こうしたフィードバックループまで含めなければ、初期時点の評価が良好なモデルでも、運用によって新たな格差を作る可能性を見落とす。
研究上の現在地としては、アルゴリズムが既存の不平等を再生産しうること、集団別の性能差が実際に生じうること、複数の公平性基準が両立しない場合があることについては、理論的・実証的な蓄積がある。一方で、アルゴリズムが必然的に人間より不公正であるという一般則は支持されていない。公平性研究では、単一の「偏り除去」だけでなく、データ生成過程、目的設定、集団別評価、運用条件などを含めて問題を捉える枠組みが検討されている。
「中立ではない」は出発点であって結論ではない
したがって、この主張の最も妥当な読み方は、「アルゴリズムは客観的な審判として社会の外部に立つことはできない」というものである。モデルは過去のデータから学び、人間が設定した目標を最適化し、制度の中で使われる。その意味で、アルゴリズムは判断を消すのではなく、判断を別の場所へ移す。
しかし、そこから「だから使うべきではない」とは導けない。比較すべき相手は抽象的な完全公平ではなく、現実の人間判断と既存制度である。アルゴリズムが中立でないことを認めたうえで、どの価値を組み込み、どの誤りを許容し、誰に不利益が集中するのかを測定可能にすることが重要になる。主張の価値は、AIを告発することではなく、客観性を装った判断の背後にある設計選択を問い直す点にある。