AIを「賢い機械」の話だけにしないために
AI社会について考え始めるとき、最初から人工知能の性能や将来予測だけを追うと、問題の一部しか見えなくなる。現実のAIは、企業のデータ収集、行政や企業の意思決定、労働、市場競争、監視、差別、安全性と結びついているからだ。
そこで最初の5冊は、AIそのものの仕組みを順番に学ぶというより、AIをめぐる問いの射程を少しずつ広げるように読むとよい。
ここでは、キャシー・オニール『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』、ショシャナ・ズボフ『監視資本主義』、ケイト・クロフォード『AIのアトラス』、ブライアン・クリスチャン『アラインメント問題』、スチュアート・ラッセル『Human Compatible』を一つの読書経路として考える。
この順番の目的は、五つの本から同じ結論を得ることではない。むしろ、「現在すでに起きている問題」から出発し、その原因を企業制度、物質的基盤、機械学習の設計、将来の高度AIへと移動させることで、どこまでが共通問題で、どこから議論が分岐するのかを見極めることにある。
1冊目――キャシー・オニールから「判断を自動化する」とは何かを考える
最初に読むなら、キャシー・オニールの著作が入口として使いやすい。
オニールが問題にするのは、AIが人間のような知性を持つかどうかではない。採用、教育、信用、保険、犯罪予測などで、人間についての判断が数値モデルによって行われるとき、何が起こるのかという問題である。
重要なのは、「アルゴリズムだから客観的だ」という発想を疑うことだ。モデルには目的変数があり、利用するデータがあり、設計者が決めた評価基準がある。したがって、数式を利用することと価値判断から自由になることは同じではない。
この本を最初に置く理由は、AI問題を抽象論から現実の制度へ引き戻せるからだ。
ただし、オニールの議論だけでは、なぜそのようなシステムが大量に導入されるのかという政治経済的背景までは十分に説明できない。企業はなぜ人間の行動をこれほど詳細に測定しようとするのか。データを集め、予測し、介入すること自体が巨大なビジネスになるのはなぜか。
この疑問を次のズボフへ引き継ぐ。
2冊目――ズボフで問題を「モデル」から「企業の権力」へ広げる
ショシャナ・ズボフの『監視資本主義』に移ると、視点が大きく変わる。
オニールでは主として「モデルが人をどのように評価するか」が問題だった。ズボフでは、そのモデルを成立させるために、人間の行動がどのようにデータ化され、経済的資源として利用されるのかが問題になる。
検索、位置情報、購買、クリック、交流などの行動が収集され、それをもとに将来の行動を予測する。この構造をズボフは、単なる便利なデジタルサービスではなく、新しい資本蓄積と権力の形として捉える。
ここでオニールの問題設定が補強される。
有害なアルゴリズムを一つずつ修正するだけでは不十分かもしれない。大量のデータを収集し、予測精度を競争優位へ変える経済構造そのものが残るからである。
一方、ズボフの「監視資本主義」という大きな枠組みには批判もある。デジタル企業の多様な事業を一つの原理で説明しすぎているのではないか、従来の広告産業や監視との連続性を過小評価しているのではないか、といった論点である。
したがって、この本は完成した説明として受け取るより、「AIを理解する単位はアルゴリズムなのか、それとも企業と市場なのか」という問いを立てる本として読む方がよい。
そして次には、さらに別の方向からこの議論を揺さぶる本を置きたい。
3冊目――ケイト・クロフォードで「AIはソフトウェアである」という前提を崩す
ケイト・クロフォードの『AIのアトラス』では、視線が画面の外へ向かう。
AIについて語るとき、私たちはモデル、データ、アルゴリズムに注目しやすい。しかしAIシステムには、半導体、電力、データセンター、鉱物資源、物流、学習データを整備する労働など、多数の物質的・人的基盤が必要である。
ここで、ズボフから引き継いだ「誰がデータを所有するのか」という問題が、「そのシステムを成立させる資源と労働を誰が負担しているのか」へ拡張される。
これは重要な反転でもある。
ズボフを読んだ直後には、AI社会の中心問題がデータ収集と監視であるように見える。クロフォードを読むと、それだけでは足りないことがわかる。監視される利用者だけでなく、資源採掘、インフラ、低賃金労働、環境負荷まで視野に入れなければ、AIの社会的コストを捉えきれない。
ただし、ここまでの3冊には共通した限界もある。主として「AIが社会の中でどう使われるか」を論じており、機械学習システムそのものがなぜ望ましくない振る舞いをするのかという技術的問題は中心ではない。
そこで4冊目から、社会批評とAI技術の境界へ進む。
4冊目――『アラインメント問題』で社会問題と技術問題を接続する
ブライアン・クリスチャンの『アラインメント問題』が扱うのは、機械学習システムを人間の意図や価値に沿って動かすことの難しさである。
ここで「価値判断はどこに入るのか」というオニールの問いが、別の形で再登場する。
機械学習では、何を目的として最適化するのか、どのデータから学ぶのか、どのような行動を成功と判定するのかを決めなければならない。しかし人間が本当に望んでいることは、しばしば単一の数値に還元できない。
この点で、アラインメントは遠い将来の超知能だけの問題ではない。
推薦システムがクリック率を高めても、それが利用者の幸福を高めているとは限らない。採用モデルが過去の採用実績を再現できても、その過去が望ましい基準だったとは限らない。測定可能な代理指標と本来の目的とのずれは、現在の機械学習にも存在する。
ここまで読むと、最初のオニールへ戻れる。
オニールが社会制度の側から示した「モデルが現実を歪める問題」を、クリスチャンは機械学習と最適化の側から考える。両者をつなぐことで、単純な「悪い企業が悪いAIを使う」という説明では足りなくなる。善意の設計者であっても、目的を正確に形式化すること自体が難しいからである。
そして最後に、その問題をはるかに高度なAIへ拡張した場合どうなるかを考える。
5冊目――スチュアート・ラッセルで現在の問題を未来へ延長する
スチュアート・ラッセルの『Human Compatible』は、人工知能が人間より強力になった場合の制御問題を正面から扱う。
ただし、ここまで4冊を読んでから入ることに意味がある。
最初から高度AIの危険だけを読むと、「AIが人類を支配するか」というSF的な問いとして受け取ってしまいやすい。ところがオニールやクリスチャンを経由すると、ラッセルが扱う問題の一部は、すでに小規模な形で存在していると理解できる。
人間が目標を設定し、機械がそれを効率的に達成する。しかし設定した目標が、人間が本当に望んでいた結果と一致する保証はない。
ラッセルは、この構造を高度な人工知能まで延長して考える。
一方で、ここではそれまでの3冊との緊張も生じる。ズボフやクロフォードから見れば、現在のAIをめぐる重要問題は、すでに存在する企業権力、労働、資源、監視である。ラッセルのように将来の強力なAIへ注意を向けすぎれば、現在進行中の問題から関心が逸れるという批判は成り立つ。
逆方向の反論も可能だ。将来の高度AIに非常に大きな危険があるなら、現在の社会問題だけに議論を限定することもまた視野を狭める。
5冊目まで来て初めて、「現在のAI倫理」と「将来のAI安全性」は競合する論点なのか、それとも同じ設計問題の時間軸が違うだけなのか、という争点が見えてくる。
5冊を一本の問いでつなぐ
この読書順を一つの流れとして整理すると、問いは少しずつ変化している。
オニールでは「誰がアルゴリズムによって評価されるのか」。
ズボフでは「誰がデータを集め、予測する力を持つのか」。
クロフォードでは「そのAIを成立させる資源と労働を誰が負担するのか」。
クリスチャンでは「機械に何を目的として学ばせるのか」。
ラッセルでは「非常に強力な機械に、人間の目的をどう反映させるのか」。
重要なのは、後の本が前の本を単純に否定しないことである。
むしろ分析対象が、個々の意思決定システムから企業、市場、物質的インフラ、学習アルゴリズム、将来の高度AIへ移っていく。同じ「AI問題」という言葉の中に、実際には異なるレベルの問題が存在していることが見えてくる。
目的によって途中から分岐してよい
5冊すべてを同じ重みで読む必要はない。
社会制度や政策に関心が強ければ、オニールからズボフ、クロフォードへ進む経路を優先するとよい。焦点はAIの性能より、権力、差別、データ、労働、環境へ向かう。
機械学習の設計思想に関心があるなら、オニールの後にクリスチャンへ進んでもよい。社会的な失敗と技術的な最適化問題が、意外に近い構造を持っていることが見えやすくなる。
AIの長期的リスクを考えたい場合でも、いきなりラッセルから始めるより、少なくともオニールかクリスチャンを先に読む方がよい。そうすれば、アラインメントを「未来の超知能だけの特殊問題」としてではなく、目的設定と代理指標という一般的な問題から理解できる。
逆に、監視や巨大IT企業の問題を考えたいなら、ラッセルまで進む必要は必ずしもない。ズボフとクロフォードを軸に、競争政策、プライバシー、労働研究へ分岐する方が目的に合う場合もある。
読み終えたときに残るべきなのは「AIは善か悪か」ではない
この5冊から得るべき結論は、AIを肯定するか否定するかではない。
むしろ、「AIの問題」と呼ばれているものを分解できるようになることが重要である。
差別的な判断が問題なのか。データを所有する企業の権力が問題なのか。資源と労働の負担が問題なのか。目標設定と最適化のずれが問題なのか。それとも、将来登場する可能性のある高度なAIを制御できないことが問題なのか。
これらは関連しているが、同一ではない。
したがって解決策も異なる。透明性や監査で改善できる問題もあれば、プライバシー規制や競争政策が必要な問題もある。労働条件や環境負荷を問うべき場合もあり、機械学習そのものの設計原理を変えなければならない場合もある。
AI社会を考える最初の読書で身につけたいのは、未来を言い当てる能力ではない。「誰が、何を、どの仕組みで問題だと言っているのか」を切り分ける力である。
5冊をこの順に読む意味は、その切り分けを少しずつ難しくしていくことにある。そして最後まで読んだあと、もう一度最初のオニールへ戻るとよい。最初には単なる「危険なアルゴリズム」に見えた問題が、企業権力、資源、価値設定、AI安全性まで連なる、はるかに大きな問いとして見えるはずである。