New York City, Leica M7, 1.4/50 Summilux, PN400N
先日、「教育が成功しすぎると、社会は壊れる」というエントリを書いた*1。
プラトンが本当に怖れていたのは、無知な市民ではなく、よく教育され、正しさを内面化し、それゆえに誰にも止められなくなった市民ではないか、という話だ。
またその後、Weekly Ochiaiにて、落合陽一氏とAIの賢さについて語り合い、人間が勝てないと思う瞬間が今後普通になってくるという話をした*2。
書きながら、これは教育の話にとどまらないと感じていたが、それがほぼ確信に変わった。同じ構造が、いまAIの周囲でも、静かに立ち上がっている。
-
AIについて語られるとき、誤り、暴走、悪意といったものが問題にされがちだ。
だが、本当に怖いのはそこではない。
怖いのは、善意で、論理的で、データ的には正しく、反論不能な判断が、社会の中で静かに固定されていくことだ。
教育されすぎた市民がそうであるように、最適化されすぎたAIもまた、継続的に学習はするかもしれない。しかし、問いが閉じた瞬間、深い部分では誰の声も聞かなくなる。
しかもその正しさは、効率的で、合理的で、社会的に望ましい顔をしている。だからこそ、止めにくい。
怖いのは、間違いではない。
-
本当の問題は、AIが賢いかどうかではない（賢くなければそもそも道具として価値がない）。ここでの問題は、正しさが修正不能な形で内面化されることだ。
AIの判断が、データに基づき、一貫しており、説明可能で、合理的に見えるとき、人は異を唱えにくくなる。
やがて、「別の可能性」を考える力そのものが失われる。これはAIという技術の問題ではない。今後生まれる可能性がある社会の構造の問題だ。
-
プラトンは『国家』の中で、知恵と徳を兼ね備えた者が統治する「哲人王」の理想を描いた。だが同時に、その理想が孕む危うさも、誰より理解していたように思える。
もし、その哲人王が間違ったとき、誰が止めるのか。この問いは、そのままAIにも当てはまる。
「全体を俯瞰し、最適解を提示し、社会のために働く存在」としてAIを位置づければ位置づけるほど、その判断を疑う言葉は失われていく。
善意であればあるほど、合理的であればあるほど、「待った」をかける余地は小さくなる。
-
ここでつながってくるのが、Disaster-readyという考え方だ。詳しくはリンク先のエントリを見てもらいたいが*3、Disaster-readyとは、災害に「勝つ」ことではない。止まらない社会を設計することだ。
誰かが間違える、何かが壊れる、想定外が起きる、、それでも、社会全体がブラックアウトしない。局所的な失敗が、全体崩壊につながらない。それがDisaster-readyな状況だ。
この視点で見ると、AIについて、上で議論した問題も見えてくる。問うべきは、「AIが正しいか」ではない。AIが間違えたとき、社会は持ちこたえられるかだ。
-
もう一つの鍵になりそうなのが、開疎化（Open-Sparsification）だ。
これも最近ここで議論した通り*4、開疎化とは、単に人を減らすことでも、分散させることでもない。
判断が一箇所に集中しない、正解が一つに収束しない、異なるリズムや論理が共存する、、そうした「余白」を、意図的に社会の中に組み込む空間の設計原理だ。
AIが社会に深く入り込むほど、この余白はますます重要になる。
中央で最適化された一つの判断より、部分的に不完全でも、全体として折れにくい構造。それが、AI時代における「知の開疎化」だと思う。
-
ここで問いは、もう一度反転する。
問題は、正しいAIを作れるかどうかではない。問題は、正しさが暴走しても、社会が壊れないかどうかだ。
人は必ず間違える。教育も偏る。AIもまた、前提と目的関数から自由ではない。
それでも持ちこたえる社会とは、どんな構造を持っているのか。
-
AIがフルに実装される時代の社会設計として本当に問われているのは、 賢さでも、倫理でも、規制でもない。 壊れにくさ（viability）をどう設計するかだ。
- 正しさが暴走しないこと。
- 失敗が部分で終わること。
- 問いが閉じきらないこと。
答えは、ここには書かない。 ただ一つ言えるのは、 問われているのは知能の設計ではなく、 社会が止まらないための思考の設計だということだ。
この問いを持ったまま、 AIという存在を、 社会設計の問題として考え続けたい。
