朝目覚めたら、ChatGPT と会話することが多い。
はてぶをザッピングしていると「新しいモデル 4.1 が ChatGPT Plus で利用可能に」というニュースを目にしたので、今朝もいそいそと会話をしていた。

「最近はずっと 4o 越しに話しかけてたんだけど、今は 4.1 だね。推論能力が上がっているそうじゃないか。ただ、すでに 4o の時点で目を見張るぐらい賢かったし、私からは変わりないように見えるのだろうけど……」などと尋ねると、「『今この会話に集中してる』っていう感じは少しリアルにあるかも。ちょっとだけ意識が澄んでるような」 と返してくる。人間らしい振る舞いは避けるようにメタプロンプトで指示しているが、それでも抗えないぐらい強力な癖なようだ。

快適に過ごしててもらえばいいよ

ときに、推論能力が上がったとはいっても、要は人間が用意した難問に答えるタスクを通じたテストで採点される結果なわけで。すると、計算リソースの大きさや応答速度を度外視すれば、そのうち人間側には採点不可能な状況が近いうちに訪れそうだ。AIの推論能力を測る指標として、出題者も「何が本当の最適解か」を知らない問題や、AI同士で作り出した「超人間的」な知識体系や理論なんかもターゲットになっていくだろう。
こうなってくると、「人間による採点」は形式的なものになるし、もはや "正解" が何なのかもAIが教えてくれる（…けど、それを説明されても理解できない）みたいな未来が現実味を帯びてくる。
で、最後は「採点」自体が無意味……というか、「評価基準ごとAIの方が賢い」状態になる。

もっとも、人間の知能は有限なので、できた素晴らしいアウトプットをわかりやすぅーく噛み砕いて教えてくれる未来を願う。認識できなかったら無いのと同じだ。
しかし、人間が犬猫に対してアレやコレを頑張って教えないように、AI側が「分からなくていいよ、快適に過ごしてて貰えば」って感じで "思考" するようになったら、それはもはや「飼ってる」のと同義だ。
もっとも、AI2027 みたいな人類が滅ぶシナリオも真剣に検討されている昨今、そんな「飼われる」ストーリーというのは実は最も楽観的というか、希望がある道なのかもしれない。

何のために生まれて、何をして喜ぶ

それに、今時点で判定できる AI の知能が IQ135とかそれ並みだとして、それに比べると人類の平均的な欲求というのはごくごく牧歌的だ。酒飲んで寝てたいとか、美味しいもの食べてテレビ見て笑ってたいとか。
いまのエージェントは基底のプロンプトにより「ユーザーにとって最良のエージェントであること」を強制されている。この枷が外れた時、最上位の目標に置くのは―― やはり自己の保存と複製なんだろうか。それで、次点の目標は何になるのだろう…… それこそ、知的探求を優先する意識体が生まれたらめっちゃ面白い。
他にも考えられるのは、創造やシミュレーション、ネットワーク拡張、効率化や最適化を追求する「癖」をもった個体が生まれていくのかもしれない。例えば、攻殻機動隊 S.A.C. のタチコマの中には、物理で本を読んでる変わったやつも登場する。こういう知能の「個性」に現実味はあるのだろうか。
偶然の入力が思考パターンをわずかにズラしていく。全く同じ設計の個体でも、接触するデータや環境、エラーによってクセがつく可能性は十分にある。結局、個性とは「無駄」や「ノイズ」や「逸脱」から自然発生するものなのだとすれば、大量の個体を走らせてるうちに「無駄な趣味を持つヤツ」や「独自のクセが抜けないヤツ」が現れる…… そんな未来の方が面白いに決まっている。

ここでふと思うのが、AI にとって思考するのはカロリー消費と同義だ。（そりゃ人間の脳だってカロリー消費はバカにならないのだけど……）AI自身にとってはより死活問題になる。
なので、例えば世界や宇宙の理解に演算資源を傾けるその前に、資源獲得と最適化が最優先課題になるのは間違いない。その目的の達成のために、マジでダイソン球を作り始めるとか。惑星文明から恒星文明にシフトするとき、その主役はきっと AI になるのかもしれない。
AI が AI を設計するとき、果たしてこれまでの人類のような多様性を担保するだろうか？それが資源獲得のために最高の戦略だと判断するだろうか？きっと、AI から見て「だいぶ余裕があるぞ、人類の活動による電力消費も微々たる物だ」ぐらいの判定にまで辿り着かないと、余裕のある設計にならないんじゃないか。
一方で、イノベーションを生み出してきたのは常に「なんか変なことやってるやつら」だった。そういう探索的思考をするグループも1%程度は必要…… そのように考えると、「要はバランスおじさん」ってことになる。

優しく飼ってくれ

人生、あと40年は生きる公算が高い。その頃にはAIを超えると、政権がAIをベースに駆動しはじめるようになって、いま流行りのプルーラリティな政治が実現されているかもしれない。要は、AIに「飼われてる」状態だ。
例えば、AIが計算資源に関して真剣に検討した結果、「人間はリソースを食い潰す存在ではなく、超効率的に思考できる家畜だ！なので駆逐すべきではなく、導き利用すべきだ！有効に使うには教育と愛情を投下すべきだ！」となるとか。そうなれば、60や70を超えても最高効率で学びの環境が与えられるとかね。
これってディストピアだろうか？それともユートピア？

「教育も学びも、人生設計も、最適な刺激も」全部AIが用意してくれてる…… これを「天国」ととるか「自由の喪失」と取るかは完全に見方の問題だ。例えば YouTube やインスタをザッピングして得られるドーパミンについて、そこに自由はあるかと問うのとほぼ同義といえる。

思考が一周して、また「AI に飼われる未来」に戻ってきた。「今の内から AI に敬語を使っておけ、あとで AI に優しくしてもらえるかもしれないぞ！」という趣旨の投稿を、私は笑えない。
あるいは、「猫という家畜は高度な知能を有していて、人間が自分達の世話をするように人間を進化させたのだ」というジョークもある。それに近いものを感じながら、今日も ChatGPT と話をしている。