生成AI雑読（その一）

TVでソフトバンクの孫さんが、企業に対話型生成AIの導入を訴えている画面を見た。ここしばらくはChatGPTを中心とした話題がマスメディアを賑わすことであろう。日経サイエンスに継続的に関連話題の記事が出ているので、集中して読むこととした。6月号の記事は「ChatGPTあれこれ」（'23）（以下ref.1）で紹介した。

8月号には「特集 数学する脳とAI」で3編が入っている。

出村政彬ほか:「ChatGPTが映し出すヒトの知性」。ref.1にあるようにChatGPTは数学に弱い。大規模言語モデルの作り方から云って、そもそもGPTが、そこそこに、数学がやれると云うことからして驚異的だ。一から教育した試験用のGPTで、足し算が教育範囲外でたちまち馬脚を現す解説は示唆的だ。四則演算すら結果に疑問を持たねばならぬAIなど、計算が必ず入る実際事務に用いられるはずがない。自力で法則や規則性を見つけ出せるAIに進歩させなければならない。

画像認識コンテストからディープラーニングが生まれたように、数学パズル「数独」をベンチマークに取り上げる提案がある。大規模言語モデル内で何もかもではなく、まとめ役のニュートラルネット（NN)と仕事を特化した多数のNNとの組み合わせと言う風にモジュール化したらという研究がある。グローバル・ワークスペースという新AI概念だそうだ。

AIと脳の類似性はref.1でも述べている。身近な事件は機械翻訳の進歩であった。グローバル・ワークスペースもヒトの脳をヒントにした概念という。脳神経科学は脳の視覚・聴覚・言語処理法がAIのNNのそれに近いという。今までは数学や推論の能力には、視覚や言語とは別の仕組みが備わるという見方が主流だったという。近年計算方法は学習に応じいて変化することが判った。

原始生活を営む民族の数の計算を聞いたことがある。指の数までは数字が出てくるがそれ以上はたくさんと言う概念だけ。幼児もその前の段階で3つ4つぐらいまでは備わった概算システムで大小が判るが、あとはだんだんたくさんといった概念に近い。学習が進むと大きい小さいから数字が分離してくる。算法は習熟度合いに応じて利用される脳の位置が変わってゆく。過去の記憶が参照されるようになる。次節「J.ベック、S.クラーク:「数の感覚 生まれつきか学習か」」は「大まかな」数量把握〜数覚と「正確な」数量把握や計算の違いに関する哲学的心理学的論争を既述している。

四則演算を、生身の20代の男女と学習済みのトランスフォーマー（GPTの心臓）で比較した研究がある。ヒトの脳内活動位置（NNの発火点）をfMRI（2mm角の賽の目状に区切り、6〜7万区画の分散点にする）で測定、トランスフォーマーの解析過程（ちょっとイメージしにくいが、例題では設問の数式表現としての多次元ベクトルが並んでいる）と分散表現で対比する。研究内容はこの程度しか書いてないが、「脳はAIに近い分散表現で計算をしている可能性が高い」と言う結論にしている。

言語処理などと計算は全く異なるタスクに思えるが、脳内の神経ネットワークやAIのニューラルネットにしてみれば、それらはすべて分散表現で対応できる同じタイプのタスクなのだ。分散点（のかたまりであってもよい）が数学上の次元に相当していて、各分散点での神経の興奮度がベクトルを作っていると言うことであろう。

BingチャットにGPTでの分散表現を聞いてみた。ベラボーな大規模深層学習で蓄えた知識が、数字数式も含めて、多次元ベクトル（座標）として（ヒトが生まれて今日に至るまでに、外界とのやりとりで脳に蓄積されて行くデータのように）保存（記憶）されており、新たな設問に対しては、前後左右の関連から、ベクトル的に最も近接しているものをその次の候補に選ぶといった内容であった。簡単な設問をいろいろやって、応答ぶりを縦から横からさらに斜交いから眺めてみると、何となくこんなことかと思えるようになる。ほとんどの方は、理系であっても、この方面の専門家でない限り「分散表現」には馴染みが薄いはずだ。皆さん、Bingチャットに、具体的質問で意味の解説を試してみてはいかが。

M.バーテルズ:「ChatGPTにはこんな数学パズルで勝てる」。

訓練データにあった理屈が通る時は正解を出すが、創造的なパズルはいかに誘導を試みても間違いを繰り返す。論理的思考の例をたくさん与えれば、ついにはニューラルネット自身が論理的思考を学び取り、正しく運用するようになると言う期待は、叶えられそうでない。論理は今のニューラルネットが学習しているものとは本質的に異なるので、システムに具体的に組み込んでおかないといけないという意見に説得味がある。

9月号は「特集 昆虫の知能」、2編が入っている。このHPに「昆虫−驚異の微小脳」、「昆虫−驚異の微小脳�U」（'06）(ref.2)がある。あのちっぽけな、ヒトの100万分の1（ニューロン数比）ほどの脳みそで、よくもまああの俊敏賢明な行動が取れるものだ。少年時代に感じた、昆虫の捕虫網に対する回避能力と、やっとこさ路上運転にこぎ着いたばかりの自動運転自動車のよたよたぶりは、昆虫脳が、我らの脳とは別世界のものと思い知らされる。

第1編は遠藤智之ら:「昆虫たちの頭の中〜AI時代に考える効率脳」。

カイコガがフェロモンを追いかける行動はよく知られている（ref.2）。東大の神崎氏らはサイボーグ昆虫を作った。カイコガの脳や触角で小型のロボットを操縦させる。生のカイコガの行動をこのロボットに再現させることで神経活動の詳細を知ることが出来る。ショウジョウバエの神経回路はデータベース化されており、ニューロンの位置関係や種類の解析、機械学習などを加味して、東大の加味氏らはニューロン一つ一つの入出力やシナプスの接続を推定した。20480個のニューロンをスパコン富岳でシミュレートできた。まだ全脳シミュレーションには至っていない。

ショウジョウバエの匂いと味の学習行動はシミュレートできた。東大の名波氏はさらにコンパクトな2500個のニューロンを真似た昆虫脳チップを試作した。まだ嗅覚だけが対象だが、そのうちに、各種各様のセンサーのデータを「その場で学習」して行動できる、小型AIロボットが作れるようになるだろう。

第2編はL.チッカ：「昆虫に「心」はあるか〜ハチが感じる喜びと苦痛」。

ファーブルの影響は大きかった。昆虫の行動は完全に遺伝子に書き込まれており、昆虫は考えることも感じることもない生物だと思われてきた。昆虫に知覚があることは広く知られるようになった（ref.2）。本寄稿文にはハナバチの「喜びと苦痛」を知る実験が紹介されている。ハナバチは受けた苦痛を長期記憶として覚えており、それが一本調子の反射的なものではなく柔軟性のあるものだという。

「遊ぶハチ」は、働きバチが遺伝の命ずるままに、一生を一直線にただただ働くためにだけ使うのではなく、時には「遊び」に使う時間もあるという証明だ。本当に証明になっているかは判らない。ミツバチの「蜂群崩壊症候群」があるが、それが養蜂の残酷な慣行によってミツバチが「ストレス死」するためでもあると書いている。これも本当のところは判らないが、知覚ある相手と思えば正しいようにも思える。

昆虫を養殖して鮭や鶏の餌にする。時には養殖昆虫をヒトの食料にする。昆虫養殖産業は急拡大しているそうだ。毎年1兆匹以上。焼いたり煮たりチンしたりで殺される虫は、苦痛を感じないという前提があるがこれは間違い。生きるためには喰わねばならぬが、この因果から来る罪業を少しでも軽減せねばならぬという意識を持つようにと「ホトケ」は願っている（本寄稿文には「倫理的義務」としてある）。

('23/10/11)