【人工知能技術の現在・過去・未来】容赦なき「Tomorrow never knows」世界の片隅で？
ちょっと間が空いたので仕切り直し。
数秘術師や魔術師の時代(イタリア・ルネサンス期~近世)
大数学者や大物理学者の時代(大航海時代~1848年革命の頃)
統計学者と母集団推定の時代(産業革命時代~現代)
機械学習と分布意味論の時代(第二次世界大戦期~現在)
このうち「大数学者や大物理学者の時代」の終焉から「機械学習と分布意味論の時代」に掛けての推移を扱ったのが以下の投稿。
ここまでは何とか順調に辿り着けましたが、未来予測には「読みを外す」リスクがつきもの。例えばこんな風に…
transformerモデル公的大躍進前夜の風景
transformerモデル公的大躍進が始まる前夜、2021年の記事。
第3次AIブームが始まったのは、2012年ごろでしょうか。カナダのトロント大学がディープラーニング（深層学習）を用いて画像認識の分野で大きなブレークスルーを示したのがきっかけになりました。現在では、CNN（畳み込みニューラルネットワーク）、RNN（再帰型ニューラルネットワーク）といった代表的なディープラーニングの仕組みを、PoC（概念実証）あるいは実ビジネスで、いろいろな日本企業が活用しています。
ああ、何てこと…
2番目は次世代ディープラニングともいうべき、Attention機構という技術です。現在の代表的技術であるCNN、RNNが進化したものといえます。2020年の夏、GTP-3という自動的に文章を作成するAIが話題になりました。
GPT-3は短い文章を入力すると、その特徴を模した文章を自動生成します。入力したものに応じて、作家が書いたような文章、有名人が書いたような文章でも作成可能です。
もっともらしいフェイクニュースも作成できるわけです。ひょっとしたらメディアのあり方が変わってくるかもしれません。Twitter上でGPT-3を使ったいろいろなデモやプログラムが公開されたのをご存じの方もいらっしゃるでしょう。
まさかの時に「ガラスの靴の美女」!!
「シンデレラ」の王子様は「白雪姫」の王子様の様な生きた女性が愛せない死体マニアではありません。従って「メリダとおそろしの森」の世界の様に周辺国がこぞって政略結婚の機会を虎視眈々と狙ってたとしてもおかしくない訳ですが、その状況を「ガラスの靴の美女」の登場が一夜にして覆してしまった訳です。
「決定木アルゴリズムの並列化成功に追いつくべく、再起もバックトラックも畳み込みも捨てる形で並列化に成功した深層学習界のゲームチェンジャーtransformerモデルが業界標準の座を勝ち取り、RNN(回帰型ニューラルネットワーク)モデルもCNN(畳み込みニューラルネットワーク)モデルも跡形もなく焼き払ってしまう」前夜、その「跡形もなく焼き払われてしまう側」たるRNN(回帰型ニューラルネットワーク)モデルやCNN(畳み込みニューラルネットワーク)モデルの側からは世界はこう映っていたという訳です。
まさにそれはこういう景色の繰り返し…
広島名物「弾丸はまだ残っとるがよう」？
そう、「未来を予測する事は出来ないが、発明する事なら出来る」。未来を発明する立場に立たない限り、こうして何度も焼け跡にされる恐怖から完全に逃れる事は出来ないのです。
一周巡って当った預言もある？
一方、一周巡ってはからずしも当った預言も？
3番目は、次世代の機械学習です。これまでのAIは利用の前提として大量のデータを使うのがほとんどでした。データの収集が進まず利用の障害になるケースもあったのですが、この問題を解決する技術が登場しつつあります。
自己教師あり学習がその有力な候補です。自ら教師データを作ることで、少量のデータでAIが予測したり判断したりできるようになります。AIで制御するロボットや自動運転の分野での応用が進むでしょう。
こんな話、「transformerモデルはインターネット上のBig Dataを学習する事で無限に賢くなり続ける」と信じられていた2023年前後の時期に蒸し返してたら、「時代遅れの堅物め。もっと頭を柔らかくしろ!!」と、鼻で笑われていた事でしょう。
しかし現実は不意に誰だって裏切り続ける残酷な尻軽女…
最近、深層学習界隈が「学習データの自給」を標榜する様になりました。それまでこの界隈の伸びが著しかったのはインターネット上の巨大トラフィックが「餌」に使えたから。適当なスクレイピングで稼げた時代があっという間に終わった様に、人工知能技術投入によるテコ入れにも限界が見えてきたのでこの展開とすれば、それは「シンギュラリティの沓音」というより「植物の誕生」という事。
また「学習データの自給」と言いますが、既に深層学習においてベクトル化された言語の出現頻度や条件付出現確立分布から分布意味論的確率空間を構成する既存の方法において、ただ単にLLM(Large Language Model)のモデルサイズをどんどん大きくする方向で性能を向上させる方法では限界が見えてきたとも。
で、こちらは今日なお手付かずの部分。
2025年までの時間軸を想定して、技術面でブレークスルーが4つあると考えています。
まずはXAI（説明可能なAI）です。現在、さまざまな分野でAIが使われるようになっていますが、AIによる判断や予測の根拠が分からない、ブラックボックス化しているという批判があります。
ブラックボックス化していることで抵抗感が生まれて、実際にAIの導入が進まない領域が出てきました。例えば採用など人事関連、あるいは金融の与信管理などがそうです。XAIであれば利用者の不安を下げることができます。少しずつ実用化も進んでいます。
曲率0、曲率半径$${\tilde{∞}}$$(符号なし無限)となる直線a(-∞≦a≦+∞)上の任意の点から、その中心が等距離で観察される様に、この種の問題意識の重要性は時期を跨いで有効であり続けるのです。常に「情報量1=情報量0」であり続ける情報伝達の境界面=事象の地平線(Event Horizon)？
「トップダウン型人工知能とボトムアップ型人工知能の対峙」モデルの終焉
また2021年時点で既に時代遅れになっていた考え方が、現時点でとうとう完全に通用しなくなった部分も。
最後が記号推論との融合です。まだ研究段階の技術という側面が強いものの、5年の時間軸でみれば一気に実用化が進む可能性があります。
AIにはボトムアップ型とトップダウン型があるといわれます。ディープラーニングはボトムアップ型のAIです。パターン認識などには優れるのですが、人のような常識、コモンセンスといったものはありません。
これに対して記号主義から来ているトップダウン型のAIは、意識的で論理的な判断に優れています。いわば常識を備えたAIです。ボトムアップ型とトップダウン型の融合が実現すれば、よりAIの用途が汎用化されるでしょう。
皮肉にもChatGPTはこういう立場もちゃんと要約してくれました。まだまだネットワーク上に「手本」がゴロゴロ転がってるからですね。
ボトムアップ型人工知能（AI）とトップダウン型人工知能は、AIの研究における2つの異なるアプローチを指します。この概念の歴史は、AIの発展と密接に関連しており、それぞれのアプローチは異なる方法論や哲学に基づいています。
トップダウン型AIの歴史
トップダウン型AIは、人間の知性を理解するために、高度な論理やシンボル操作を用いることを重視するアプローチです。これは「シンボリックAI」とも呼ばれ、複雑な推論や意思決定をシンボルやルールに基づいて行います。
• 1950年代〜1960年代: トップダウン型AIの概念は、AI研究の初期に大きく発展しました。1950年代から1960年代にかけて、ジョン・マッカーシーやアレン・ニューウェル、ハーバート・サイモンといった研究者が、形式論理や規則ベースのシステムを用いて、人間のような思考を模倣しようと試みました。
• 例: 1956年に開催された「ダートマス会議」で「人工知能」という言葉が初めて用いられた際、AIはトップダウン的なアプローチで開発されるべきだという考えが主流でした。この時期に、シンボリックAIの一環として「知識表現」や「推論」システムが発展しました。
• エキスパートシステムの時代（1970年代〜1980年代）: トップダウン型AIの代表的な成果として、エキスパートシステムが挙げられます。エキスパートシステムは、人間の専門知識をルールの集合としてプログラムし、特定の領域で意思決定や推論を行うシステムです。これは医療診断や金融の意思決定などで活用されましたが、実際の問題に対しては柔軟性に欠けることが判明しました。
• 衰退（1980年代末〜1990年代）: トップダウン型AIは、ルールやシンボル操作に基づくアプローチが、現実世界の複雑な状況に対応しきれないという限界に直面します。システムが複雑になるにつれて、開発やメンテナンスが困難となり、このアプローチの人気は低下しました。
ボトムアップ型AIの歴史
ボトムアップ型AIは、生物の脳の神経構造をモデルとし、学習や適応に基づいて知能を構築しようとするアプローチです。これは「接続主義」や「ニューラルネットワーク**」に関連しており、シナプスの接続によって知識を学習し、階層的な構造から複雑な行動が生まれるという考えに基づいています。
• 1940年代〜1950年代: ボトムアップ型AIの起源は、ウォーレン・マカロックとウォルター・ピッツによる神経ネットワークの理論にさかのぼります。1943年の彼らの論文で、ニューロンが論理ゲートとして機能することを示し、このモデルがAIの基礎となりました。
• パーセプトロン（1950年代〜1960年代）: フランク・ローゼンブラットによる「パーセプトロン」は、初期のボトムアップ型AIの代表例です。パーセプトロンは、単純なニューラルネットワークを用いてパターン認識を行う試みでしたが、単層のネットワークでは線形にしか問題を解けないという限界が指摘され、マービン・ミンスキーとシーモア・パパートが1969年にこの限界を指摘したことで、このアプローチは一時衰退しました。
• ニューラルネットワークの復活（1980年代〜1990年代）: 1980年代に入り、ジェフリー・ヒントンなどの研究者によって、バックプロパゲーションアルゴリズムが開発され、ニューラルネットワークが再評価されました。これにより、ニューラルネットワークが複数の層を持つことができ、非線形な問題にも対応できることが示されました。ボトムアップ型AIは、学習アルゴリズムの改良と計算資源の進展に伴い、急速に進化しました。
• ディープラーニングの時代（2010年代以降）: 2010年代に入り、ボトムアップ型AIの中核をなす「ディープラーニング」が急速に発展しました。大量のデータと強力な計算能力により、多層のニューラルネットワークが画像認識や音声認識など多くの分野で飛躍的な成果を上げました。これにより、AI研究の主流は再びボトムアップ型にシフトしました。
トップダウンとボトムアップの融合
近年では、トップダウン型とボトムアップ型のアプローチを統合する試みも進んでいます。たとえば、ニューラルネットワークにシンボリックな知識を統合する「ニューロシンボリックAI」や、推論と学習の両方を組み合わせたシステムが研究されています。このように、両者のアプローチが互いに補完し合う形で進化しているのが、現代のAI研究の特徴です。
まとめ
• トップダウン型AIは、シンボルやルールに基づくアプローチであり、1950年代から1980年代にかけての主流でしたが、柔軟性に欠けるという課題がありました。
• ボトムアップ型AIは、生物の脳のモデルに基づいて学習を重視するアプローチで、特に1980年代以降、ニューラルネットワークの進展によって復活し、ディープラーニングの成功によってAIの主流となりました。
• 現在では、両者の統合や融合を目指す新しいアプローチが注目されています。
そして、ネットからその痕跡すら消え去ると…「思い出もやがては消え去る。雨の中の涙の様に…」。
そう、実は「ベクトル化された言語の出現頻度や条件付出現確立分布から分布意味論的確率空間を構成する」NLP(Natural Language Processing=自然言語処理)の一つとして出発したChatGPTらtransformarモデルの側からすれば、現在の進化の方向性は「トップダウン型構築」とか「ボトムアップ型構築」みたいな考え方と無縁な「件付出現確立分布の構築方法の工夫」一択というのが現実なのです。
「条件付同時出現確率」とは「犬小屋という単語は犬と同時出現する確率が高い」といった客観的観察の積み重ねから出発し「文脈によってアップルが林檎の事か会社名か見分けられる」段階へ進むアプローチを指す。
最近MicrosoftとOpenAI社が競ってる「数学問題を解くとは、適切に学習された中間概念の連続想起である」なる考え方も、Microsoftが取り組んでいる「関係ない専門知識は最初から想起外に置く形での省力化」も同じ範疇。それでは、このうちどこまでが「トップダウン型アプローチ」で、どこからが「ボトムアップ型アプローチ」という話になるのだろうか。最先端の世界では、もはや誰もそんな時代遅れのメタファーでは考えてないという訳である。神経間の情報伝達の模倣から始まったニューロンネットワーク概念が、隠れ層の発見によって深層学習概念に発展したタイミングでその歴史的役割を終えた様に…
その一方でこの話、むしろオブジェクト指向プログラミングにおける「(カプセル化の為にクラス間の独立性を確保する)名前設定技術」の領域に包含される展開を迎えたとも？
そんな感じで以下続報…