スパコンとAI：『富岳』と『語学』と『語岳』の語呂合わせ？
以前、『効率的な技術開発の選択』シリーズで『ハードウェアに合わせるか、アルゴリズムに合わせるか』というテーマで記事を書きましたが、『富岳』の特性を考慮すると『富岳』のハードウェアに合わせた国産生成AI（ソフトウェア）の開発は困難な課題だといえます。
若い読者を想定して説明すると『無理ゲーじゃね？ しらんけど』的な状態でした。但し、『無理ゲー』を非難しているわけではなく、『無理ゲーをクリアすること』が、ブレイクスルーになります。逆説的には、簡単な問題や一般常識の問題を解いても、ブレイクスルーにはなりません。
以下の日刊工業新聞の報道では詳細は分かりませんが、機械学習モデル（ソフトウェアやアルゴリズム）に合わせてハードウェアを開発するアプローチになったようです。同時並行して様々なソフトウェアの開発も進めるはずですが、CPU重視からGPU重視に変わったというのが、一番分かり易い説明だと思います。
イーロン・マスクのGPU買い占め問題は上の記事で説明していますが、TwitterはXに変更になりましたので、TruthGPTも何れは、xGPTになるかも知れません。マスクは2023年7月にネバダに『xAI社』を設立済みです。
マスク氏、OpenAIやDeepMindの研究者を集め“宇宙を理解する”ための新企業xAI立ち上げ
2023年07月13日 06時53分 公開
[ITmedia]
イーロン・マスク氏は7月12日（米国時間）、“現実を理解する”ための新企業xAIを立ち上げたとツイートで発表した。xAIのWebサイトでは“宇宙を理解する”となっている。
地球上のことですら分からないことだらけで、哲学的には『意識』や『理解』や『真理（Truth）』の定義もできていないのに『宇宙を理解する』とは、どういう意味なのかすら『理解』できません。
「富岳」と組み合わせ“世界一”の性能確保へ、理研がAI用スパコン「語岳」整備
2023年09月06日
理化学研究所は人工知能（ＡＩ）向けスーパーコンピューター「語岳」を整備する。ＡＩ向けの計算性能はスパコン「富岳」の４・５倍。語岳と富岳を組み合わせ、世界一となるスパコンと同等性能を狙う。
スーパーコンピュータは、『処理方式』や『構成方式』に基づいて以下のように分類することができます。
処理方式による分類：スカラー型、ベクトル型、SIMD型、MIMD型など
『SIMD型』は、単一の命令を複数のデータに対して同時に処理する方式です。NLP（自然言語処理）やLLM（大規模言語モデル）の分野では、大量のデータを高速に処理することが求められるため、SIMD型のスーパーコンピュータが適しています。
『MIMD型』は、複数の命令を複数のプロセッサで同時に処理する方式です。NLPやLLMの分野では、複雑な処理を並列処理で実行することが求められるため、MIMD型のスーパーコンピュータも適しています。
構成方式による分類：単一プロセッサ型、並列プロセッサ型、分散メモリ型、共有メモリ型、ハイブリッド型など
また、GPUやAI専用のチップセットの最適化も非常に重要ですが、以下の記事の情報だけでは、理化学研究所が取り組もうとしているのが何型に相当するのか、判断が難しいところです。
AIの種類は非常に多いので、一言でAIと説明されても、何のAIなのか理解できませんが、『富岳』と『語学』の語呂合わせのような『語岳』という名称から、NLPやLLMに特化したスーパーコンピュータだと思われます。
筆者の見解としては、NLPやLLMに適している処理方式は『SIMD型』と『MIMD型』を組み合わせた『ハイブリッド型』で、構成方式は『分散メモリ型』が高性能を発揮すると思います。上に引用した日刊工業新聞の記事では、『富岳はCPUベース』で『語岳はGPUベース』となっていますが、理化学研究所の富岳のプレスリリースは、2023年6月21日で更新が止まっているので、まだ詳細を発表できる段階ではないのかも知れません。
もしかすると、筆者の知らない『新型』ができるのかも知れないので、スペックの公式発表や評価結果の公表が楽しみです。
日刊工業新聞の記事では『GPT-4』を意識した開発のようですが、NLPの機械学習モデルは、GPT（Generative Pre-trained Transformers）やBERT（Bidirectional Encoder Representations from Transformers）のTransformersだけでなく、様々な機械学習モデルやアルゴリズムがあります。
2023.04.19
OpenAIのCEO、「巨大AIモデルを用いる時代は終った」と語る
OpenAIの最高経営責任者（CEO）を務めるサム・アルトマンが、「ChatGPT」の開発につながった研究戦略はひと段落したと発言した。これは、AIのさらなる発展には新たな方向性が必要であることを示唆するものだ。
2023年4月の時点で、OpenAIのアルトマンCEOも、Transformersの限界を認めており、現在、世界中のAI研究者が、Transformers以外の機械学習モデルやアルゴリズムや、MoE（Mixture-of-Experts）の開発に力を入れています。筆者がLLM（大規模言語モデル）という単語を好まず、NLP（自然言語処理）として説明することが多いのは、LLM的なアプローチは、既に時代遅れの発想だからです。GPT一点張りでAI開発を進めることは、戦艦大和と同じ失敗の繰り返しになりかねません。
戦艦大和の何が失敗だったかについては諸説ありますが、宇宙戦艦ヤマトとして復活する可能性も否定できません。
「ハードウェア志向」に過ぎた日本の陸海軍
【大木】これも余談になりますが、戦艦「大和」「武蔵」をつくったのは間違いだったとよく言われます。しかし、どうでしょうか。「大和」の起工が昭和一二（一九三七）年です。あのころはまだ、飛行機と戦艦のいずれが主兵であるかはっきりしていません。「他国もつくっている」ことも建造理由になりました。
つくることは問題なかったものの、スペイン内戦や日中戦争を経て、やがて飛行機のほうが重要であることがあきらかになってきました。そうしてみると、つくったこと自体はあながち間違いではないにしても、航空機の時代に適応させて使いこなせなかったことに間違いがあったと思うのです。
【戸髙】まことにその通りです。日本は「武蔵」でやめましたが、アメリカは戦争中に八隻も戦艦をつくっています。イギリスに至っては、第二次大戦終結後にも戦艦をつくっています。戦艦が時代遅れだったということではない。その点、日本は真っ先に航空のほうにシフトした国です。
ただ、大木さんが言ったように、世界有数の能力を持った船を使いこなす能力が日本にはなかった。物には、物そのものの能力と、それを使う能力の両方が必要です。私はよく、最高性能の自動車をペーパードライバーが運転しても、その車の能力は発揮できない、と言っています。高度な機械ほど、高度なオペレーション能力が必要です。その点で、日本の海軍と陸軍は、ハードウェア志向に過ぎたところがあります。
ちなみに、MoE（Mixture-of-Experts）のエキスパートとは、例えば、Transformersは数学が苦手（数学以前の算数も苦手）なので、数学の部分は、数学の得意なAI（エキスパート＝専門家）に任せるような感じのアプローチです。
MoEの開発で困難な部分は、『どの処理をどのエキスパートに任せて、どのようにしてその計算結果を取りまとめるか？』という人間のプロジェクトマネジメントのような困難さがあります。
MoEの最適化自体が非常にホットな分野なので、日本のAI研究・開発の専門家は、Transformers一点張りで物事を考えるのは、逆に時代遅れのAIやスパコンを作ってしまう可能性が高いと思います。
これって、わたしの感想ですよね。