カリフォルニア州のCerebras(セレブラス)が世界最速のAIチップを発表、4兆個トランジスタ搭載で性能2倍向上
生成AIの加速を目指すカリフォルニア州サニーベールのCerebras Systemsは、世界最速のAIチップの性能記録を再び更新する「Wafer Scale Engine 3 (WSE-3)」を発表しました。WSE-3は前世代のWSE-2と比較し、消費電力と価格を維持したまま性能を2倍向上させています。
最先端の5nmプロセスで製造され、4兆個のトランジスタを内蔵するWSE-3は、Cerebras CS-3 AIスーパーコンピュータの心臓部として搭載され、90万個のAI最適化コアにより125ペタフロップスの人工知能性能を実現します。これは、GPT-4やジェミニのような次世代の巨大モデルを訓練するのに十分な性能です。
CS-3は、最大24兆パラメータのモデルを単一の論理メモリ空間で訓練することができ、分割や再構成の必要がなく、開発者の生産性を向上させます。また、CS-3は4システム構成で700億パラメータのモデルを1日で微調整することができ、2048システム構成の大規模な場合では、生成AIにおいてかつてない偉業となる「LaMDA 700B」のゼロからの訓練を1日で完了させることができます。
CS-3は、企業や大規模なクラウドコンピューティング環境での利用を想定されており、GPUが世代を追うごとに消費電力が倍増しているのに対し、CS-3は性能を向上させながら消費電力を維持しています。さらに、CS-3はGPUと比べてコード量を97%削減し、10億パラメータから24兆パラメータまでのモデルを純粋なデータ並列モードで訓練することが可能です。
Cerebrasはすでに、企業、政府、そして国際的なクラウド事業者からCS-3に対する受注残を抱えています。
詳細内容は、Cerebrasが提供する元記事を参照してください。
【引用元】
【読み上げ】
VOICEVOX 四国めたん/No.7