マガジンのカバー画像

Libraries / Frameworks / Tools

44
本
運営しているクリエイター
thomas

#PyTorch

東京 AI 研究所

東京 AI 研究所

純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」

純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」

LLMのトレーニングを、純粋なC/CUDAでシンプルに行います。245MBのPyTorchや107MBのcPythonは不要です。たとえば、GPT-2（CPU、fp32）のトレーニングは、約1,000行のクリーンなコードで1つのファイルに収められています。コンパイルしてすぐに実行可能で、PyTorchのリファレンス実装と完全に一致します。最初に機能する例としてGPT-2を選んだのは、現代のスタック

もっとみる
lilacs2039

lilacs2039

TaichiとPyTorchの違い【一目比較GPT事例】

TaichiとPyTorchの違い【一目比較GPT事例】


TaichiとはTaichiは、GPU並列処理をPythonで記述できるライブラリです。コンピューターグラフィックスでの利用が想定されています。

公式サイト

ドキュメント

ディープラーニング関連では、RWKVやNeRFなどの事例があります。

RWKV

RNNとTransformerのいいとこ取りを試みたモデル

GitHub
https://github.com/ailzhang/bl

もっとみる
はまち

はまち

PyTorchとJAXに対応したKeras3でMNISTを試す

PyTorchとJAXに対応したKeras3でMNISTを試す

バックボーンのフレームワークを、従来のTensorFlowから、デファクトスタンダードになりつつあるPyTorchと、実行効率に優れたJAXも選べるようになったKeras3.0が公開されていたので、さっそくバックボーンをPyTorchやJAXに設定して、手書きアルファベット画像のクラス分け課題のMNISTを試してみました。

23.11.29追記
公式の紹介ページも公開されていました。
https

もっとみる