2024年3月の記事一覧
pandas高速化の新星、FireDucksに迫る
本記事はFireDucksユーザー記事シリーズの第1弾です．本記事はBell様に執筆して頂きました．
データ処理と分析をする際に、多くの方がPythonを使ていると思います。中でも、PandasライブラリはPythonを用いたデータ処理においてなくてはならないものになっています。Pandasには便利な関数が多数あり、複雑なデータセットを効率的に処理・分析することができます。
しかし、Panda
いつの間にかWindowsでもシンプルに pip install bitsandbytes でbitsandbytesが使えるようになっていた
LLMを使う時、4bit/8bit量子化をするなら必要になるbitsandbytesというライブラリがあります。今までWindowsは正式にはサポートされておらず、公式以外のビルドを使ったりなどの工夫が必要でした。
ところが、3週間くらい前にリリースされたbitsandbytesのリリース情報を見ていたら、最新の0.43.0でWindowsがサポートされたとありました。
「多分、公式にpip
LLaMA-Factoryの論文紹介
論文名
LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models
arXivリンク
https://arxiv.org/pdf/2403.13372.pdf
ひとこと要約
簡単かつ効率的にLLMのファインチューニングを行うためのフレームワークであるLLaMA-Factoryの紹介
メモ
LLaMA-Fact
TaichiとPyTorchの違い【一目比較GPT事例】
TaichiとはTaichiは、GPU並列処理をPythonで記述できるライブラリです。コンピューターグラフィックスでの利用が想定されています。
公式サイト
ドキュメント
ディープラーニング関連では、RWKVやNeRFなどの事例があります。
RWKV
RNNとTransformerのいいとこ取りを試みたモデル
GitHub
https://github.com/ailzhang/bl