LLM

2024年4月29日 06:51

mergekit-evolve のパラメータまとめ

以下の記事が面白かったので、簡単にまとめました。

1. mergekit-evolve「mergekit-evolve」は、進化的アルゴリズム (CMA-ES) を使用して、モデルメトリックに対してマージのパラメータを最適化するスクリプトです。これは、「SakanaAI」の「Evolutionary Optimization of Model Merging Recipes」、特にパラメータ空

もっとみる

npaka

2024年4月28日 08:52

Google Colab で mergekit-evolve による進化的モデルマージを試す

「Google Colab」で「mergekit-evolve」による「進化的モデルマージ」を試したので、まとめました。

1. mergekit-evolve「Google Colab」で「mergekit-evolve」による進化的モデルマージを試します。うみゆきさんのコードを参考にさせてもらいつつ、実行環境 Colab + 評価者 Gemini で試してみました。

2. Colabでの実行

もっとみる

npaka

2024年4月27日 13:28

Weave と Elyza-tasks-100 でローカルLLMを評価する

「Weave」と「Elyza-tasks-100」でローカルLLMの評価を試したので、まとめました。

1. Weave と Elyza-tasks-100「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。「評価関数」と「評価データセット」を用意するだけで、LLMの評価に必要な面倒な処理 (記録・集計

もっとみる

sergicalsix

2024年4月25日 01:28

LLMの強化学習における新手法:TR-DPOの論文紹介

論文名

Learn Your Reference Model for Real Good Alignment

arXivリンク

https://arxiv.org/pdf/2404.09656.pdf

ひとこと要約

Direct Preference Optimization (DPO)を改良したTrust Region DPO (TR-DPO)を提案。

メモ

背景

従来のアライン

もっとみる

npaka

2024年4月25日 06:50

mergekit-evolve による進化的モデルマージ

以下の記事が面白かったので、簡単にまとめました。

1. 進化的モデルマージ「Sakana.ai」は約1か月前、「進化的モデルマージ」に関する論文を発表し、大きな話題を呼びました。

「進化的モデルマージ」を使用すると、マージで特定のコンピテンシーや資質をターゲットにすることができます。これがないと、モデルマージは手動の探索プロセスになります。数十回のマージを試し、それらを手動で評価し、マージパラ

もっとみる

Masa

2024年4月23日 21:40

エンジニア経験の無い一般人男性が、AIマンガアシスタントを作っちゃう話（生成AIなんでも展示会ふりかえり）

2024年4月21日（日）、渋谷Abema Towers内、CyberAgent様のスペースで開催された、生成AIの個人開発者の展示会「生成AIなんでも展示会」に出展させていただきました。

私は、生成AI（主にLLM）を用いて、マンガの制作を助けるツールを作って、そのデモや成果物を展示しました。
当日は、たくさんの方にブースにお越しいただいて、事前に用意していたプレゼンテーションをほとんど使用せ

もっとみる

noguchi-shoji

2024年4月24日 08:52

WSL2でPhi-3-mini-128k-instructを試してみる

「Phi-3 データセットを使用してトレーニングされた、38 億パラメータの軽量の最先端のオープンモデル」らしい、Phi-3-mini-128k-instructを試してみます。

使用するPCはドスパラさんの「GALLERIA UL9C-R49」。スペックは
・CPU: Intel® Core™ i9-13900HX Processor
・Mem: 64 GB
・GPU: NVIDIA® GeF

もっとみる

npaka

2024年4月24日 09:02

Google Colab で Phi-3 を試す

「Google Colab」で「Phi-3」を試したので、まとめました。

1. Phi-3「Phi-3」は、Microsoftが開発したSLM (Small Language Model)です。さまざまな言語、推論、コーディング、数学のベンチマークにわたって、同じサイズのモデルや次のサイズのモデルよりも優れたパフォーマンスを発揮します。

パラメータ数と学習トークン数は、次のとおりです。

2.

もっとみる

AI Nest

2024年4月22日 19:54

【論文瞬読】大規模言語モデル（LLM）が回帰分析の新たな王者に？驚くべき性能の秘密を探る

こんにちは！株式会社AI Nestです。
今日は、自然言語処理と機械学習の世界に革命を起こす可能性を秘めた論文を紹介します。タイトルは「From Words to Numbers: Your Large Language Model Is Secretly A Capable Regressor When Given In-Context Examples」。大規模言語モデル（LLM）が、コンテキ

もっとみる

鈴木いっぺい (Ippei Suzuki)

2024年4月23日 16:30

Llama3に関する情報と実装事例

LLama 3に関するキーポイントMetaは、オープンソースの大規模言語モデルの最新作であるMeta Llama 3を発表しました。このモデルには8Bおよび70Bのパラメータモデルが搭載されています。

新しいトークナイザー：Llama 3は、128Kのトークン語彙を持つトークナイザーを使用し、Llama 2と比較して15％少ないトークンを生成することで、言語をより効率的にエンコードしています。

もっとみる

0xpanda alpha lab

2024年4月23日 23:03

RAG技術の新たな展開：文書間コンテキストの活用とその影響

LangChainチームの＠Lance Martinが最近公開したビデオシリーズでは、大規模言語モデル(LLM)とRetrieval Augmented Generation（RAG）技術の進化について詳しく説明されています。このビデオでは、特に多くの文書からコンテキストを必要とする問いに対応するためのRAPTORのアプローチや、長いコンテキスト埋め込み技術、自己反射型RAGやC-RAGなどの新た

もっとみる

npaka

2024年4月23日 08:18

JAT (Jack of All Trades) の概要

以下の記事が面白かったので、簡単にまとめました。

1. JAT (Jack of All Trades)「JAT」 (Jack of All Trades) は、ジェネラリストエージェントの推進を目的とするプロジェクトです。このプロジェクトは、視覚と言語 (vision-and-language) のタスクと意思決定 (decision-making) のタスクの両方を実行できるTransfor

もっとみる

npaka

2024年4月21日 08:37

Google Colab で Llama 3 のファインチューニングを試す

「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。

1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。

今回は、ござるデータセットで学習します。AIが「我、りんえもんは思う。◯◯でござる。知らんけど。」的な口調になります。

2. 学習Colabでの学習手順は、次のとおりです。

(1) Colabのノートブックを

もっとみる

Masayuki Abe

2024年4月21日 01:03

ChatGPT登場時と同じような衝撃を受けたgroqを調べてみた

groqとは？groqとは、言語モデル処理に特化したLPU(Language Processing Unit)を開発している会社です。

このLPUを使用することにより大規模言語モデルの応答速度が格段に速くなります。

その結果、ユーザはレスポンスの待ち時間を意識することなく大規模言語モデルを使用することができるようになります。

groqは、そのLPUを使用したgroq.comというChatG

もっとみる

フォローしませんか？

2024年4月の記事一覧