LLM

2024年5月30日 15:03

言語モデルの知識に対する削除･Unlearning･検出ーNLP2024参加報告③

はじめまして、三菱UFJフィナンシャル・グループ（以下MUFG）の戦略子会社であるJapan Digital Design（以下JDD）でMUFG AI Studio（以下M-AIS）に所属する上野です。

3月11日～15日にかけて神戸で開催されたNLP2024 (言語処理学会第三十回年次大会)に参加してきました。JDDでは参加メンバーそれぞれが興味深かった発表についてまとめています。

本記事

もっとみる

AI Nest

2024年5月28日 22:42

【論文瞬読】アニメキャラクターとの会話を実現！ChatHaruhi: 大規模言語モデルによるキャラクターロールプレイ技術

こんにちは！株式会社AI Nestです。今日は、私がとても興味深いと感じた論文をご紹介したいと思います。タイトルは「ChatHaruhi: 大規模言語モデルを用いたアニメキャラクターの現実での再現」。アニメやマンガのキャラクターと会話ができたら楽しいと思ったことはありませんか？この論文は、その夢に一歩近づくための技術的なアプローチを提案しているのです。

チャットボットがキャラクターになりきる！？

もっとみる

AIサトシ

2024年5月28日 01:08

ローカルLLMの長文推論、メモリ使用量を節約する方法:KVキャッシュの量子化

大規模言語モデル（LLM）において、メモリ使用量の効率化は非常に重要です。特に長文処理を行う場合です。モデルに入力するコンテクストが長くなるほど、メモリ消費量も増加します。

Mistral-7Bは、v0.1では、約4K tokensのSliding window attention(SWA)にて、コンテクスト長に消費されるメモリを低減しました。しかし、性能への影響からと考えますが、v0.2以降の

もっとみる

ナッピー通信

2024年5月27日 10:04

複雑な表をLLMに理解させる

はじめにGPT-4o、Gemeniのマルチモーダルが進化したとXで話題になっています、路線図が読み取れた、もえないごみはダメだとXで話題になっています

地域のごみ収集パンフレットを読み解かせようとするとうまくいかない

路線図の方はLLMの学習時に情報を持っていて、与えられた画像が路線図だと認識した可能性が高そうです。もえないごみの収集のようにLLMには未学習の内容を答えさせるにはどうしたら良い

もっとみる

株式会社IZAI（イザイ）｜技術ブログ

2024年5月27日 00:15

パラメータ効率が圧倒的に高いLLM学習手法ReFT（Representation Finetuning）を試してみた。

こんにちは！株式会社IZAI、エンジニアチームです。
今回は従来のLLMファインチューニング手法よりも10~50倍効率的とされているReFT(Representation Finetuning)を試してみます。
現論文はこちら

1. ReFTとはファインチューニング

ReFTとはRepresentation Finetuningの名前の通りファインチューニングにおける学習法です。今回紹介する手

もっとみる

223

2024年5月26日 12:48

[論文解説]評価者としてのLLMはバイアスを持っていていて一貫性がない

はじめに昨今、LLMの評価にLLMを用いることが増えています。
そんな中で、評価者としてのLLM（以後、LLM評価者）をバイアスや一貫性という観点から分析を行っている論文を読んだので少しだけブログという形で紹介します。

Large Language Models are Inconsistent and Biased Evaluators

著者

Rickard Stureborg(Gramm

もっとみる

AI Nest

2024年5月13日 17:01

【論文瞬読】驚愕の高速化！LLM推論を加速する新手法「CLLM」とは？

こんにちは！株式会社AI Nestです。
今回は、大規模言語モデル（LLM）の推論効率化に関する最新の研究をご紹介します。その名も「Consistency Large Language Models (CLLM)」。なんと、この革新的な手法は、生成品質を維持しつつ最大3.4倍の高速化を達成しているんです！一体どんな魔法を使っているのか、詳しく見ていきましょう。

CLLMの概要CLLMは、並列デコ

もっとみる

はまち

2024年5月9日 15:33

【論文紹介】複数トークン予測によるLLMの精度向上と高速化

Meta社の研究チーム（Fabian Gloeckle, Badr Youbi Idrissi, Baptiste Rozière, David Lopez-Paz, Gabriel Synnaeve）が発表した論文がXで話題になっていたので、ざっと眺めてみました。理解不足も多々あると思いますので、詳細は原文を参照願います。

複数トークン予測モデルの概要トレーニング：従来のTransformer

もっとみる

Lucas

2024年5月11日 13:29

Fugaku-llm-13BをMacで動かしてみる

昨日プレスリリースが発表された富岳を使った日本製LLMをMacで動かしてみました。

さて、以下からお試しができるようなのですが、登録が単に面倒なため、ローカルで動かしてみました。

まずは、mlx環境で、mlx-lmを使って動かないかを試しました。

mlx_lm.generate --model Fugaku-LLM/Fugaku-LLM-13B-instruct --prompt "以下は、

もっとみる

npaka

2024年5月14日 03:09

GPT-4o の概要

以下の記事が面白かったので、簡単にまとめました。

1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。音声入力にはわずか232ミリ秒 (平均320ミリ秒) で応答できます。これは、人間の会話における応答時間と

もっとみる

田中太郎

2024年5月12日 17:39

GPT4 より性能がいいオープンソースのモデルについて

少し前までは Open AI の GPT4 が支配してた感じがする LLM 界隈も、状況が完全に変わって様々な LLM が跳梁跋扈する戦国時代になっています。

ここではその中でもオープンソースの LLM をメインにして解説してみます

GPT4 よりいいと言われているモデル以下は GPT4 より性能がいいと言われているモデルです(指標によっては同等以上ということです、GPT4 のバージョンによっ

もっとみる

npaka

2024年5月12日 20:50

OpenAI の Model Spec の概要

以下の記事が面白かったので、簡単にまとめました。
Exampleは省略してるので元記事で確認してください。

1. Model Spec の概要1-1. Model Spec の概要

これは「Model Spec」の最初のドラフトであり、OpenAI APIおよびChatGPTでのモデルの望ましい動作を指定する文書です。これには、一連の中核目標と、矛盾する目標や指示に対処する方法に関するガイダン

もっとみる

鈴木いっぺい (Ippei Suzuki)

2024年5月10日 02:37

高度なRAG検索戦略：Auto-Merging Retrieval (自動マージングリトリーバル）

以前、私たちは文章ウィンドウ検索の高度なRAG検索戦略を探求しました。今日は、別の洗練された検索戦略である自動マージングについて詳しく見ていきましょう。文章ウィンドウ検索よりもやや複雑ですが、以下の説明によってその原理を理解するのに役立ちます。また、LlamaIndexを使用して自動マージング検索を構築する方法と、最終的にTrulensを使用してその検索効果を評価し、以前の検索戦略と比較します。

もっとみる

Japan Digital Design, Inc.

2024年5月10日 11:46

LLMを用いた合成データ作成事例をまとめてみたーNLP2024参加報告①

お久しぶりです、三菱UFJフィナンシャル・グループの戦略子会社であるJapan Digital Design（以下JDD）でMUFG AI Studio（以下M-AIS）に所属する蕭喬仁です。
今年はJDDの中期経営計画1年目ということで、新しい取り組みが次々と始まり、期待と繁忙に対する不安に駆られている今日この頃です。

今回は、3月11日から3月15日にかけて神戸で開催された言語処理学会第三十

もっとみる

フォローしませんか？

2024年5月の記事一覧