マガジンのカバー画像

AI

62
運営しているクリエイター

#機械学習

【論文】自己適応型LLMの新時代『Self-adaptive LLMs』

【論文】自己適応型LLMの新時代『Self-adaptive LLMs』

カテゴリ:AI・機械学習
読む時間:約5分

以下の論文が気になったので簡単にまとめてみました

概要大規模言語モデル(LLM)は、多様なタスクに適応するための新たなアプローチとして「自己適応型」技術を取り入れています。本記事では、自己適応型LLMの概念、課題、そして最新の手法であるTransformer²とSVFについて解説します。

内容自己適応型LLMとは?

従来のLLMは、一度学習した後

もっとみる
【論文】モデル窃盗攻撃『TPUXtract』

【論文】モデル窃盗攻撃『TPUXtract』

カテゴリ:テクノロジー・モデル
読む時間:約5分

以下の論文が気になったので簡単にまとめてみました

概要Google Edge TPUは、機械学習モデルの推論を高速化するための専用ハードウェアですが、そのセキュリティリスクは十分に研究されていません。本研究では、TPUXtractという新たなフレームワークを用いて、Edge TPUに対する初のハイパーパラメータ抽出攻撃を実証しました。特に、本手

もっとみる
Qwen2.5-Maxとは?大規模MoEモデルの進化と可能性

Qwen2.5-Maxとは?大規模MoEモデルの進化と可能性

カテゴリ:LLM・AI・テクノロジー
読む時間:約5分

以下の記事が気になったので簡単にまとめてみました

概要Alibaba Cloudが開発した最新の大規模Mixture-of-Experts(MoE)モデル**「Qwen2.5-Max」が公開されました。本モデルは20兆以上のトークン**を使って事前学習され、教師あり微調整(SFT)と人間のフィードバックによる強化学習(RLHF)を経ていま

もっとみる
【論文】リップシンクのためのオーディオ調整潜在拡散モデル

【論文】リップシンクのためのオーディオ調整潜在拡散モデル

カテゴリ:テクノロジー・リップシンク・AI
読む時間:約5分

以下の論文が気になったので簡単にまとめてみました

概要音声と映像の自然な同期は、アニメーションや映像編集において重要な課題です。本記事では、新たなリップシンク技術「LatentSync」について解説します。従来手法との違いや、生成技術の革新点、実験結果などを詳しく見ていきます。

内容LatentSyncとは?

LatentSyn

もっとみる
目的に合ったAIモデルを探せるツール「Lumigator」

目的に合ったAIモデルを探せるツール「Lumigator」

カテゴリ:AI・テクノロジー
読む時間:約5分

以下の記事が気になったので簡単にまとめてみました

概要Mozilla.aiが、開発者がAIモデルを容易に評価・比較できるツール「Lumigator」をリリースしました。これにより、機械学習の専門知識がなくても、適切なAIモデルを選択することが可能になります。

内容背景情報

AIの急速な進化に伴い、多数の言語モデルが登場しています。しかし、特定

もっとみる
【論文】次世代化学合成支援AI「GDiffRetro」の革新

【論文】次世代化学合成支援AI「GDiffRetro」の革新

カテゴリ:テクノロジ・科学
読む時間:約5分

以下の論文が気になったので簡単にまとめてみました

概要GDiffRetroは、分子の合成経路を予測するための最先端のモデルです。本研究は、デュアルグラフを活用した分子表現と拡散生成モデルを統合することで、化学研究における効率的で正確な合成経路の推定を可能にします。この記事では、その技術的な背景、主要なメカニズム、そして応用例について解説します。

もっとみる
【論文】ロボットのタスク知識を学習する新手法

【論文】ロボットのタスク知識を学習する新手法

カテゴリ:ロボット・AI・テクノロジー
読む時間:約5分

以下の論文が気になったので簡単にまとめてみました

概要ロボットの自律性が向上する中、人間とロボットの相互作用における信頼性と社会的受容性が重要視されています。これには、タスク仕様を形式的に定義する解釈可能なロボットの認知能力が求められます。しかし、複雑な現実世界のシナリオでは事前知識が不足していることが多いです。
本研究では、ノイズの多

もっとみる
【論文】大規模AIのトレーニングを変える「勾配ウェーブレット変換」

【論文】大規模AIのトレーニングを変える「勾配ウェーブレット変換」

カテゴリ:テクノロジー
読む時間:約5分

以下の論文が気になったので簡単にまとめてみました

概要大規模言語モデル(LLM)のトレーニングでは、膨大なメモリが必要とされ、多くのエンジニアがその制約に直面してきました。これに対処するため、研究者たちは新たな手法「勾配ウェーブレット変換(Gradient Wavelet Transform, GWT)」を提案しました。この技術は、メモリ消費を大幅に削

もっとみる
【論文】大規模言語モデル (LLM) の微調整について

【論文】大規模言語モデル (LLM) の微調整について

カテゴリ:テクノロジー・LLM
読む時間:約5分

以下の論文が気になったので簡単にまとめてみました

概要この論文は、大規模言語モデル(LLM)の微調整に関する包括的なレビューを提供しています。LLMの歴史的進化、さまざまな微調整手法、効率的なパラメータ調整方法、最新の技術、展開と最適化の戦略、そして今後の課題と機会について詳しく解説しています。

内容LLMの歴史的進化

LLMは、従来の自然

もっとみる
【論文】ロボットのタスク知識を学習する新手法

【論文】ロボットのタスク知識を学習する新手法

カテゴリ:テクノロジ
読む時間:約6分

以下の論文が気になったので簡単にまとめてみました

概要ロボットの自律性が向上する中、人間とロボットの相互作用における信頼性と社会的受容性が重要視されています。これには、タスク仕様を形式的に定義する解釈可能なロボットの認知能力が求められます。しかし、複雑な現実世界のシナリオでは事前知識が不足していることが多いです。本研究では、ノイズの多いデータから論理的な

もっとみる
【論文】LLMを活用する『LLM-as-a-judge』とは?

【論文】LLMを活用する『LLM-as-a-judge』とは?

カテゴリ:論文・テクノロジー・LLM
読む時間:約8分

以下の論文が気になったので簡単にまとめてみました
間違えていたら、ご指摘ください

概要人工知能(AI)や自然言語処理(NLP)の分野では、評価や判断が重要な課題となっています。従来の手法では微妙な属性の評価が難しい場合がありましたが、大規模言語モデル(LLM)の進化により、「LLM-as-a-judge」という新たなパラダイムが提案されて

もっとみる
【論文】人物画像生成の新手法

【論文】人物画像生成の新手法

カテゴリ:テクノロジ
読む時間:約5分

以下の論文が気になったので簡単にまとめてみました

概要「Learning Flow Fields in Attention for Controllable Person Image Generation」は、人物画像生成における新たな手法を提案する論文です。従来の方法では、参照画像の細部が失われる問題がありましたが、本研究では注意機構内でフローフィール

もっとみる
【論文】新型LLM: Byte Latent Transformer

【論文】新型LLM: Byte Latent Transformer

カテゴリ:テクノロジー・LLM・AI
読む時間:約5分

以下の論文が気になったので、簡単にまとめてみました
誤りがあるようならご指摘ください

概要Byte Latent Transformer(BLT)は、トークン化を必要としない新しい大規模言語モデル(LLM)アーキテクチャです。BLTは、動的にサイズを変えるパッチを用いてバイトをエンコードし、計算効率とロバスト性を向上させています。これによ

もっとみる
【論文】「ADAMG」パラメータフリーの新時代

【論文】「ADAMG」パラメータフリーの新時代

カテゴリ:深層学習
読む時間:約7分

以下の論文が気になったので簡単にまとめてみました

導入:深層学習の進化と最適化の課題ねえ、みんな!最近、AIってすごいよね!絵を描いたり、文章を書いたり…まるで魔法みたい!でも、その魔法の裏側には、複雑な計算と、それを支える「最適化」という技術があるの知ってた? この魔法をさらに強力にする、すごい技術「ADAMG」が登場したんだ!今回は、このパラメータフリ

もっとみる