LLMニュースまとめ[2024年8月19日~8月25日]

2024年8月19日~8月25日のLLM関連のニュースとして有名なもの、個人的に刺さったもの12点を以下にまとめる。

1. Automate Design of Agentic Systems

「Meta Agent Search（メタエージェント検索）」という新しい手法を提案。メタエージェントは、過去の発見を蓄積したアーカイブを基に、新しいエージェントを作成&テストすることで、プロンプト、ツールの使用、制御フローなど、あらゆる種類のエージェントシステムを学習することが可能。

メタエージェントは検索空間（エージェント定義）、検索アルゴリズム（検索空間の探索）、評価関数（候補エージェントの評価）が主な構成要素。

https://arxiv.org/abs/2408.08435

Automated Design of Agentic Systems

2. Survey: Language Modeling on Tabular Data

表形式データに対する言語モデリング技術の包括的なサーベイ。

- 表データ構造とデータタイプの分類
- モデルのトレーニングと評価に使用されるデータセット
- モデリング技法とトレーニング目的
- データ処理方法
- アーキテクチャ
- 課題と今後の研究の方向性

Language Modeling on Tabular Data: A Survey of Foundations, Techniques and Evolution

3. Enhancing Robustness in LLMs

文脈から無関係な情報を特定し、「プロンプトで除外」することで、LLMの堅牢性を高めることができることを発見。

Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information

4. GraphRAG Survey

GraphRAGの技術や応用のサーベイ。
graph-based indexing, graph-guided retrieval, graph-enhanced generationなど

Graph Retrieval-Augmented Generation: A Survey

5. MagicDec

speculative decodingにおいて、シーケンス（文章や入力データ）の長さが増加するまたはバッチサイズが大きくなるにつれ、システムのボトルネックが計算能力から、メモリ容量へと移行することを発見。

これらの知見を応用することで、大きなバッチサイズおよび、より長いシーケンスに対してspeculative decodingをより効果的に使用することが可能。

MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding

6. Survey: Controllable Text Generation for LLMs

LLMの出力生成における様々な観点(安全性、一貫性、スタイル、有用性)での制御に関するサーベイ。

Controllable Text Generation for Large Language Models: A Survey

7. PEDAL

多様な例示を使用して複数の候補回答を生成し、LLMで集約することで最終的な回答を生成するPEDALを提案。

https://arxiv.org/pdf/2408.08869

PEDAL: Enhancing Greedy Decoding with Large Language Models using Diverse Exemplars

8. Report: Challenges and Responses in the Practice of LLMs

質問と回答を集めたレポート。質問はインフラ、ソフトウェア・アーキテクチャ、データ、アプリケーション、脳科学などのトピックに分類。

Challenges and Responses in the Practice of Large Language Models

9. Authorship Attribution in the Era of LLMs

著者特定に関するサーベイ論文。

人間が書いた文章の著者特定、LLMが生成した文章の検出、LLMが生成した文章の「著者」（どのLLMか）の特定、そして人間とLLMが共同で作成した文章の分析など、著者特定に関する問題とその解決策についてまとめられている。

Authorship Attribution in the Era of LLMs: Problems, Methodologies, and Challenges

10. Otter

既存の LLM アーキテクチャを大きく変更することなく、その出力を改善するためにパラメーターを挿入する手法Otter（Non-disruptive parameters insertion)を提案

https://arxiv.org/abs/2408.10764

Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model

11. FocusLLM

FocusLLMは、LLMのコンテキスト長を拡張するためのフレームワークであるFocusLLMを提案。
FocusLLMでは、長い入力テキストを、モデルの元の文脈長に基づいてチャンクに分割し、文脈をプロンプトとして付加し、並列でデコーディングして統合する手法である。

https://arxiv.org/abs/2408.11745

FocusLLM: Scaling LLM's Context by Parallel Decoding

12. Controllable Text Generation for LLM

LLMの出力制御のサーベイ論文。
有用性、流暢性、多様性の高い基準を維持しながらも安全性、感情、テーマの一貫性等を制御をするために必要な技術や課題が述べられている。

Controllable Text Generation for Large Language Models: A Survey

---

その他: LLMには関連しないもの

Vizier Gaussian Process Bandit Algorithm

Googleの開発チームがブラックボックス最適化システムであるVizierを開発。
高次元の問題、カテゴリカルパラメータ、バッチ処理、多目的最適化など、さまざまな複雑なシナリオに対応で、他比較手法(x/BoTorch、HEBO、Optuna、HyperOpt、SkOpt)よりも高精度。

The Vizier Gaussian Process Bandit Algorithm