LLMの内部理解に役立つTransformer Explainerの紹介

タイトル

TRANSFORMER EXPLAINER: Interactive Learning of Text-Generative Models

リンク

https://arxiv.org/pdf/2408.04619

Transformer Explainer

ひとこと要約

LLMの内部計算を可視化するツールであるTransformer Explainerを開発。

---

メモ

• Transformer Explainerの特徴

  • ブラウザで直接実行可能

  • リアルタイムでGPT-2モデルを操作

  • 複数の抽象化レベルを提供（構造から数学的操作まで）

  • 温度などのパラメータをインタラクティブに調整可能

• Transformer Explainerの詳細機能(2024年8月12月時点)

  • Embeddingの可視化

  • Multi-head Self Attensionの可視化

  • QKVの計算の可視化

  • 最終層の確率計算の可視化

  • 入力文の変更

  • tempertureのスライダー

• Transformer Explainerの技術的実装

  • フロントエンド：SvelteとD3

  • バックエンド：ONNXランタイムとHuggingFaceのTransformersライブラリ