MMLU

書いてみる

関連タグ

#LLM (7,213)
#AI (340,700)
#ChatGPT (102,202)
#Gemini (6,015)
#Llama (376)
#ベンチマーク (491)

【論文瞬読】MMLU-Pro: 大規模言語モデルの真の能力を引き出す革新的なベンチマーク

AI Nest
7か月前

AIの知能指数を測る？！ MMLUで明らかになるAIの得意不得意

Yoshito Kamizato@生成AI企業BtoBマーケター
3か月前

MMLUデータセットとは何か: LLMの性能測定

マーケットフィット観測所
8か月前

GPT-4も苦戦!? 最新LLMベンチマーク「MMLU-Pro」についてまとめ

AI情報発信@Shinano Matsumoto
7か月前

Dynamic Memory Compression: Retrofitting LLMs for Accelerated Inference

Ikemen Mas Kot
8か月前

Google、マルチモーダル生成AIモデル「Gemini」リリース

Happyデジタル
1年前

Air Street Capital社のState Of AI Report 2023を読む（4）

鈴木いっぺい (Ippei Suzuki)
1年前

各基盤モデル性能比較（o1, Gemini 2.0 Flash, Claude 3.5 Sonnet, Llama 3.3）

株式会社メイト
2週間前

LLMのキャリブレーション："logprob"の値が高ければ結果を信頼できるのか？

マーケットフィット観測所
7か月前

AIは、何に対して祈るのだろう？おかわり　( What does AI pray for ? Second , )

レコードノイズ(recordnoise)
1年前