見出し画像

Metaが新モデルLlama 3.1 405Bを公開

矢野哲平@耳で学ぶChatGPT

[読了目安: 2分]

AI系ポッドキャスト(耳で学ぶAI)を運営している矢野哲平(@robothink_jp)です。この記事ではMetaが新しく公開したLlama 3.1 405Bについて解説します。

Llama 3.1 405B

以前からリリースが噂されていたMetaの新モデルです。405B = 405ビリオンということで、4050億のパラメータを持つオープンソースのモデルとなります。
オープンソースでありながらGPT-4oやClaude3.5 sonnetに競合する性能を持っていると言われています。
ちなみに、コンテキストウィンドウは1万2,800とGPT-4oと同じですね。
※コンテキストウィンドウは短期記憶のようなもの。多い方が長く会話を記憶できる。
英語を含む8言語をサポートしているのですが、日本語は入っていないため日本語プロンプトでの性能は落ちると思います。

比較

Artificial Analysysによる比較となります。(言語モデルの比較サイトです)

最先端言語モデルに匹敵
ただし生成スピードは遅い
知識や推論
コーディング

試す

オープンソースなのでMetaのサイト、もしくはHugging Faceからダウンロードできます。
すでに準備された環境で試したい場合はPerplexityかGroqかHugging Chatでしょうか。
検索特化の生成AIであるPerplexity PRO版(月額20ドル)ではさっそく新モデルが試せます。Perplexity対応早いな…

もう1つの選択肢のGroqはAI専用チップを開発する企業です。(XのGrokじゃないよ！)
Llamaを無料で試せる環境があります。

ページ右上からモデルの切り替えができます。

ただLlamaが公開されたばかりでアクセスが集中しているため回答を生成できません。しばらく経てば使えるようになると思いますが、2日くらいは厳しいかもしれません。
私が試した時間だとHugging Chatの方が繋がりやすかったです。

ちょっと質問してみました。

簡単な質問では日本語で返してくれますが、少し難しい内容になると英語で返ってきます。ただ、回答内容としては申し分ないと思います。翻訳したものを掲載しますね👇

"あなたはAIの専門家です。コンテキストウインドウについて初心者に分かりやすく説明して"
---
あなたが友人と会話をしているとしよう。 ある話題について話しているとき、友人がさっき話していたことに関連することを口にした。 あなたは前の会話の文脈を頭に入れているので、その意味を理解することができる。

コンテキスト・ウィンドウは、あなたとAIモデルの会話履歴を表示する魔法のウィンドウのようなものです。 AIモデルは、あなたがこれまでに話した内容を記録しておくことで、あなたの質問やリクエストの文脈を理解することができる。

これは、AIモデルがあなたの問い合わせに応答する際に参照できるチャットログのようなものだと考えてください。 コンテキスト・ウィンドウは、モデルの以下の作業を支援します：議論しているトピックやテーマを理解する。
現在のトピックに関連する過去の質問や発言を思い出す
会話の履歴に基づき、より正確で適切な返答をする。

例えば、AIモデルに "フランスの首都は？"と尋ねた後、"その都市の人口は？"と続けると、コンテキスト・ウィンドウは、"その都市 "が前の応答で言及されたパリを指すことをモデルが理解するのを助ける。

要するに、コンテキスト・ウィンドウは、AIモデルが会話の流れを理解し、より情報に基づいた適切な応答を提供するのを助ける記憶補助装置のようなものだ。 💡

その説明は役に立っただろうか？ 🤔

つぶやき

Llama 3.1 405Bが公開されたことで盛り上がってきましたね。とは言え、通常利用している人からすると直接的な影響はあまりないと思います。
GPT-4oやClaude 3.5 sonnet並と言ってもこれらの言語モデルは無料で利用できるわけですから。
しかし、MetaのLlamaをベースに言語モデルを開発している企業はたくさんあります。(日本企業含む)
そういった意味で今後、間接的に様々な影響が出てくると思います。もちろん良い意味で。
Meta社のCEOであるマーク・ザッカーバーグ氏はAIのオープンソース化を強力に推し進めオープンなAIを目指しています。今後の動向に注目したいところです。
マーク・ザッカーバーグ氏がAIに関する展望や想いを話しているインタビュー動画があります。Youtubeの翻訳機能を使えば観れます。

【note読者限定】生成AIのおすすめツールの資料を配布中

  • 生成AIツールは何を使えばいいか分からない

  • もっと業務効率化に貢献するツールを知りたい

  • ChatGPT以外のAIツールを知りたい

こういった声に応えておすすめの生成AIツールを解説する資料を制作しました。もっとAIの情報をキャッチアップしたい人はぜひご覧ください。
👉資料を受け取る

noteでも月に20本ほどAI関連の記事を投稿しています。フォローよろしくお願いします😼

いいなと思ったら応援しよう！

この記事が参加している募集

#AIとやってみた

37,364件