新たな進化を遂げたAI、MetaのLlama 3の発表

Meta社が最新の大規模言語モデル、Llama 3を発表しました！この新モデルは、AI技術のアクセスをより開放的にするMetaの継続的なコミットメントの一環として、大規模言語モデルを含む自然言語処理最大手のHugging Faceのエコシステムに完全に統合されてリリースされます。

Llama 3は、消費者向けGPUでの効率的な展開と開発を可能にする8Bバージョンと、大規模AIアプリケーション向けの70Bバージョンの二つのサイズで提供されます。それぞれのモデルは基本モデルとインストラクションチューンモデルがあります。この新バージョンでは、Llama Guard 2も同時にリリースされ、さらに安全性が強化されています。

Llama 3の新機能

• 8Kトークンのコンテキスト長を持つ、8Bおよび70Bの2種類のモデル

• 新しいトークナイザーを使用し、より効率的なテキストエンコーディングを実現

• より多くのデータを用いたトレーニングにより、パフォーマンスが向上

Llama 3は、その柔軟なライセンス条項により、再配布やファインチューニング、派生作品の作成が可能です。これにより、開発者や研究者にとってさらにアクセスしやすくなりました。

デモ

Meta Llama 3 70B instructモデルとの対話が可能です！こちらで体験できます：Hugging Chat

🔒 Llama Guard 2: 安全性を重視した新たな取り組み

Meta Llama Guard 2は、新しいLlama 3モデルを基にした8BパラメータのLLMセーフガードモデルです。Llama Guardと同様に、LLMの入力（プロンプト分類）および出力（レスポンス分類）のコンテンツを分類するために使用されます。このモデルは、与えられたプロンプトやレスポンスが安全かどうかを判断し、安全でない場合は違反しているコンテンツのカテゴリーを指摘するテキストを生成します。これにより、AIが生成する内容の安全性を大幅に向上させることが可能となり、より信頼性の高いAIアプリケーションの実現に貢献します。

Llama Guard 2は、特に製品用途におけるリスクタクソノミーで考慮されるべき不適切なコンテンツを検出することに特化しています。これにより、開発者や企業はユーザーにとって安全かつ快適なデジタル環境を提供することができます。

利用・デプロイメント

• Hugging Face🤗 TransformersやHugging Chat

• Google Cloud、Azure MLやAmazon SageMakerを含むクラウドプラットフォーム上でのデプロイメントが可能

• Hugging Face🤗 TRLを使用したシングルGPUでのファインチューニング