見出し画像

meta-llama/Llama-3.2-1B-Instruct を試しました。あと、Gensparkで調べました

owlet_notes99.9

MetaがLLMの最新版「Llama 3.2」を2024年9月26日に発表しました。

Llama-3.2-1B-Instruct

HuggingFaceで最初に利用規約を閲覧し、申請する必要があります。

# HuggingFaceへのログイン
!huggingface-cli login
# 会話型推論を実行
import torch
from transformers import pipeline

model_id = "meta-llama/Llama-3.2-1B-Instruct"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
messages = [
    {"role": "system", "content": "あなたは日本語で回答するAIアシスタントです。"},
    {"role": "user", "content": "小型LLMの魅力は？"},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])
Setting `pad_token_id` to `eos_token_id`:128001 for open-end generation.
{'role': 'assistant', 'content': '小型LLM（Language Model LLM）は、通常は大型のLLM（Large Language Model）と比較して小さく、より低コストでより速い計算が可能なLLMの種類です。小型LLMは、複雑な文書を分析し、情報を抽出し、一般的な理解を得るのに役立つことができます。\n\n小型LLMの特徴は、次の点です。\n\n1.  **速さ**: 小型LLMは、通常のLLMよりも速く計算が可能です。これにより、より迅速な分析が可能になります。\n2.  **コスト**: 小型LLMは、通常のLLMよりも低いコストで使用できます。これにより、より廉価なLLMの使用が可能になります。\n3.  **解析力**: 小型LLMは、より強力な解析力を持つLLMと比較して、より効果的です。\n4.  **使用例**: 小型LLMは、さまざまな文書やデータを分析し、一般的な理解を得るのに役立ちます。'}

小型LLM（Language Model LLM）は、通常は大型のLLM（Large Language Model）と比較して小さく、より低コストでより速い計算が可能なLLMの種類です。小型LLMは、複雑な文書を分析し、情報を抽出し、一般的な理解を得るのに役立つことができます。小型LLMの特徴は、次の点です。

1.速さ: 小型LLMは、通常のLLMよりも速く計算が可能です。これにより、より迅速な分析が可能になります。

2. コスト: 小型LLMは、通常のLLMよりも低いコストで使用できます。これにより、より廉価なLLMの使用が可能になります。

3. 解析力: 小型LLMは、より強力な解析力を持つLLMと比較して、より効果的です。

4. 使用例: 小型LLMは、さまざまな文書やデータを分析し、一般的な理解を得るのに役立ちます。

Gensparksで調査

Gensparkで調べました。
以下はGensparkによって生成されるカスタムウェブページ（Sparkpage）の一部です。

Llama 3.2 1Bの概要

モデルアーキテクチャ: Llama 3.2は、最適化されたトランスフォーマーアーキテクチャを使用した自己回帰型言語モデルです。

  • コンテキスト長: 128,000トークンのコンテキスト長をサポートしています。

  • 多言語対応: 英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語を公式にサポートしています。

  • トレーニングデータ: 公開されているオンラインデータから最大9兆トークンを使用して事前学習されています。

  • リリース日: 2024年9月25日にリリースされました。

Llama 3.2 モデルの特徴と違い

Llama 3.2は、1B、3B、11B、90Bの異なるサイズのモデルを提供しています。

  • 1Bと3Bモデルは軽量で、エッジデバイスやモバイルデバイスでの使用に最適化されています。

  • 11Bと90Bモデルは、画像認識をサポートし、高度な視覚的タスクに対応しています。

  • 90Bモデルは、企業レベルのアプリケーションに理想的で、画像キャプションや視覚的質問応答に優れています。

  • 11Bモデルは、コンテンツ作成や会話型AIに適しており、画像に関する推論能力を持っています。


いいなと思ったら応援しよう！