Llama 2研究（1） : 概要と公式リソースのまとめ

Llama 2の登場でLLM三国志が始まりました。

このシリーズではMetaのLlama 2（呉）を皆様と一緒に研究していきたいと思います。最後までお付き合いいただければ幸いです。

第一回では概要と公式リソースを確認していきます。

名称について

正式名称は「Llama 2」です。Llama2でもllama2でもありません（自分も最初はLlama2って書いてました。。）。

✴︎✴︎✴︎

概要

—モデルの特性と性能

1. Meta社が発表したLlama 2は研究および商用利用が可能な大規模言語モデルです。

2. Llama 2には、パラメータ数が70億、130億、700億の3つのバリエーションがあります。

3. Llama 2には、ChatGPTのようなチャットボット作成に役立つバージョンがあります（Llama-2-Chat）。

4. Llama 2は、2兆トークンの大規模な訓練データセットで事前学習されています。

5. Llama 2は、他のオープンソースモデルと比較して最高のパフォーマンスと精度を提供します。

—ライセンスと利用条件

6. Llama 2は、使用、複製、配布、複写、派生物作成、改変を許可するライセンスが付随しています。

—パートナーシップと利用プラットフォーム

7. マイクロソフトはLlama 2の優先パートナーで、Azure AIのモデルカタログで利用可能です。

8. Llama 2はWindows上でローカルで実行可能で、WSL（Windows Subsystem for Linux）とGPUを使用したファインチューニングも可能です。

9. Llama 2はAWSでも利用可能で、Amazon SageMaker Jumpstartを使ってデプロイできます。

10. クアルコムは2024年初頭にSnapdragon搭載デバイスにLlama 2を提供する予定です。

公式リソース

◯ Introducing Llama 2
https://ai.meta.com/llama/

こちらがプロジェクトページになります。
わかりやすい概要や各種リソースへのリンクがまとまっています。Llama 2でGoogle検索をかけても最初に出てこないのがつらいところです。

◯ Llama 2: open source, free for research and commercial use
https://ai.meta.com/resources/models-and-libraries/llama/

Meta AIの発表ページです。ランディングページとほぼ同じ内容ですがダウンロードできるパッケージの内容↓が書かれています。

Model code
Model Weights
README (User Guide)
Responsible Use Guide
License
Acceptable Use Policy
Model Card

◯ Paper（論文）
https://arxiv.org/abs/2302.13971

Llama 2の論文です。こちらはこのシリーズで読み解いていきたいと思います。

◯ Model Card
https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md

モデルカードはLLMの特長を一定のフォーマットにしたがって記したものです。

◯ CPP
https://github.com/ggerganov/llama.cpp

CPPはC言語で記述されたLLMのランタイムで、GPUを使わずにPC上で起動することができます。

◯ アクセスリクエスト
https://ai.meta.com/resources/models-and-libraries/llama-downloads/

Llama 2をダウンロードしたい方はこのフォームから申し込む必要があります。

◯ Statement of Support for Meta’s Open Approach to Today’s AI
https://about.fb.com/news/2023/07/llama-2-statement-of-support/

Metaのオープンなアプローチを支持する人たちのリストです。錚々たる面々が並んでいます。

✴︎✴︎✴︎

以上がまとめになります。次回はモデルカードを読み解いていきます。

100% written by Human