Air Street Capital社のState Of AI Report 2023を読む（3）

Air Street Capital社が2023年10月に発表したレポートの内容を1ページずつ読み込んできます。
今日はその第3回。
OpenAIが2022年末から大きな話題になってから、オープンソース系のLLM（大規模言語モデル）に注目が集まり始めました。いうまでもなく、オープンソースであることから独自のデータでカスタマイゼーションが出来ること、 コミュニティによって支えられてること、そして何よりも無償で使う事ができる事が大きなメリットとして評価されてます。
当初は、オープンソースLLMは商用には使えない、という制限もありましたが、今ではその制限もなく、広く商業的なソリューションで採用されています。
オープンソースLLMの流れの最初は、Meta社の発表したLlama-1で、これに引き続き様々な団体がリリースしてます。
代表的なのは、MosaicMLのMPT-306、UAEのFalcon-40B(今は180Bが発表されてる）、Together社のRedPajama、Eleuther社のPythia、Mistral社のMistral 7Bなどです。
これを追って、Meta社はLlama-2 70Bを発表し、商用での使用を許可すると共に、トレーニング済みのトークン数を40％増やし（合計2兆個）、RLHFを採用し人間によるフィードバックでより高度で質の高い回答を引き出すためのトレーニングも可能になりました。
これにより、OpenAPI社のChat-GPTの能力に匹敵するオープンソースのLLMが登場し、ダウンロード数も2023年9月の時点で320億回に上ってます。
Llama-2はひとつだけ、Chat-GPTに負けているタスクがあり、それが自動コーディング機能です。（別ツールとして、（Code LLaMaというものがあります）
これらのオープンソース系のLLMはHugging Faceのサイトでダウンロード可能で、このサイトにおいては技術に関する説明や使用環境条件などの情報が得られます。