小規模言語モデル(SLM)について

Twitterで小規模言語モデル（以下、SLM）に関する興味深い投稿を見かけたので、その内容を要約してメモしました。

SLMはざっくり纏めると、高品質なテキストとコードのデータセットでトレーニングさせる事で大規模言語モデル（LLM）のような膨大な学習データや、計算資源がなくても実行出来るメリットがあります。
現状、市場に出ているCopilot+ PC見てると計算能力が少ないAIには興味薄ですが（GPU積んでるマシンで自分で色々した方が早い）、中長期的にはSLM（Small Language Model）などの技術により、意識せずとも生活の中にAIが溶け込む未来がやってくるのは確実なんだろうなと。

つまり今PCだけで完結する作業は全部AIにとってかわられるくらいのつもりで予測を立てながら、未来で何をすべきか考える必要があるっていう。世知辛い世の中ではあるけど、精一杯やりきっておきたいねという備忘録。

参考）クリエイティブAI講座：小規模言語モデル(SLM)

• 従来、言語処理においては LLM が主流でしたが、近年は SLM への傾向が見られます。

• SLM は LLM よりも小さく、実行に必要な計算能力が少ないため、スマートフォンやラップトップなどのデバイスでの使用に適しています。

• 小さいサイズにもかかわらず、SLM は LLM と同等の性能を実現できます。これは、高品質なテキストとコードのデータセットでトレーニングされているためです。

• SLM の例として、Apple が最近発表した「Apple Intelligence」があります。このモデルはパラメーターが 300 億個しかありませんが、最新の LLM よりもはるかに小さく、ベンチマークでも良好な結果を出しています。

• SLM のもう 1 つの利点は、特定のタスクに合わせてカスタマイズできることです。これにより、さまざまなアプリケーションでの使用に適しています。

• SLM が研究に使用されている例として、子供たちが言語を習得する方法の研究があります。研究者たちは、SLM を使用して、子供が受けるような入力に似た小さなテキスト データセットでモデルをトレーニングしています。これらのモデルがどのように学習するかを研究することで、研究者たちは人間の言語習得の仕組みについての洞察を得ようとしています。

• SLM の開発は初期段階にありますが、コンピューターとの対話方法を根本的に変える可能性を秘めています。将来的には、SLM を搭載したパーソナル AI アシスタントを誰もが持つようになるかもしれません。