小規模言語モデル(SLM)について
Twitterで小規模言語モデル(以下、SLM)に関する興味深い投稿を見かけたので、その内容を要約してメモしました。
SLMはざっくり纏めると、高品質なテキストとコードのデータセットでトレーニングさせる事で大規模言語モデル(LLM)のような膨大な学習データや、計算資源がなくても実行出来るメリットがあります。
現状、市場に出ているCopilot+ PC見てると計算能力が少ないAIには興味薄ですが(GPU積んでるマシンで自分で色々した方が早い)、中長期的にはSLM(Small