Stockmark-13Bのプチ裏話とPACLIC2023の参加感想

読み物を書くのは久しぶりで緊張しています。高橋です。 本記事はストックマーク アドベントカレンダー 2023の9日目の記事です。(9 日目と言いつつ、13日目に公開しています。) 弊社ではstockmark-13bという130億パラメータのLLMを今年2023年10月27日に公開しました。OpenAIがChatGPTを公開したのが2022年11月30日だったので、約11ヶ月後にやっと弊社でも大きめのモデルを公開できるようになりました。今回のnoteでは、前半にこのstock