自作LLＭ用のデータセット

自作LLMを作るときに重要なのはデータセットです。「RedPajama」は商用利用も可能で1兆2000億トークンのデータセットになっており、GPT-4と同等の性能が出せるようです。

togethercomputer/RedPajama-Data-1T · Datasets at Hugging Face

データ量が5TB程度なので、Google Driveを10TBまで増やしました。Google Drive (Google One）の利用料金は以下のようになっています。

10 TB　￥6,500（月額）
20 TB　￥13,000（月額）
30 TB　￥19,500（月額）

クラウド ストレージのアップグレードのプランと料金 - Google One

10TBから20TBで一挙に値段がアップするので、10TBのプランにしました。これでRedPajamaを使った自作LLMに着手できそうです。