LLMを自作してみた
Google Colabで実行できるLLMを作ってみました(筆者はGoogle Colab Pro+を使用)。
こちらの動画のコードを参考にしました。元のコードは文字列から次の文字を生成するというものでしたので、単語の並びから単語を予測するように修正しています。
また、Google Colabで使えるようにして、GPUにも対応させました。Claude先生に聞きながら完成させたのがこちらです↓
データセットは元のコードにあるシェークスピアにリンクさせていますが、データセットを変えることで色々なモデルが出来ると思います。
コードは.pyにしたけど、.ipynbのままで良かったのかもしれない。
この記事が気に入ったらサポートをしてみませんか?