LLM Mistral 7B系のMoEを作って遊ぶ

成果物ツールmergekit

Installationに従って環境を構築しましょう
私はvenvを利用しています

git clone https://github.com/arcee-ai/mergekit.gitcd mergekitpython -m venv venv.\venv\Scripts\activatepip install -e . # install the packa