【Windows】UnityのMLAgentsを利用するための環境構築

目的

MLAgentsではUnityで強化学習を行うことができます。これによってUnityの上で歩行シミュレーションができたりします。
Windowsでの設定に少してこずったのでここにメモしておきます。

環境構築の手順

①Unityプロジェクトを作成
②Githubから必要なフォルダをコピーStep1
ml-agents_2.2.1
・config
・ml-agents
・ml-agents-envs
上記をUnityのルートにコピー
③Githubから必要なフォルダをコピーStep2
Project＞Assets＞ML-Agents
上記フォルダをUnityのAssetsの中にコピー
④Unity上でPackageManagerでML Agentsのパッケージインストール
Add package from disk...を選択

【GPUを使う場合】事前設定

・以下よりCUDAをインストール
https://developer.nvidia.com/cuda-toolkit-archive
・その後の手順は以下を参考に進める

PyTorch-CUDA+cuDNN環境構築 on Windows 11 - Qiita

パッケージをインストール

CPUを使うかGPUを使うかで以下どちらかの手順を踏む

●CPUを使う場合
python -m venv venv
venv\scripts\activate
python -m pip install --upgrade pip
pip install mlagents
pip3 install torch torchvision torchaudio
pip install protobuf==3.20.3
pip3 install onnx

●GPUを使う場合
python -m venv venv
venv\scripts\activate
python -m pip install --upgrade pip
(MLagentsと相性の良いTensorflow)pip install tensorflow==2.7.0
pip install mlagents
(CUDAを動かすためのPytorch)pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113
pip install protobuf==3.20.3
pip3 install onnx

学習開始

●CPUを使う場合 
mlagents-learn ./config/ppo/Walker.yaml --run-id=Walker_v2 

●GPUを使う場合 
mlagents-learn ./config/sac/Walker.yaml --run-id=Walker_sac_v3 --torch-device cuda

TensorBoardで可視化

tensorboard --logdir=./results