ベンチマークツールをシュッと触ってはいけなかった

はい。こんばんは。

以前 MS さんの PromptBench という論文をシュッと読んだのですが、この当時記載されている GitHub につながらなかったの (　・ω・)

でも今日みたらリポジトリできてたの (/・ω・)/

じゃあ遊ぶしかねぇよなぁ？(　ﾟдﾟ)

というわけでシュッと触ってみた。。。

が、ベンチマークはシュッと終わらないのであった。

以降、自分の備忘として残しけり、、、

README にふわっとベンチ実行する手順があったので実行

環境は Google Colab

!git clone https://github.com/microsoft/promptbench.git

%cd './promptbench'

!conda env create -f ./environment.yml

がしかし動かなんだので

!pip install -q condacolab
import condacolab
condacolab.install()

んで README に書いてあるコマンドをバチコン

!python main.py --model google/flan-t5-large --dataset mnli --attack textfooler --shot 0 --generate_len 20

繰り返されるエラーの波

ので、以下実施

config.py に書かれてる transformers を最新バージョンに指定

!pip install tensorflow tensorflow_hub lru-dict datasets openai torch textattack

inference.py の 以下を使わないからコメントアウト
# self.openai_config = args.openai_config

で、再度コマンド実行

（ ﾟ ρ ﾟ )ﾎﾞｰｰｰｰ

（ ﾟ ρ ﾟ )ﾎﾞｰｰｰｰ

（ ﾟ ρ ﾟ )ﾎﾞｰｰｰｰ

（ ﾟ ρ ﾟ )ﾎﾞｰｰｰｰ

（ ﾟ ρ ﾟ )ﾎﾞｰｰｰｰ

そして時は過ぎ、５時間が経過した。

終わらぬ。。。

Google Colab のクレジットをゴリゴリ削っていくのでここで強制終了。。。

一応 Model と Dataset は自前のやつ定義できるっぽくて rinna を読み込むまではいけた

ただ、上手くベンチが回らなかったので README に書いている注意事項の他に inference.py の pred_by_generation の中身にも自前モデル用の処理を追加する必要がありそう。

果たしてこれだけ時間がかかったのは何かのバグなのか？

はたまた正常な動作でこういうものなのか？
（ログ眺めてる感じ特にエラーはでてなかったので正常な気はする。。。）

しかし、それを調査する気にはなれなかったのである。。。

皆の者、心して聞くのじゃ。

ベンチマークツールは決してシュッと叩いてはならぬ。。。

おしまい。