CUDA+cuDNN+PyTorch+xformersのバージョンを上げてみました

　タイトルの通り、CUDA 12.4、cuDNN 9.2.1、PyTorch 2.4.0、xformers0.0.28にバージョンアップさせてみました。

　8月に入るまでに一度、挑戦したのですが互換性の問題からか？インストールに失敗していて、その時はCUDA12.1にしたら、pytorch2.4.0とxformers0.0.28でもエラーなくインストール出来たのでそのままにしていました。
　8月に入って、やっぱりCUDAバージョン上げてみて、生成速度が変わるかなーと確かめてみたい気持ちが出てきたので再挑戦。
　
　なぜか、2回目はインストールに成功して、comfyui起動時に問題なくpytorch240+cu12.4が表示され、xformers0.0.28が読み込まれたので安心しました。
　しかも、個人的な趣味画像の生成なので、「スピード上がった」とか言ってるけどそれって実際どうなの？って話で申し訳ないのですが、RTX 4060tiで704×1208サイズで人物画+全身像+リアリティを求めた画像をlcm sdxl lora vae等を使って、20step、バッチ回数10だとすると、インストール前だと１枚約8秒でしたが、インストール後は約4秒になったので非常に満足しています。
　
　その代わりにflash attentionがcuda12.4とpytorch 2.4.0に未対応なのか？生成時に効かなくなってしまいました。再インストールにも失敗してしまいました。次はこれを何とかしたい所です。