何かと話題の「LLMをたくさん用意して組み合わせる系」の研究。
Mixture of Experts（MoE）に続き。
AlpacaEval2.0ベンチマークでGPT-4にオープンソースの組み合わせで勝利したとか何とか。https://github.com/togethercomputer/MoA
論文：https://arxiv.org/abs/2406.04692, Together AI
概要論文中の図です。
実装異なるLLM（共通していても可）の出力をつなげな
まずはこちらのブログの再現を試みる.
環境はUbuntu, GPUは80GB VRAMのNVIDIA A100x4台(全ては使ってない)
学習（18時間程度）学習データはfairseqのwikiText-103.
2023-10-02 05:22:01 | INFO | fairseq_cli.train | done training in 65489.0 secondsEnd Time: 1696224124.1143923Training time in seco
