AI ニュース for Engineers and Researchers 2023.01.07 -AM
MicrosoftがLLM推論のGPU使用効率を向上させる「Splitwise」発表 - マイナビニュース
MicrosoftがLLM推論のGPU使用効率を向上させる「Splitwise」を発表。大規模言語モデルを使用した推論を効率化する方法を解説。特徴はプロンプトフェーズとトークン生成フェーズを分割して配置し、ハードウェアの使用効率を高めること。評価では最大化できることを確認し、具体的な成果は論文にまとめられている。・・・・
【解説】MicrosoftのSplitw