PEZY のスーパーコンピュータは無料で待ち時間なしでも設置目的の研究に使われない

(5月27日追記)

量子色力学シミュレーションについて，理化学研究所から次のプレスリリースが出されました. 

新粒子「ダイオメガ」－スパコン「京」と数理で予言するクォーク6個の新世界－

本研究成果は、素粒子のクォークがどのように組み合わさって物質ができているのかという、現代物理学の根源的問題の解明につながると期待できます。

この研究はこの記事で参照したプレプリント RIKEN-QHP-320 が論文として
採録されたものです．そして海外のニュースサイト Science X network, Sci-News, ScienceDaily でこの研究成果は取り上げられています．

PEZY の Shoubu は量子色力学シミュレーションを目的に設置されたにも関わらず，このように注目される最先端の研究に使われておらず，実用性に欠けています．

（5月27日追記ここまで）

PEZYのスーパーコンピュータ用に量子色力学シミュレーションが開発されたといわれていますが，実際にはPEZYのスーパーコンピュータは量子色力学の研究に使われていないことを示します．

さらに，量子色力学シミュレーションはスーパーコンピュータのアプリケーションというだけでなく，PEZY のスーパーコンピュータ Shoubu が理化学研究所に設置された際の利用目的の重要な研究でもあります．このため，PEZYのスーパーコンピュータが量子色力学シミュレーションに使えなかったということは，設置した目的が果たされなかった（が目的を何か変更して，現在も設置されている）ということです．

まずアプリケーションが開発されているとする日経BP の記事「スパコン開発を粛々と進める」、創業者不在のPEZYグループを引用します．

既にPEZY-SCアーキテクチャー上で上で（原文ママ）開発されたアプリケーションとして、電気通信大学による「猫の小脳のリアルタイムシミュレーション」のほか、量子色力学シミュレーション、量子モンテカルロをはじめとした組み合わせ最適化問題のソルバーなどがある。

しかし実際は次の通りです．
1. 量子色力学シミュレーションは [A+16] 発表時点で開発未完了と思われる. その後実際に使えるようになっているか不明.
2. 理化学研究所における量子色力学の論文に PEZY のスーパーコンピュータは使われていない.
3. 開発した研究者も自分の研究にはPEZYのスーパーコンピュータを使っていない. 

その説明の前に，量子色力学シミュレーションは理化学研究所に PEZY のスーパーコンピュータ Shoubu が設置されたときの目的のアプリケーションであった証拠を示します．

理化学研究所に Shoubu を設置したときの目的としての量子色力学シミュレーション

「x86だけではつまらない」、理研が「Shoubu」を推す理由から引用します（閲覧には登録が必要です）．引用中で説明されている，姫野龍太郎 情報基盤センター長は，現在平成29年度高性能汎用計算機高度利用事業費補助金:
ヘテロジニアス・メニーコア計算機による大規模計算科学の研究代表者でもあります．（引用中の強調は引用者による．）

——今後のスケジュールは。
姫野（龍太郎 理化学研究所 情報基盤センター長）　2016年3月までをメドにPEZYグループと共同研究を進める。実際のアプリケーションを動かしたときに、どれくらいの性能が出るのか、運用時の電力はどれくらいなのかを調べる。理研側はアプリケーションを実装していく。GPUをアクセラレーターに使って高速化したコードを改変することが前提だ。主に分子動力学（MD）や量子色力学（QCD）のアプリケーションを実装していく計画だ。QCDはKEKと協力してやる。これらがちゃんと動けば、理研の中の結構な比率の利用者をカバーできる。
（略）
——現在はソフトウエアが少なすぎるのでは。
姫野　（略）情報基盤センターに2015年4月に導入した「HOKUSAI GreatWave」は既に稼働率が90％に達していて、自分が使えるのを待っている研究者も多い。そこに、全く使われていない高性能のコンピューターがあるわけだから、自分でソフトを書いてでも使いたい研究者はいると思う。実際、天文系の研究者からそういった申し出もある。

実際は後で示すように，理化学研究所の量子色力学研究に Shoubu が使われた例は見つかりませんでした．PEZY に関して [A+16] 以外に量子色力学の論文があれば（[A+16] は量子色力学ではなく数値計算の実装の論文ですが）言及されているはずなので，おそらくないのでしょう．

量子色力学シミュレーションを PEZY-SC で動かしたと思われている報告 [A+16] は高エネルギー加速器研究機構 (KEK) の Suiren を使ったため，Shoubu は [A+16] にも使われていません．

1. 量子色力学シミュレーションを PEZY-SC で動かしたと思われている報告は開発未完了

[A+16] の abstract から引用します．

We offload an iterative solver of a linear equation for a fermion matrix,
which is in general the most time consuming part of the lattice QCD simulations

[A+16] は格子量子色力学のシミュレーションで一番時間のかかる線形式ソルバー (BiCGStab) を移植したとあり，量子色力学シミュレーションそのものの結果は示されていません．計算機実験で示されているのは，行列の乗算とそのソルバーの実行のみです．これらの実験結果だけで，量子色力学シミュレーション全体が PEZY のスーパーコンピュータで出来ているとするには [A+16] の説明は不十分です．

そして [A+16] の最後から引用します．

For multiple-device setup which is indispensable for productive researches, the bottleneck of performance turns to be the data transfer between the host and the device, and between host MPI ranks.

「（線形式ソルバーの）性能のボトルネックはデータ転送にある」と指摘しています．データ転送の性能は HPL ベンチマークでは現れにくく，HPL ベンチマークでは成績の出る PEZY のスーパーコンピュータがこの問題を扱うのに向いていないことを示しています．

この論文の後で量子色力学シミュレーション全体ができるようになった可能性がないとはいえませんが，PEZY のスーパーコンピュータは研究に使われていないことを，次に示します．

2. PEZY のプロセッサを使った量子色力学の論文が理化学研究所では見つからない

量子色力学研究について，理化学研究所はプレプリントサーバを設置しています．そこに登録されている（[A+16] より後となる）2017年1月から現在（2018年5月）までの論文のうち，量子色力学に関するものでスーパーコンピュータを利用していたのは次の15本でした．

RIKEN-QHP-296, （以下番号のみ） 297, 298, 299, 320, 335, 336, 337, 338, 340, 341, 343, 345, 365, 370.

これらの論文でシミュレーションに使われたスーパーコンピュータは次の通りです．ただし，1本の論文で複数使われているときはそれぞれ1つと数え，
HOKUSAI GreatWave, HOKUSAI Big Waterfall は HOKUSAI FX100 にまとめました．

11回 京コンピュータ（理化学研究所），HA-PACS（筑波大学）
10回 HOKUSAI FX100（理化学研究所）
3回 IBM BlueGene（高エネルギー加速器研究機構）
1回 Cray XC40（京都大学），FX10（東京大学）
Shoubu をはじめとする PEZY のスーパーコンピュータは一度も使われていません．

前の引用で「HOKUSAI GreatWaveは既に稼働率が90％に達していて、自分が使えるのを待っている研究者も多い。」とありましたが，実際の研究者は，待たずに Shoubu を使うよりも，待つ不便があっても HOKUSAI を使うことを選びました．それだけ Shoubu が実用性に欠けるということです．引用では「自分でプログラムを書いてでも使いたいはず」とありましたが，特別な環境を強いられる PEZY プロセッサ用のプログラミングが困難だったり，プログラムを作り直すことに見合う計算性能が得られなかったりすれば，プログラムを書いても使いたいと思う研究者はごくまれでしょう．

最も多く使われたスーパーコンピュータについて，HA-PACS (Rmax = 421.6 TFLOPS, Rpeak = 778.1 TFLOPS) は，HPL ベンチマークにおいて Shoubu より小規模なスーパーコンピュータであり，京コンピュータは利用料金がかかります．PEZYのスーパーコンピュータは無料で待ち時間がなく必要な計算規模があっても研究者は使わず，結果が得られるまで待たされたり料金が掛かるという不便があっても他のスーパーコンピュータを使うことがわかります．研究者にとって，PEZY のスーパーコンピュータがどれだけ使いたくないものであるか，はっきりと実証しています．

また，論文の多くが 96^3x96 の格子でシミュレーションしていました．これは [A+16] で示された PEZY のプロセッサによる 32^3x64 の格子（10年前程度の規模に相当）よりも40倍ほど規模が異なり，論文に示されたシミュレーションに必要な計算コストを PEZY のプロセッサで扱えるか不明です（計算コストには格子の間隔 a も関わりますが [A+16] に説明がないので，この記事では考慮していません）．

3. [A+16] の筆頭著者は自分の研究に PEZY スーパーコンピュータを使わない

[A+16] で量子色力学シミュレーションが未完成であっても，PEZY のスーパーコンピュータに実用性があれば，ほかの研究で使われる可能性があります．

しかし，PEZY のスーパーコンピュータを使った経験のある [A+16] の筆頭著者がかかわる研究論文 [A+17a], [A+17b] では，名古屋大学や九州大学のスーパーコンピュータは使われていますが，PEZY のコンピュータは使われていません．この事実からも，無料で待たずに使える状態であっても使われないPEZY のスーパーコンピュータには，その実用性に大きな疑問が残ります．

まとめ

量子色力学シミュレーションは，Shoubu が理化学研究所に導入されたときの目的のアプリケーションだったにもかかわらず，開発が終了したかどうか不明で，実際の研究で使われた形跡が見つかりませんでした．これらから，Shoubu をはじめとする PEZY のスーパーコンピュータは量子色力学シミュレーションを扱えない，とみなすことに一定の妥当性があります．そして，冒頭に引用した記事で，PEZY-SCアーキテクチャー上のアプリケーションとして量子色力学シミュレーションを挙げた根拠を，記事を書いた方は示す必要があると思います．

姫野龍太郎 理化学研究所 情報基盤センター長（ヘテロジニアス・メニーコア計算機による大規模計算科学 研究代表者）のコメントを再度引用します．

主に分子動力学（MD）や量子色力学（QCD）のアプリケーションを実装していく計画だ。QCDはKEKと協力してやる。これらがちゃんと動けば、理研の中の結構な比率の利用者をカバーできる。

実際は，理化学研究所の量子色力学研究者（スーパーコンピュータ利用者）は Shoubu の導入によりカバーされることはありませんでした．その原因は，量子色力学シミュレーションを扱えるような実用性が Shoubu に欠けていたからで，PEZY のスーパーコンピュータの実用性に大きな疑問符が付きます．

現在では，PEZY のスーパーコンピュータに関する研究補助金
平成29年度高性能汎用計算機高度利用事業費補助金:
ヘテロジニアス・メニーコア計算機による大規模計算科学
において，量子色力学シミュレーションは対象から外れています．このことも Shoubu （をはじめとする PEZY のスーパーコンピュータ）が量子色力学シミュレーションを扱えない，とする理由の一つです（引用に示された2016年3月までの期間を過ぎるまで何も結果は示されませんでしたが，分子動力学はこの補助金の対象研究に入っています）．

一般のスーパーコンピュータが扱う実アプリケーションを，PEZY のプロセッサからなるコンピュータは扱えないことが，量子色力学シミュレーションからわかりました．これは PEZY のコンピュータである Shoubu, Gyoukou などが実アプリケーションと相関関係の低い HPL ベンチマークだけの成績を出していることと整合性があります．

この整合性から，PEZY のプロセッサからなるコンピュータは，様々な問題を扱える汎用のスーパーコンピュータと呼ばれるものではなく，HPL ベンチマークと相関のある一部分の問題だけを扱う準専用コンピュータとして区別する方が誤解を招かなくなるように思います．

参考文献

[A+16] T. Aoyama et al. (2016) First application of lattice QCD to Pezy-SC processor. Procedia Computer Science, Volume 80, pp. 1418-1142.
[A+17a] Y. Aoki et al. (2017) Flavor-singlet spectrum in multi-flavor QCD.
https://arxiv.org/abs/1710.06549
[A+17b] T. Aoyama et al. (2017) Revised and Improved Value of the QED Tenth-Order Electron Anomalous Magnetic Moment. https://arxiv.org/abs/1712.06060