くわしい人は知っている．「Top500, Green500 の順位はもうスパコン性能の参考にならない」と順位リスト作成者が言い続けている

追加（2018年11月11日）

タイトルにある「くわしい人は知っている」という表現は，2010年の Thom Dunning 氏の発言 (The Linpack benchmark is one of those interesting phenomena – almost anyone who knows about it will deride its utility.) によるものです．これが Jack Dongarra 氏のインタビューで引用されていたのでタイトルに使いました．Thom Dunning 氏は，スーパーコンピュータを用いた分子モデリングソフトウェア Northwest Chem (NWChem) で知られています．

Top500 の上位関係者による同様の意見を，別の記事「Linpack が計算負荷に対するコンピュータの性能を判定する正しい基準だとは誰も思っていない（ISC'18 Cray 副社長）」にまとめました．「くわしい人は知っている」に疑問がある人は，この記事をご覧ください．

追加ここまで

Top500, Green500 というスーパーコンピュータ（スパコン）の演算性能に関する順位があります．「その順位が高いから PEZY グループは世界トップクラスのスパコンを製造したに違いない」と思っている人が数多くいます．それは明らかな誤解であることをわかっていただくために，この記事を書きました．なぜなら，その順位について一番詳しい，Top500, Green500 の順位リスト作成者が「スパコン性能の参考にならない」と継続的に主張しているからです．

ある科学記者は，世界的に知名度のあるスーパーコンピュータのベンチマークの順位リストである Top500, Green500 の順位を根拠に

ベンチャーながらTOP500で世界4位、省エネ性能の「Green500」でも上位独占という成果を出したPEZYグループ。ただ、創業者の逮捕や拘留の影響でPEZYグループが蓄積してきた技術資産を散逸させるのはあまりにももったいない。PEZYグループの事業や技術資産を生かす方策を探るべきだろう。

と書き（ただし引用元の閲覧には登録が必要），PEZY Computing のスーパーコンピュータ（スパコン）に関する技術は非常に貴重なものだと評しています（その貴重な技術が投資家からはほとんど評価されていないこと，実際に費用を負担して購入した研究機関・大学はないこと，その技術は8年前の研究成果よりも5,000分の1の小規模な問題しか扱っておらず，問題サイズを揃えれば8年前の研究成果より40倍遅いことを別のノートで説明しています）．

しかし，その根拠となる順位リストの作成者 Jack Dongarra 氏自身が，「Top500, Green500 の順位がスパコン性能を計る参考になったのは 1990年代までで，現在はもう参考にならない」とインタビューで語っています．そのインタビューは2015年に行われ，Top500.org のウェブページに掲載されています（詳しくは後でインタビュー（Top500, Green500 の順位の長所と欠点についての質問に対する回答）の要約（と付録にて回答全体の翻訳）を示します）．

このインタビューに基づけば，「世界ランキングを頼りに，Top500, Green500 の順位が世界有数（上位独占）だから PEZY Computing に技術力があり，そのスパコンは高性能である」という主張は根拠を失います．

例えるなら，現在において，一般に広く知られている曲を示す指標として，CD 売り上げ枚数を参照するようなものです．これはかつて適切な指標でした．

[過去（2000年ごろ）] CD が売れた曲 = 一般に広く知られた曲
時代の変化により CD が売れなくなる
販売の工夫（CD に特典を付ける/同一CDを複数種類発売）
→ 売り上げ枚数はキープ．ただし少人数が同一 CD を大量購入する．
[現在] CD が売れた曲 = 大量購入した少人数のみが知る曲 ≠ 一般に知られている曲

しかし残念ながら，このインタビューとは相容れない意見が，上述の科学記者のみならず，スパコン開発者からも示されていて，日本ではそちらが一般的なようです．インタビューに答えたリスト順位作成者の主張が間違っているかどうかは不明ですが，PEZY Computing のスパコン性能を評価するときには，Top500, Green500 の順位は議論の対象から外し，スパコンの技術そのものを評価することが，より良い技術理解につながるのではないでしょうか．

以下では，日本の開発者の意見を引用し，次にインタビューの要点をまとめます．インタビューの引用（日本語訳）は最後の付録で示します．

Top500, Green500 のリストに関するスパコン開発者の意見

日本の著名なスパコン開発者である牧野淳一郎氏，PEZY Computing の開発者である田中英行氏は，Top500, Green500 について次のツイートをしています．

これらの発言から，PEZY Computing がいくつかの研究所に場所を借りて設置しているスパコンは Green500 で上位を占めているので，世界有数の高性能だと信じ，彼らのスパコンが実際に役立つものだという印象を持っている人も多いでしょう．しかしそれは，「Top500, Green500の上位に入ることはスパコンのアプリケーションのごく一部だけで有効な指標であり，ほかの大部分には役立たない」というリスト作成者の主張に反しています．

以下の要約や翻訳に信頼がおけない方は，インタビューの原文を参照していただくと同時に，Top500, Green500 の順位リストが発表された国際会議 SC17 での Jack Dongarra 氏による講演の日本語の報告をご覧ください．

Top500, Green500 の順位リスト作成者 Jack Dongarra 氏のインタビューの要約

Jack Dongarra 氏の2015年11月のインタビュー Top500 について Jack Dongarra が語る: 過去，現在，未来 (Jack Dongarra on TOP500: Past, Present, and Future) において，Top500, Green500 で用いられるスパコン性能の指標である HPL （Linpack 性能の値）に関して述べられていることは次の8点にまとめられます．

(1) HPL とアプリケーションの相関があったのは 1990年代まで.
(2) スパコンにおける現在のアプリケーション（微分方程式で表されるモデル）の大部分の性能に対して，HPL は強い相関をもう持たない．
(3) "HPL について知っている人はほとんどみんなその実用性を冷笑して (deride) いる" という発言を引用している.
(4) HPL は知名度と歴史（過去の蓄積）があるので使われるが，ほとんどみんながその限界を理解している．
(5) 高い HPL 性能を達成するシステムは，実際のアプリケーションに高い性能を示すとは限らない．逆に, HPL を上げるために不必要な構成要素や複雑さがシステムに加わる．
(6) HPL によるスパコンの性能予測と実際のアプリケーションとの差が将来乖離していくと予想している．
(7) HPL で 1Exa FLOP (1秒あたり10 の18乗の浮動小数点演算）を実行できるコンピュータシステムを実現するだけでは，実際のアプリケーションには使えない．
(8) アプリケーションとのより強い相関を持つであろう新しい基準が必要．

ただし，上の図にある順位の数字，グラフの値は参考のための例として記入しています．

(3), (4) にあるように，Top500, Green500 の順位の実用性について「知っている人はほとんど冷笑している」というのは，この順位が既に実用性の指標としての役割を終えていることをはっきりと示しています．このため，Green500, Top500 に入っている PEZY Computing のスパコンは，大部分のアプリケーションには役立つ保証はありません．そして将来，PEZY Computing がベンチマーク値を上げることで，実際のアプリケーションに対する性能が損なわれる傾向はもっと顕著になると予想されています．

日本の開発者の意見に対する疑問

このインタビューから次の5つの疑問点が出てきます．

(a) (2) は開発者である牧野淳一郎氏，田中英行氏のツイートとは反対の主張です．(2) はアプリケーションを表すモデルが線形方程式から微分方程式に移行し，後者が大部分を占めるようになったことで，HPL の測定結果が過去のものになったという，根拠のある説明になっています．
(b) (7) に関しては，PEZY Computing の齊藤元章氏の語るエクサスケール・コンピューティング（1 Exa FLOP スパコンの実現により，エネルギー問題・食糧問題が解決し，衣食住はすべてフリーになり，働く必要がなくなり，不老になる）とは反対の主張です．彼がシンギュラリティを語り続けたのはこの Jack Dongarra 氏のインタビューより後です．
(c) 齊藤元章氏の逮捕前後に, PEZY Computing は Top500 の順位相当が更新されたことを公表しています．しかし，(2), (3), (4), (5), (6) から，現在において Top500 の上位を目指す理由が不明です．むしろ，(5) にあるように，順位を上げるために，開発されたスパコンに不必要な複雑さが導入されてしまう恐れがあります．
(d) PEZY Computing は「世界で Exa Flops 一番乗りを狙う」ことを（このインタビューの後の）2016年4月に公表しています．これは現在まで続いている PEZY Computing の開発方針ですが，(7) によれば，Exa Flops という数字だけを目標にスパコンを開発しても，実際のアプリケーションの役に立つものにはならない懸念があります．
(e) Dongarra 氏は2年前から現在まで同じ内容を主張しています．そして，この主張は Top500.org に掲載され，読者の評価では5段階評価で平均 4.7 という高評価を獲得しています．このため，Top500, Green500 のリストへの掲載を目指すスパコン開発者がこの主張を知らないというのは現実的ではありません．ですが，この主張を踏まえたうえでの，Top500, Green500 リストの上位に入ることの（世界的知名度，歴史的蓄積以外の）意義を説明している（日本の）開発者の意見が見当たりません．少なくとも上で引用した牧野淳一郎氏の主張は，省電力が大事（電力消費あたりの HPL 性能が2番目に高ければ，HPL 性能は 466位でも良い）であることの理由にはなりますが，アプリケーションが時代とともに変化している中での理由とすれば，実際のアプリケーションにおいて高い性能を発揮するスパコンは日本では開発されないでしょう．

まとめ

Top500, Green500 のリストの作成者である Jack Dongarra 氏が「Top500, Green500の上位に入ることはスパコンのアプリケーションのごく一部だけで有効な指標であり，ほかの大部分には役立たない」と2015年から現在まで継続して主張していることを紹介しました．

このインタビューの内容から，PEZY Computing の技術を評価するには，Top500, Green500 の順位の情報を除外する必要があります．そして「PEZY Computing の技術は貴重である．なぜなら，そのスパコンが Top500, Green500 で良い順位を占めたから」という主張には疑問が残ります．

その順位に惑わされず，PEZY Computing のメモリ，プロセッサ，液浸冷却について，別のノートで確かめていきます．

付録: インタビューの翻訳

インタビューの Top500, Green500 のベンチマークの利点と弱点についての回答（日本語訳）を以下に引用します．原文の参照性のために，質問のみ英語原文の引用も併せて示します．

The Linpack benchmark is often criticized for not being relevant for a growing number of HPC workloads, and yet it is still the de facto metric of supercomputer performance. What are the benefits and weaknesses of this benchmark?

[質問] Linpack によるベンチマークはスパコンの負荷の増加に関連がないと多く批判されますが，まだスパコンの性能を表す事実上の指標です．このベンチマークの利点と弱点は何でしょうか?

Dongarra: Linpack ベンチマークはある意味，偶然の出来事です．もともとは Linpack パッケージの利用者の補助を目的として，線形方程式システムを解くのに必要な実行時間の情報を提供するためのものでした．第1回の Linpack ベンチマーク報告は 1979年の Linpack 利用者ガイドの付録として公開されました．その付録には，広く使われていたコンピュータ（全23種類）を使って，大きさ100の行列の問題を解くときに，Linpack におけるよく使われるパスに対するデータが含まれていました．このため，利用者は自分の持つ行列の問題を解くのに必要な時間を推定できました．それから数年，純粋に趣味として別のデータが加えられ，現在では数百の異なるコンピュータシステムのデータが入っています．

1990年代初頭に HPL が性能指標として知られるようになったとき，スパコンシステムの順位予測と本格的なアプリケーションによる順位の間に強い相関がありました．コンピュータシステムの販売者は HPL の性能を増加させる設計を追求しました．それにより実際のアプリケーションにおける性能も改善されました．現在, 特に現在の技術の境界線を広げる，最新クラスのシステムに対して，HPL は歴史的な傾向の指標として，耐久性試験として，非常に大きな価値を保っています．さらに，HPL は一般に向けて理解しやすい，価値ある普及手段をスパコン業界に提供しています．

それと同時に，コンピュータシステムの HPL ランキングは，もはや実際のアプリケーション性能に強く相関していません．特に，微分方程式で表されるようなアプリケーションの大部分とは，強い相関はもうありません．そういったアプリケーションでは大きい帯域幅と低いレイテンシがとても必要になります．実際のアプリケーションの性能は，そういったコードがなりがちな，データへの不規則なアクセスパターンに深く関係しています．

Linpack ベンチマークは次の3つの理由から成功したといわれています． (1) HPL のスケーラビリティ，(2) ベンチマークは結果が比較しやすい単一の数字を出すという事実，(3) Linpack ベンチマークが関連する大規模な歴史的データベースがあること. しかし，公開されてからしばらく後，そのベンチマークは批判されました．性能のレベルが一般のユーザでは達成できないこと，そしてその性能を達成できるのは，そのスパコンだけにうんざりするほど最適化したコードを書けるごく少数のプログラマだけであることが理由でした．なぜなら，HPL は密な（係数に０を持たない）線形システムの解を確かめるだけだからです．このようなシステムは科学計算で代表的なものではありません．あきらかに，HPL はピークの CPU 速度と CPU数に重点が置かれる一方，局所的な帯域幅とネットワークに十分な負荷がかかっていません．

アメリカ国立スーパーコンピュータ応用研究所のディレクターの Thom Dunning はこのベンチマーク HPL についてこういっています．「Linpack ベンチマークは興味深い現象のひとつです．そのことについて知っている人はほとんどみんな，その実用性を冷笑して (deride) います．彼らはその限界を理解していますが，Linpack ベンチマークは知名度があります．なぜならそれが何十年も扱ってきた唯一の数字だからです．」

実際，私たちは次のような現状に達しています．高い HPL 性能を達成するシステムを設計することは，実際のアプリケーションに対して不適切な設計を選ぶことに強くつながったり，不必要な構成要素や複雑さをシステムに加えることになると．さらに悪いことに，私たちは HPL による予測と実際のアプリケーションとの差が将来乖離していくと予想しています．潜在的に，HPL で 1Exa FLOP (1秒あたり10 の18乗の浮動小数点演算）を実行する能力のあるコンピュータシステムの近道は，実際のアプリケーションにとって，まったく魅力的でない設計になるでしょう．

何らかの介入なしには，高い HPL 性能を目指した将来のコンピュータアーキテクチャは，アプリケーションにとって適切なものではないでしょう．結果として私たちは，アプリケーションとのより強い相関を持ち，それによりシステム設計者がスパコンのアプリケーションのより広い部分で性能が向上するように設計する方向に向かうような新しい基準を探しています．
（質問への回答おわり）