最近の話題 2010年6月12日

１．“极速超越、中国力量”，“星云”超級計算机

　　中国のIT168が，Top500 2位となった星雲システムについて詳しく報じています。中国語ですが，漢字をみれば大要は分かります。それによると，CPUはIntel Westmereで9280個，アクセラレータはNVIDIAのFermiでECC付，台数は4640。インタコネクトはQDR IBで，これらは先週の推測通りです。

　　そして実測のLINPACKのピーク値は1.271PFLopsで498MFlops/W。Top500では消費電力は公表されていなかったのですが，この値から，システムの消費電力は2.55MWと計算されます。そして 単純な割り算では，ノードあたりの消費電力は550W程度となります。まあ，Westmere 2個にFermi，そしてDIMM，それにまわりのもろもろを入れれば妥当な数字です。

　　そしてシステムは水冷で，設置面積は600m2となっています。水冷は妥当ですが，ちょっと予想外でした。曙光は水冷の技術を持っているんですね。

　　また，曙光のページにシステムの構成図がありますが，主力のブレードシステムと特殊処理用の小さなクラスタの分かれているようです。メインのシステムには5台のIBスイッチが描かれています。スイッチはMellanoxのIS5600で648ポートですから，5台全部のポートを使っても3240ポートで4640ノードには足りません。小規模クラスタの方には小さ目のIB SWが2台描かれていますが，これだけでは辻褄は合いません。まあ，箱の数を省略して描いているのでしょうかね。そして，ストレージはParaStor社製と書かれています。

  それから，先週の話題で，筐体に絵が描かれていると書きましたが，どうも 曙光のホームページにあったのはイメージ図のようで，IT168 の写真を見たら，絵はありませんでした。訂正します。

２．CrayのCascadeはIntel CPUを搭載

　　2010年6月10日のHPCWireが，CrayのSteve Scott CTOとのインタビュー記事を載せています。それによると，DARPAのHPCSプロジェクトの最終フェーズで$250Mの予算で開発しているCascadeシステムは，これまでのXTや先日発表されたXEシステムとは異なり，まず，Intelプロセッサでデビューするとのことです。2012年後半の納入の予定ですから，Sandy Bridgeか次のHaswellかが使われると予想されます。

　　そして，インタコネクトはAriesというチップを開発中で，今年末にはテープアウトの予定と述べています。これまでのSeaStarやXE6のGeminiチップはOpteron CPUとHyperTransportで接続していたのですが，Intel CPUだけでなくAMD CPUも使えるようにということで，Ariesのインタフェースは16レーンのPCI Expressとなるとのことです。この時期なら，当然PCI Express3.0と思われ，送受の各方向128GB/sと考えられます。ノード間は分散メモリで，キャッシュコヒーレンシを取る必要もないので，メーカー固有のHTやQPIを使う必要性は無 く，IntelはPCIe x16をCPUチップに内蔵してきているので，レーテンシの点でもQPIと大差なくなるので妥当な選択と思います。

　　また，CascadeではIntel CPUだけではなく，アクセラレータを付けるということが明らかにされました。現状ではNVIDIAのTesla 20，AMDのHD5870，IntelのNights Ferryが倍精度浮動小数点演算で500GFlops台の性能で並んでいる状況で，2012年後半のマシンに対してどこ のアクセラレータを選ぶかは，まだ，未定とのことです。

　　そして，XE6にもFermiボードが搭載できるようになるそうです。現状では，まだ，アクセラレータのソフト開発環境は未成熟なので，当初はアクセラレータを買う顧客は少ないが，5年以内には多数のユーザがアクセラレータを使うようになるとScott氏は予想しています。

　　さらに，2018年のExa FlopsはこのようなCPUとアクセラレータの組み合わせで達成できると考えているとのことです。しかし，バンド幅の点ではCPUチップから直接，光インタフェースの引き出しや，現在のキャッシュとDIMMの間に3D実装を使った高バンド幅のキャッシュの実用化が行われると予想しています。Top500の傾向を延長すると，2028年にはZetta Flopsが要求されるのですが，これは現在の半導体の延長では実現できない。Crayもこの時代に関してはビジョンをもっていないが，過去100年のコンピュータの歴史を見れば，新しい解が出てくるという希望はあると述べています。

　　光インタフェースの技術は進歩していますが，1波長で10Gbit/s程度では電気に比べて大きなメリットはなく，やはり多数の波長を1本で送る波長多重をやる必要がありますが，まだ，どこも成功していない技術で，8年後の2018年に実用化できるかどうかが危ぶまれます。3Dの大容量キャッシュはTSV，あるいは慶応の黒田先生の磁界結合を使っても実現できる技術で，実用化に関しては，コストと見合うかという点が一番大きいと思います。

３．DELLがx16 PCI　2枚搭載可能な新ブレードを発表

　　2010年6月9日のThe RegisterなどがDELLの新ブレードの発表を報じています。IntelのWestmere-EPを使う2ソケットのブレードは珍しくありませんが，今回，DELLが発表したM610xブレードは2本のx16 PCIe2.0を持っており，2枚のフルハイト，フルレングスのカードを挿入できるという点が新しいところです。

　　このPCIeスロットにNVIDIAのFermi GPGPUボード，あるいは，Fusion IOのSSDを使ったioDrive Duoが入れられるとのことです。

　　中国の星雲に使われた曙光のブレードがFermiボードを搭載し，SupermicroなどもGPGPUを搭載しているので，珍しくはありませんが，それでも大手のDELLもGPGPUをブレードに搭載するというのは時代の流れですね。