最近の話題 2011年8月27日

１．「京」の納入で富士通のサーバの売り上げが急増

　　2011年8月23日のBusiness Wireが，第2四半期の世界のサーバ市場のIDCの調査結果を報じています。それによると，1位はIBMで$4008M，そして$3922MでHPも同率1位となっています。そして，DELLの$1814Mが3位，Oracleの$941Mが4位で，$849Mの富士通も4位にランクされています。その他のサーバメーカーの合計は$1621Mで，この上位5社で88%を占めています。

　　この富士通の$894Mの売り上げですが，昨年同期の売上は$363Mで，増加分の殆どは「京」スパコンの売り上げとみられます。仮に，昨年との差額の$531Mが全て「京」の売り上げと仮定すると\77/$換算では約409億円となります。平成22年度と23年度のシステム製作費の合計が458億円なので，その8割程度が納入されたとすると，大体計算は合います。

　　ということで，このような特別要因がないと，富士通の売り上げは，まだまだという規模です。

　　サーバ全体では前年同期比で17.9%の成長で，総額$13.2Bということで堅調です。

２．「京」とBlue Gene/Qのインタコネクト

　　8月25日〜27日に掛けてサンタクララのIntel本社で開催されているHot Interconnect 19で，8月25日にはBlue Gene/Qのインタコネクトに関する基調講演があり，26日には富士通のToFuインタコネクトに関する論文発表があった筈ですが，メディアには記事がありません。まあ，インタコネクトだけではニュースになりにくいからでしょうね。

　　それとは別に8月25日に富士通のScientific System研究会というのがあり，一般の人でも参加できるので，これに出席して「京」システムの発表を聞いてきました。「京」のTofuインタコネクトですが，独自の6次元トーラス/メッシュ構造で，3次元トーラス×3次元トーラス/メッシュになているので，Torus fusionということから，両方の頭の2文字をとってTofuにしたとのことです。

　　「京」の1筐体の計算ノードは96ですが，LINPACK性能は筐体あたり102ノードで測定されています。これはI/OノードもLINPACK計算に使用されていると推測されていたのですが，今回の発表で，TofuのZ軸は17ノードのループになっており，Z=0の位置にI/Oノードがあり，Z=1〜16が計算ノードということが分かりました。

　　Z軸の長さが17とすると1筐体に6ループ分で，7月2日の話題で書いたように864筐体とすると，XYABCの積が5184です。ABCの積は12であることが分かっているので，XYの積は432となります。これは因数分解すると2×2×2×2×3×3×3で正方形に近い組み合わせとすると，16×27とか12×36とかいう組み合わせになります。しかし，X，Y軸の最大値は32なので，「京」のXYZは16×27×17と推測されます。もちろん，XとYの値は逆かもしれません。

　MPIでは全ノードの結果を合計したりするReduceという操作があるのですが，これは原理的には全ノードの結果を受け取ってCPUで合計するのですが，TofuではICC LSIの中に集計ロジックを持っています。ここで浮動小数点の加算の場合は，数値の組み合わせによって桁落ちが発生するので，計算順序によって結果が変わることがあり，MPI仕様ではノード番号でノードのバイナリツリーを作って計算することを推奨しています。しかし，この方法はトーラスと相性が良くないので，当初のBG/Lでは，1回目の通信で浮動小数点数の指数の最大値を求めて，それを全ノードに通知し，2回目にはその指数に合わせて正規化した数値を送るという方法で，桁落ちを防いでいます。

　Tofuでもう一つ，興味深かったのは，Tofuでは独自の160ビットの浮動小数点フォーマットでReductionを行うことにより，1回の通信で桁落ちなく合計が求められるようになっている点です。しかし，Hot InterconnectのIBMの講演のアブストラクトを見たら，BG/Qのインタコネクトもワンパスになったと書いてありました。

３．IBMは何故Blue Watersから撤退したのか

　　という理由をHot Chipsの会場などで色々な人に聞いてみたのですが，はっきりしたことは分かりませんでした。

　　8月13日の話題に私も書いたように，あの値段では大幅赤字なので経営陣がNo Goのサインを出したという意見と，多分，ネットワークに技術的な問題があったという意見が聞かれました。これの複合で，ネットワークの技術的問題を修正するには多額の費用が掛かるので赤字が拡大するという両方の要因の複合が原因という意見もあります。

　　POWER7のCPUモジュールは，既にサーバとしての出荷実績があるので技術的問題がある可能性は少なく，Blue Waters用に開発したスイッチチップとインタコネクトに問題があるというのは考えられるとことです。Blue Watersで特に気になるのはスイッチチップと一緒にMCMに搭載されている光モジュールです。このモジュールはAvago社のMicroPODという10Gb/s×12チャネルのもので，それがスイッチMCMあたり56個搭載されています。IHサーバには8個のスイッチMCMが載っているので，12×56×8=5376個のVCSEL（Vertical Cavity Surface Emitting Laser)レーザが使われていることになります。Blue Waters全体ではIHサーバが1300台程度必要ですから，VCSELの総数は約700万個となります。

　　しかし，VCSELはあまり信頼度が良くありません。それも，だんだん発光が弱くなって行くというような兆候があれば，予防保守という手も取れるのですが，GaAsのVCSELは結晶にクラックが入って突然死します。これを700万個も使うと大変だろうという気はします。そして，これはIBMが自社で製造しているものではなく，他社の製品を買っているものなので，問題が起こっても自分で解決するという訳には行かず，これも大変だろうと思います。

　　一方，はしごを外されたイリノイ大のNCSAは，来年6月までに使わないとNSFの予算が切れてしまうので，代替システムの調達に大忙しだそうです。

@902004