最近の話題 2010年6月19日
１．東工大TSUBAME2.0 記者会見
5月29日の話題で紹介したTSUBAME2.0ですが，東工大は，2010年6月16日にTSUBAME2.0に関する記者会見を開き，システムの詳細について説明を行いました。
このシステムの計算ノードは2.93GHzクロックのWestmere-EP 2ソケットのサーバなのですが，目新しいのは，Tylersburgを2個接続していて合計72レーンのPCIe2.0を出している点で，そこにPCIe x16を使うM2050 Fermiボードを3枚と，40GbpsのQDR InfiniBandのHCAを2枚接続しています。さらに，計算ノードはチェックポイント記憶用のSSDを内蔵しており，これもPCIe2.0で接続されています。このIOH 2個接続のサーバはHPと東工大が仕様を決めて，新規開発したものだそうです。
また，2個接続するとPCIeの速度が遅くなるというTylersburgのバグで，最近まで，性能が出なかったのですが，Intelのバグ修正で直ったとのことでした。
そして，このCPU2個，GPGPU3個の計算ノードを1408台使用しています。形状は1UのThinサーバで，32台を１つの筐体に収容しています。インタコネクトはVoltaireのQDR IBで，16台のサーバを1グループとして36ポートの4036E Edge Switchのペアに接続しています。全体のインタコネクトは2系統になっていて，それぞれの系統に6台のGrid Director 4700という324ポートのスイッチが使われており，Edge SWペアのそれぞれが別の系統に繋がっています。そして，片方の系統からストレージや管理用ノードにつながるEdge Swtichに接続されるという構成です。
それから128GBメモリをもつMediumノード24台と256/512GBのメモリを持つFatノード10台があり，これらのノードは2.0GHzのNehalem-EX 4ソケットです。
ピーク演算性能はCPU分が198TFlops+8.7TFlops（Nehalem-EX分）で，GPU分が2175TFlopsです。メモリはCPU側が80.6TB，GPU側が12.7TBで，これに173.9TBのSSDが付きます。エッジスイッチとスパインスイッチの接続は3ポート並列で，Bisection BWは200Tbps（ノード側の方が細いので，私の計算では155Tbps）となっています。
ファイルはDDNのSFA 10000を5筐体で，合計5.93PB，そしてクラウドサービス用のファイルとしてSFA 10000 1筐体1.2PBを接続しています。
工程は，9月に搬入，10月から立ち上げにはいり，11月稼働とのことで，10月1か月程度が立ち上げと並行してLINPACKのチューニングと測定が行われます。計算通り，問題なく動けば1.4PFlops程度出せる見込みだそうですが，ぶっつけ本番なので，どんな問題が出るか分からないということで，ベストの期待値というところだそうです。
中国のGPUベースのサーバでLINPACKの性能が低い理由について，松岡先生は問題サイズが小さいと言っておられましたが，星雲の測定は236万元で，Jaguarの547万元に比べると1/10以下の計算量ですが，3位のRoadrunnerの225万元よりは大きく，Top10システムの中で目立って小さい規模ということはないようです。
２．SeaMicroがAtomベースサーバを発表
2010年6月14日にSeaMicro社はIntelのAtomベースのサーバを発表しました。これまでSeaMicroはステルスモードで活動しており，なにをやっているのかわからなかったのですが，今回，Atomベースのサーバであることが発表されました。このSM 10000サーバは，5"×11"のカードに8個のIntelのAtom CPUチップとチップセット，そして，SeaMicro社の開発した4個のインタコネクト用チップを搭載しています。また，ボードの裏面にDDR3 SODIMMを搭載し，各CPUに1～2GBのメモリを持たせています。
そして，最大64枚のサーバカード（512Atomチップ）と，8枚のストレージカードと最大64台のHDD，8枚の8ポートの10/100/1000Base-T Ethernetアダプタを10U筐体に詰め込んでいます。そして，これらのカード間をバックプレーンに実装された3Dトーラス網で結合しています。この3Dトーラスですが，1.28Tbit/sのバンド幅となっています。これはサーバカードあたり20Gbpsですから，PCIe2.0のx4相当で，驚く値ではありませんが，まあ，Atom 8個ですから，それほどバンド幅も必要ないのでしょう。
この3Dトーラス網を使って，仮想的に，CPUとストレージやEthernetカードの間を直結したようなグループを多数作ることができます。そして，Atom CPUにストレージとEthernetが直結された状態と同じOSやアプリケーションがそのまま使えるとのことです。仮想化はハイパーバイザでCPUやI/Oを仮想的に切り分けるのですが，SeaMicroのシステムはAtomという粒の小さなCPUを多数置いて，それとI/Oのペアを物理的に切り分けるというのが面白いところです。個々のジョブが必要とするCPUパワーは大きくないけれど，多数必要というWebデータセンター向けの装置で，同社が開発したLoad Balancerが入っています。
比較の根拠は良くわかりませんが，従来のサーバと比べるとサイズも消費電力も1/4と言っています。
CEOはAndrew Feildmanというベンチャーキャピタル関係の人ですが，創立者の一人でCTOを務めるのが，Gary Lauterbach氏です。GaryはSunでチーフアーキテクトとしてUltraSPARC Ⅲを開発した人で，その後，AMDに移り，そして，現在のSeaMicroを創立したとのことです。Sun時代のGaryは良く知っていますが，最近は，こんなことをやっているとは知りませんでした。