最近の話題 2014 年2月22日

１．Intelがハイエンドサーバ用Ivy-Bridge EXを発売

　　2014年2月18日に，Intelは最大15コアのXeon E7 v2シリーズのサーバチップを発売しました。このチップは，先週の話題で紹介したISSCC2014で発表されたものです。

　　22nm Tri-gateプロセスで製造され，15コアを集積する巨大チップです。製品としては8ソケット用，4ソケット用，2ソケット用，そして高クロックのエンタプライズ用，低電力，電力と高性能のバランスを取ったHPC用など，全部で17種の製品が発表されました。　

　　クロックが最も高いのはE7-8893 v2の3.4GHzですが，6コアで155Wと電気を食います。コア数は6コアですが，L3$スライスは全て生かされており，LLCは37.5MiBとなっています。15コア全部を生かしたチップでは8890v2が2.8GHzクロックで155Wとなっています。これらは100個トレイで購入した場合の単価は$6841となっています。1個約70万円ですから，100個トレイのお値段は7000万円と，おいそれと買える値段ではありません。

　　HPC用の8857v2は12コア，3GHzクロックでLLCは30MiB，TDPは130Wとなっています。お値段は$3838ですから，お買い得という印象です。

　　メモリインタフェースはSMI V2という2667MT/sで8バイト幅のバスが4本出ており，これにJordan Creekという開発コード名のチップが付きます。Jordan Creekの反対側は2チャネルのDDR3 DIMMインタフェースが出ています。RockstepモードではSMIは1600Mbpsで動作し，DDR3-1600 DIMMをサポートします。一方，Performanceモード ではSMIは2667Mbpsで動作し，DDR3-1333 DIMMを2チャネル並列に動作させることが出来ます。

　　Jordan Creekのメモリチャネルには3枚のDIMMが接続できるので，E7チップあたり24枚のDIMMが接続でき，64GiBのDIMMを使った場合は1.536TiBで，8ソケットならおおよそ12TiBのメモリのシステムが作れます。

　　メモリが12TiBあると，相当な規模のデータベースがメモリに格納でき，ディスクを使うデータベースに比べて100倍以上の性能が得られるとのことです。これだけの性能アップがあるとリアルタイムにデータ処理ができる分野が広がり，メモリにお金をかけても引き合います。

　　また，Xeon E7 v2プロセサはRASの改善にも力を入れており，ハードエラーをOSに通知して，ソフトでリカバリが出来るケースはダウンしないようにするMachine Check Architectureを改善しています。また，メモリは2個のDRAMチップが故障した場合でもエラーを訂正できるDDDC機能を組み込んでいます。

　　また，Intelの比較ですが，4ソケットの構成で，SPECint_rate_2006で比較すると，IBMのPOWER7+に対して最大1.8倍，OracleのSPARC T5と比較すると最大1.28倍の性能で，システムのお値段は3〜4割安いとのことです。

　　サーバ市場での売り上げ金額は，Xeonとその他のメインフレームやRISCの合計がほぼ同じレベルまできており，台数シェアで言えば，Xeonが80%とのことです。

２．Ivy-Bridge EXの詳細

　　2014年2月18日と2014年2月19日のSemiAccurateがIvy Beidge EXの技術的な詳細を報じています。

　　前世代のWestmere EXでは，メモリアクセスの要求を送るCPUコアが他のコアのL3$スライスにスヌープを送るソーススヌープ方式をとっていたのですが，Ivy Bridge EXでは，メモリアクセス要求はホームノードに送り，ホームノードから他のコアのL3$スライスにスヌープを送るホームスヌープに変更されました。

　　ホームノードはキャッシュディレクトリのビットが2ビット追加され，Invalid，Shared，Anyの3状態が記憶されると書かれています。Shareは他のノードにもそのキャッシュラインの内容が格納されている状態を示すと考えられますが，Anyというのは他のキャッシュにはシェアされていないという状態でしょうか？Share状態であれば，そのノードにスヌープを送り，それ以外ならスヌープを送らないようにすれば，常にスヌープを送るソーススヌープに比べて，スヌープトラフィックを減らせます。

　　Jordan CreekはRockstepとPerformanceという2つのモードを持つのですが，Rockstepの場合は転送速度は遅いのですが，DDDC（Double Device Data Correction）といって2個のDRAMチップの故障に加えてと更に1bitの故障がある場合も訂正できます。一方，Performanceモードでは転送速度は速いもののSDDC（Single Device  Data Correction）で1個のDRAMチップの故障と1bitの故障がある場合のエラー訂正とRASが弱くなります。性能を取るか，信頼性を取るかのトレードオフです。

　　Rockstep Modeの場合は，Jordan Creekは，2チャネル144bitを同時に読み出し，16ビットの余剰ビットを使って強力なエラー訂正を行っていると思われます。

　　また，Ivy Bridge EXは同じ内容を2つのメモリに書くミラーモードをサポートしており，一方に訂正不能なエラーがあっても，他方がエラー無しや訂正可能な場合は，そちらを使うので，更に信頼性を引き上げられます。ただし，ミラーにすると容量が半分になってしまうので，Fine Grainで，細かい単位で，ミラーにする部分とミラーにしない部分を指定できるようになりました。OSのカーネルなど，そこで故障が起こるとシステムダウンになるメモリはミラーにして，ディスクから再度読み込んだり，再計算などでリカバリできる部分はミラーにしないなどという対応ができ，メモリのムダを抑えることができます。

　　そして，訂正不能なエラーが起こった場合も，VMM，OS，アプリとエラーの情報が伝えられ，それらのソフトがマシンチェックに対応できるように作られていれば，適当な回避動作を行うことにより被害を最小化できるようになっています。

　　また，訂正可能なエラーの場合もログを残し，訂正可能なエラーがたびたび起こる場合は，訂正できない故障が起こる前に交換できるような情報が得られるようになっています。そして，システムを止めることなく，そのDIMMのデータを他の故障のないDIMMに移動し，DIMMをホットスワップで交換し，新しく挿入されたDIMMをオンラインにするという機能をもっています。

　　このくらい，徹底的にやれば，12TBのメモリがあっても，メモリの故障でシステムがダウンすることは非常に稀となります。

　　Xeon E7はIBMのPOWERやOracle，富士通のSPARCなどと方を並べるRASを持つようになってきており，信頼度の点ででの優位性がなくなると，数量の点で圧倒的に差があるIBM，Oracle，富士通などは苦しいところです。現在ではIBMと富士通はビジネス用の10進浮動小数点演算のサポートなどで差を付けていますが，これもIntelがサポートしないとは限りません。

３．ThruChipがDave Ditzel氏をCEOに迎えて活動

　　2014年2月21日のEE Timesが，ThruChip Communications社がDave Ditzel氏をCEOに迎えて，テクノロジの売り込みをかけていると報じています。ThruChips社は，慶応大学の黒田教授が開発してきた，3Dスタックのチップ間の信号伝送をコイルを使って磁気結合で行うテクノロジをライセンスする会社で，2007年に設立されたのだそうです。

　　これまでは黒田先生のテストチップなどを作ってきたのですが，本格的にテクノロジをライセンスする活動に入り，昨年12月に，Dave Ditzel氏をCEOに迎えたとのことです。

　　Daveは1980年にBELL研が開発したBELLMAC 32というワンチッププロセサの開発を主導したアーキテクトです。BELLMAC 32は設計者の顔写真がパターンとしてチップに焼き付けられていることで有名です。その後，彼はSunに入りSPARCのアーキテクトを経て，Transmetaを創立しました。

　　Transmetaはなくなってしまいましたが，DVFSとオンチップのバイナリトランスレーションでx86命令を実行するアーキテクチャを最初に取り入れたCruesoeプロセサの開発で歴史に名前を残しています。

　　その後，Intelに移ったのですが，Hot Chipsで数年前に会ったきりで，この記事で，最近の消息が分かりました。

　　黒田先生の技術は，50〜100um角のコイルを上下のチップに設け，磁気結合で信号を伝送します。伝送速度は5Gbit/sを超えるレベルまで上がってきており，TSVが1Gbit/s程度であるのに比べて高速で，面積あたりのGbit/sではTSVとそん色ない性能とのことです。

　　TSVの場合は密度をあげるためにはウエファを薄く研磨する必要があり，コストが高くなるのですが，磁気結合の場合は，それほど薄くする必要がないのでTSVに比べて40%安いコストで済むとのことです。しかし，TSVはグランドや電源の接続ができますが，この技術ではチップ間の電源接続は出来ず，別途，配線が必要になります。

　　ThruChip社は，顧客の磁気結合チップの設計を助ける技術サポートチームをシリコンバレーに作るとのことです。黒田先生の技術はISSCCでは注目を集めてきたのですが実用化には到っておらず，ThruChips社の活動で，商用チップでの採用に結びつけば大きな前進です。

４．ハーバード大の学生がDogecoinのマイニングにスパコンを盗用

　　2014年2月22日のThe Registerが，ハーバード大の学生が，学内の研究用のOdysseyスパコンを盗用して，14,000コアを使ってDogecoinのマイニングを行ったと報じています。研究者が異常な負荷に気がつき，管理者に連絡をいれ，マイニングを行っていることが発覚したとのことです。

　　学内の研究用リソースを暗号コインのマイニングや賞金目待てのコンテストなど研究以外の目的に使うことは禁止されており，この学生はコンピュータへのアクセス権を停止されているとのことです。

　　Wikipediaによると，Dogecoinは柴犬が書かれたコインで，2013年12月8日から運用が開始され，2014年2月14日までに約50B Dogecoinが採掘されたとのことです。なお，1Dogecoinは，現在，約$0.0012とのことです。