最近の話題 2019年4月13 日
１．Qualcommが推論データセンタービジネスに参入
2019年4月10日のEE TimesがQuacommのサーバ用の推論チップの開発と推論データセンタービジネスへの参入について報じています。
それによると，Qualcommは7nmプロセスを使い，350TOPSの性能を持つチップのサンプリングを年内に開始し，来年には量産に入るとのことです。
Qualcomm Cloud AI 100と呼ぶこのチップに関する情報は殆どありませんが，Qualcommによれば，このチップは，今日実用になっている他の推論チップに比べて10倍以上の性能/Wだそうです。
２．Flex Logixがエッジサーバ向けのインファレンスチップを発表
2019年4月10日のEE Timesが組み込みFPGAのメーカーとして知られるFlex Logixのエッジ向けの推論チップの発表を報じています。Flex LogixのInferX X1チップは，ゲートウェイやローエンドのエッジサーバに対してハイエンドの推論性能を提供するとのことです。
InferX X1チップは，NVIDIAのTegra T4と比較すると，絶対性能は低いものの，AI処理性能/Wでは4倍，AI処理性能/＄では3倍だそうです。DRAMチップ1個のメモリバンド幅で動かしているので，性能は抑えられてしまうのですが，その分，コストや電力を下げられているようです。
また，IntelのMyriad XやNVIDIAのJetson Nanoと比較すると，YoloV2，YoloV3，GoogleNetなどのベンチマークではInferXの方が性能が高いとのことです。そして，InferXはバッチサイズが小さい計算に強く，入力のカメラやセンサーが1個しかない場合にも適しているとのことです。
Flex LogixはInferXチップの値段をまだ発表していませんが，$3000程度で売られているNVIDIAのT4に比べるとかなり安い値段だそうです。
３．Wave ComputingがTritonAI 64パッケージを発表
2019年4月11日のEE TimesがWave ComputingがTritonAI 64と呼ぶパッケージを発表したと報じています。
TritonAIでは，TensorFlowなどを走らせるMIPS64コアと，WaveのDataflowコアと新開発のWaveTensorコアを持っています。各コアのサイズやメモリサイズなどは合成時に指定することが出来ます。
WaveTensorコアは4×4や8×8の行列の乗算ユニットを複数持ち，7nmプロセスの場合は，8TOPS/W，10TOPS/mm2だそうです。
DataFlowコアは，汎用のニューラルネットワークの計算を行い，計算量の多い処理はWaveTensorコアが担当するのではないかと思われます。
４．IntelはM.2にOptaneとQLC NANDを搭載
2019年4月11日のThe InquirerがIntelのH10メモリの発表を報じています。ノートパソコンなどに使われているいわゆるガムスティックと呼ばれるM.2パッケージに，QLCのフラッシュと3D XpointメモリであるOptaneを混載した製品を発表しました。
製品としては，256GBのフラッシュに16GBのOptane，512GB/32GB，1TB/32GBの3種があります。
OptaneとFlushは独立のPCIeを持ち，並列に動作することができます。そして，Readは24,000IOPSで，シーケンシャルのReadは1350MB/sとなっています。Writeは65,000IOPSとなっています。そして，Read/Writeのレーテンシは7μs/12μｓとなっています。
消費電力はアクティブ時で3.5Wで，MTBFは1.5M時間だそうです。
今年のクリスマスシーズンには出回るとのことです。お値段は明らかにされていません。
５．IntelのCascade Lakeのいろいろ
IntelのCascade Lakeについては先週の話題でも紹介したのですが，2019年4月8日のSemiaccurateが詳しく書いているので，その一部を紹介します。
Cascade Lakeは40余りのSKUが発表されたわけですが，実はLとかMとかYとかVとかNとかTなどのサフィックスのついた製品があり，これらを含めると製品の種類はもっと多いとも言えます。例えばトップエンドの8280は何もつかない8280と8280L，8280Mがあります。また，8260は8260と8260Yがあります。
M，Lは大容量メモリサポートで，Mは2TB，Lは4.5TBまでメモリがつけられます。ただし，Mは$3003，Lは$7897のプレミアムだそうです。このM，Lは実際はDRAM DIMMをバッファとしてOptaneをつける場合に必要で，256GB のOptane，Lは512GBのOptaneをつける場合の追加料金という感じだそうです。
そして，Cascade LakeではIntel Speed Select Technology（SST)という機能が付加されました。マルチコアのチップで，一部のコアのベースクロックを上げて加速し，他のコアのベースクロックを下げてTDPの帳尻を合わせるもので，デッドラインに間に合わせなければならない処理を行うコアだけクロックを上げれば良く，全部のコアのベースクロックを上げるのは無駄です。
Yサフィックスのついた品種がIntel SSTをサポートしています。それからNサフィックスの製品もサポートしているのですが，こちらはTelco向けだそうです。
それからCascade LakeではSpectre，Meltdown対応のハードウェア修正が入っています。ただし，これらの攻撃は投機実行のスキをつくもので，投機実行を止めない限りは完全には防げません。ということで，OSやVMMの修正を必要とするものもあり，性能インパクトはゼロではありません。
それでも，一般的な処理の場合は，Cascade Lakeのハードウェアを使って防ぐ場合と比較すると，ソフトウェアだけで防ぐ場合は3-8%余計に実行時間が掛かり，ストレージの場合は4K単位の場合は38%，64K単位の場合は0%時間が掛かるというグラフが載っています。
それからCascade LakeではDL Boostという機能が追加されました。512 AVXを強化して，8bit整数での演算ができるようにしています。SemiAccurateが512 AVXの改造かと聞いたところ，それではうまく行かず，新設計という回答であったそうです。
このDL Boostは8bit整数で良い場合はスループットが3倍になるそうです。