最近の話題 2021年9月4日
１．TeslaがAI DayでAIシステムのD1チップ，Training TileとExaPODを発表
2021年9月2日のEE Timesが，Tesla AI DayでのAIシステムの発表を報じています。 Elon Musk氏は自動運転車のインテリジェンスを人間のドライバなみにするのは難しくないと考えていた節があり，AIシステムの重要性を認識していなかったようで すが，最近では，自動運転は容易ではないことに気づき，AIエンジンの開発に力を入れています。
その方針変更の結果，開発されたのがD1チップとそれを使うTraining TileやExaPODです。D1チップは354のTraining Nodeを持ち，Training Nodeは，FP32では64GFlops，BFP16では1024GFlopsの演算性能を持ちます。354NodeのD1チップはFP32では22.6TFlops，BFP16では362TFlopsです。
そして，Training Tileには25個のD1チップを搭載し，ExaPODには最大120のTraining Tileが含まれます。ということで，ExaPODには3000個のD1チップがあり，FP32では67.8PFlops，BFP16では1.09EFlopsとなります。
それから，D1はCFP8というフォーマットもサポートしています。演算性能はBFP16と同じですが，メモリ容量やメモリバンド幅の必要量はBFP16の半分で済みます。CFPはConfigurable FPです。
D1チップは7nmプロセスで作られ，チップは645mm2で，50Bトランジスタを集積しています。消費電力は400Wレンジと言っています。チップからは576レーンの112GbpsのSerdesが出ています。
D1チップの各プロセサは1.25MBのSRAMを持っており，合計では442MBのSRAMを搭載しています。
TeslaのTraining Tileは25のD1チップを搭載したマルチチップモジュールで，電源電流は18,000Aとなっています。そして，チップの上面から15KWの放熱を行っています。
２．HBM2はDDR4の10倍高い
2021年9月1日のEE Timesが，GraphcoreのCTOのSimon Knowels氏のHot Chipsでの発表をひいて，HBM2はDDR4と比べて10倍高いと報じています。
HBM2の20nmプロセスで作られる８Gbitの8枚のDRAMダイと，16nmプロセスのDDR4の8枚のダイ比較すると，20nmのHBM用のダイの製造コストは2倍程度高くつく。さらに8枚のメモリダイを積層するにはTSV加工を伴うCoWoSプロセスが必要であり，8GBの積層チップは同容量の8GBのDDR4のさらに2倍のコストになる。
そして，HBM2の値段にはプロセサメーカーのマージンが60%上乗せされて，さらに2.5倍の値段になる。結果として，HBM2の８GbitモジュールはDDR4の8Gbitのモジュールに比べて10倍高くなる。とのことです。
メモリベンダのマージンとプロセサベンダのマージンが，HBMとDDR4の価格差の大部分と言うこの説明が正しいのかどうかは，筆者は分かりません。
３．SC21は要ワクチン接種でリアル開催
2021年9月2日のHPC Wireが，SC21のGeneral Chairのメッセージとして，SC21はSt.Louisでリアル開催と報じています。そして，リアル参加する人はCOVID-19のワクチン接種の証明書の提示が必要となっています。
しかし，南部の州はワクチン接種率が低く，COVID-19の感染率が高くて安全とは言いにくいし，セントルイスから帰国したら2週間隔離と言われたら困るとか，いろいろ障害がありそうです。
SC21はRemote Participationという現地に行かない参加も可能です。
４．NVIDIAのarm買収は大幅な譲歩無しには困難か
2021年9月2日のFierce Electronicsが，NVIDIAの$40Bでのarm買収は困難というCSS Insight社の見通しを報じています。英国のCompetition andMarkets Authorityは，NVIDIAがarmを買収すると競争を制限する能力をもつことになり，NVIDIAに競争を制限したくなる状況が生じると見ています。このため，審査期間を延長して審査を行うことになりました。
これを受けて各国の機関の審査も厳しくなり，長期化する可能性が高く，CSS InsightはNVIDIAにPlan Bを考えておくべきとアドバイスしています。NVIDIAはお金持ちなので時間がありますが，SoftBankはビジョンファンドの借金を減らすには，時間がないので短期に現金が入る別のプランを用意しておく必要があります。
armの持つIPや特許を減らして，当局の承認を得るという手も考えられますが，規制当局とNVIDIAの間で折り合いがつくかどうかが問題です。
もちろん，NVIDIAはJensen Huang皇帝の帝国ですから，Huang皇帝がどう考えるかが，NVIDIAの対応の全てです。
。