Hot Chips 29 - NVIDIAの最強GPU「Volta」

Hot Chips 29では、AMDのVegaに続いて、NVIDIAのVoltaが発表された。
Voltaは、4月のNVIDIA主催のGTC(GPU Technology Conference)で、Jensen Huang CEOが基調講演の中で発表したが、主要な学会での詳しい発表は今回が初めてである。

Voltaチップは、815mm2に210億トランジスタを集積している。
光による露光では最高の分解能であるArF液浸スキャナの露光面積は26mm×33mmであり、851mm2より大きいチップは分割しなければ作れない。
26mm×33mm=858mm2なので、815mm2というのは、まだ余裕があると思うかもしれないが、X、Yそれぞれのサイズの制限があるので、実際にはこれ以上大きいチップは作れない露光限界という巨大チップである。
また、AMDのVega10 GPUは486mm2であるので、その1.68倍という巨大さである。

半導体チップの値段は1枚の直径300mmのシリコンウェハから何個の良品がとれるかに依存する。
したがって、チップ面積に逆比例してウェハ上に作れるチップの数が減少して製造コストが上がる。
これに加えて、製造欠陥の密度×面積の指数関数で良品率が下がって行くので、さらにコストは上がる。

そのためVoltaチップの製造コストはVegaチップの数倍以上高いはずである。
また、GPUチップとHBM2メモリを搭載するシリコンインタポーザもサイズが大きくなり、シリコンインタポーザのコストも上がる。

さらに、VegaはHBM2を2個使っているが、VoltaはHBM2を4個使っており、その分、コストが上がっている。

次の図は、Voltaチップ(正式名称はTesla V100)のブロックダイヤグラムであり、NVIDIAがSM(Streaming Multiprocessor)と呼ぶユニットが84個描かれている。
この内の4個は不良SM救済のためのスペアであり、製品としては80SMが使用される。

各SMには64個のCUDAコア(FP32の積和演算を実行する)が含まれているので、チップ全体では5120CUDAコアということになる。
また、Voltaでは、新たにTensorコアという行列同士の掛け算を効率よく実行するコアが、各SMに8個、チップ全体では640個存在する。

GPUのデバイスメモリは現在のPascal GPUと同様にHBM2を4個使っているが、メモリ容量は16GBに増え、メモリバンド幅も900GB/sに向上している。
さらに、GPU同士、あるいはGPU-CPUを接続するNVLinkは、片方向25GB/sのリンクを6本に増強され、CPUや他のVoltaチップとの合計の接続バンド幅は300GB/sに増加している。

Volta V100チップと現在のPascal P100チップの性能を比較したのが、次の表である



ソース