NVIDIA造出16核心全球最大GPU,靠的就是它!

在之前的GTC2018大会上,英伟达发布了全新的DGX-2超级计算机。凭借多达16颗Volta GPU强大的计算能力,这款重达350磅、售价40万美元的机器可以提供最多2PFLOPS的深度学习计算能力,堪称目前AI业界的最强者。那么,英伟达是如何将16颗Tesla V100的GPU连接在一起,并发挥出如此强大的计算能力的呢?要回答这个问题,就有必要来看看什么是NVLink 2和NVSwitch。

随着AI市场的兴起,英伟达近年来在GPU上持续发力,不断推出全新的产品。新产品在计算能力提升的同时,其芯片面积也已经屡创新高,甚至逼近了制程和成本的平衡极限。以最新的GV100核心为例,其计算能力高达单精度浮点15TFLOPS,双精度浮点8.5TFlops,新加入的Tensor Core带来了大约120TFlops的AI计算能力。获得如此计算能力的代价是GV100的芯片面积已经高达815平方毫米,堪称史上面积第一大的GPU核心。即使是台积电使用了最先进的12nm制程,受制于芯片如此大的面积,其良率表现和最终成本也很不好看。

但是,即使这样的计算能力、即使已经逼近成本和制造平衡线,GV100核心也是无法满足AI计算需求的。在深度学习的模型训练中,面对海量的数据,人们对计算能力的需求几乎是无限的,TFLOPS仅仅是入门,科学家们还在考虑如何制造和使用性能达到PFLOPS甚至EFLOPS、ZFLOP性能级别的设备,更快的性能带来了更快的计算速度,也带来了更高的效率来完成计算并获得结果,实现研究的突破。