NVIDIA造出16核心全球最大GPU,靠的就是它!(12)

NVIDIA造出16核心全球最大GPU,靠的就是它!

▲英伟达公布的NVSwitch连接方案示意图,更为清晰、明朗。

其中一个显著的优势则来自于通讯一致性。在之前的DGX-1中由于跨GPU之间的数据需要额外的转发,因此远程访问将是不一致的,通常的解决方法是增加缓存或延迟发送,但这无疑降低了效率并额外增加了负载,同时也使得利用统一内存变得更为困难。

但是借助于NVSwitch,在DGX-2上,每颗GPU都可以以相同的延迟和速度和其他GPU进行通讯,因此大型AI工作负载可能利用这个特性进行并行工作,大大提高了效率。在GTC 2018上,借助于这样的一致性,英伟达称DGX-2为“世界上最大的GPU”。在这种系统中,由于每颗GPU都和其他GPU相连,因此内存统一访问的问题已经被大大简化,现在可能存在高达512GiB的高带宽(HBM2)内存被虚拟化后视作一个统一内存,GPU和NVSwitch也都实现了算法来辅助内存子系统。