NVIDIA造出16核心全球最大GPU,靠的就是它!(12)
▲英伟达公布的NVSwitch连接方案示意图,更为清晰、明朗。
其中一个显著的优势则来自于通讯一致性。在之前的DGX-1中由于跨GPU之间的数据需要额外的转发,因此远程访问将是不一致的,通常的解决方法是增加缓存或延迟发送,但这无疑降低了效率并额外增加了负载,同时也使得利用统一内存变得更为困难。
但是借助于NVSwitch,在DGX-2上,每颗GPU都可以以相同的延迟和速度和其他GPU进行通讯,因此大型AI工作负载可能利用这个特性进行并行工作,大大提高了效率。在GTC 2018上,借助于这样的一致性,英伟达称DGX-2为“世界上最大的GPU”。在这种系统中,由于每颗GPU都和其他GPU相连,因此内存统一访问的问题已经被大大简化,现在可能存在高达512GiB的高带宽(HBM2)内存被虚拟化后视作一个统一内存,GPU和NVSwitch也都实现了算法来辅助内存子系统。
- 虐腹不只为练出腹肌,9个动作挑5个,练不出腹肌也能增强核心!
- 吉姆·奥尼尔:中国是“金砖四国”的核心
- 瑜伽蜻蜓式锻炼手臂和核心的力量,帮助打开髋部
- 立心铸魂兴伟业——以习近平同志为核心的党中央情系教育事业
- 24岁健身女孩,打造出刀刻般的腹肌,腹肌中缝让人印象深刻
- 网红是如何制造出来的?暗访经纪公司揭开灰色面纱
- 泉山区火花街道:服务核心区 争当排头兵
- 实车曝光!众泰真的造出了“路虎揽胜” 连底盘车架都“照抄”!
- 陈一丹:“理性公益”将成公益行业下一波核心与关键
- 【财富号热文】A股三大核心问题,解决了就有望摆脱长期熊市