研究人员吐槽当前的AI训练效率不高 浪费太多精力和能源( 二 )


【研究人员吐槽当前的AI训练效率不高 浪费太多精力和能源】从业界发展的趋势来看 , 与 BERT 类似的 GPT-2 语言模型的开销更是有过之而无不及 。 其网络中的权重已达 15 亿 , 更别提精度更高的 GPT-3 了(权重 1750 亿) 。
Google's DeepMind AI Just Taught Itself To Walk(via)
研究人员指出 , 许多人已经意识到 , 即便最终只有一小部分网络能够发挥最大的作用 , 但构建出一套更大规模的网络 , 还是有助于提升整体结果的准确性 。
遗憾的是 , 与生物大脑的神经元效率相比 , 计算机实在是差了太多个数量级 。 为了减少碳足迹 , 科技企业或许会转向更绿色的能源、以及借助更加专用的 AI 模型训练硬件 。