话虽如此 ， 神经网络已经使用 16 位和 8 位浮点数进行了训练 。
2015 年 ， Suyog Gupta 及其同事发表的第一篇有关降低深度学习中的数值精度的论文是《Deep Learning with Limited Numerical Precision》 。 论文结果表明 ， 32 位浮点表示形式可以减少为 16 位定点表示形式 ， 而准确度几乎没有降低 。 但这是使用 stochastic rounding 算法的唯一情况 ，因为通常来说 ， 它会产生无偏结果 。
2018 年 ， Naigang Wang 及其同事在其论文《Training Deep Neural Networks with 8-bit Floating Point Numbers》中使用 8 位浮点数训练了神经网络 。 由于需要在反向传播期间保持梯度计算的保真度（在使用自动微分时能够实现机器精度） ， 因此使用 8 位数字来训练神经网络要比使用推理更有挑战性 。
计算效率如何？
模型还可以进行裁剪 ， 以提高计算效率 。 广泛部署在移动设备上的模型架构如 MobileNetV1 以及 MobileNetV2 就是很好的例子 。 这些本质上是卷积神经网络 ， 它们重新定义了卷积运算 ， 使其计算效率更高 。 这种更有效的卷积形式被称为深度可分离卷积 。 此外还可以使用基于硬件的配置以及神经架构搜索来优化架构延迟 ， 但这些在本文中没有涉及 。
下一次 AI 革命
在资源受限设备上运行机器学习模型的能力为许多新的可能性打开了大门 。 AI 的发展可能使标准机器学习更加节能 ， 有助于减少人们对数据科学影响环境的担忧 。 此外 ， TinyML 允许嵌入式设备被赋予基于数据驱动算法的新智能 ， 这些算法可以用于从预防性维护到森林中的鸟叫声检测等任何方面 。
【边缘AI新方法TinyML，超低功耗，在边缘设备进行机器学习】虽然一些 ML 从业者无疑会继续扩大模型的规模 ， 一个新的趋势是开发更多具备内存、计算和能耗效率的机器学习算法 。 目前 ， TinyML 仍处于起步阶段 ， 未来发展的空间还很大 。

• 面临|“熟悉的陌生人”不该被边缘化
• 麻烦|你还在工资边缘吗？多地上调最低工资标准，低于这个数老板有麻烦
• 关于边缘计算与网络动态加速
• 边缘计算助力行业智能化转型〡水木资本原创
• 边缘|边缘计算是货运的未来吗？
• 中国|多年深耕结硕果，边缘计算产业正在引爆
• AI算法主要执行者，边缘服务器深度应用助力智慧城市建设
• 取证|微信转账交易记录如何取证最新方法来了
• 5G结合边缘运算催生电信云 支持随选消费模式
• 蔚来一年：从破产边缘到“泡沫之巅”