神经形态电子皮肤传感器融合使机器人能够抓握，识别物体神经形态电子皮肤传感器融合

神经形态电子皮肤传感器融合使机器人能够抓握，识别物体
触觉对于各种机器人任务（包括抓握和手动操作）至关重要。灵活的，事件驱动的电子皮肤的新进展可能很快使机器人具有与人类相似的触摸感知功能。这些电子皮肤会异步响应变化（例如，压力，温度），并且可以不规则地放置在机器人的身体或末端执行器上。
文章插图
新加坡国立大学的研究人员最近展示了使用神经形态传感器融合来帮助机器人抓握和识别物体的优势。这只是他们一直在从事的许多有趣的项目之一，包括开发用于传输触觉数据的新协议，建立神经形态的触觉指尖以及开发新的视觉触觉数据集以开发更好的学习系统。
由于该技术使用地址事件和尖峰神经网络，因此具有极高的能效：使用Intel Loihi神经形态芯片的效率是GPU的50倍。但是，这项工作特别值得称道的地方在于，它为神经形态技术指明了道路，这是一种有效地集成许多不同传感器的方法，并从中提取含义，以解决功率受限系统中的复杂任务。
他们使用的新型触觉传感器NeuTouch包括39个紫杉醇（触觉像素）阵列，并使用基于石墨烯的压阻层感应运动。您可以将其视为机器人指尖的前端。它被称为Ecoflex的人造皮肤覆盖，该皮肤有助于放大刺激，并由3-D打印的骨架支撑。然后可以将指尖传感器添加到夹爪上。
但是，这些传感器的新颖之处在于它们传达信息的方式。这不是串行完成的，每个传感器在给定的时间步长中顺序报告其状态，因为这太慢了。传感器阵列也不以网格的形式布置，因为-尽管对于许多电子系统而言很好-对于坚固的机器人皮肤，他们试图创建这种阵列太冒险了。如果皮肤受损，则可能会破坏传感器完整功能。
【神经形态电子皮肤传感器融合使机器人能够抓握，识别物体】相反， Benjamin Tee和他的同事们开发了异步编码电子皮肤（ACES）。它使用一根导体来传输（潜在地）来自成千上万个接收器的信号。该技术与地址事件表示（AER）有一些相似之处。如果每个传感器上的压力变化超过某个阈值，则基本上每个传感器都会发出正或负尖峰。像AER一样，这些尖峰仅根据现实世界中发生的情况异步发送。每个传感器的"尖峰"实际上都是唯一的代码（一系列尖峰），并且由于尖峰既是异步的又是相对冗余的，因此它们可以沿单根导线行进，并在以后与各个尖峰列进行解相关。
在他们去年发布的实验中，该小组能够将来自触觉阵列中压力和温度传感器的数据进行组合并展示出更复杂的传感器融合潜力。特别是， Harold Soh的小组将NeuTouch指尖与基于Prophesee事件的视觉传感器结合在一起，并使用生成的数据（单独和一起）训练了近似反向传播的基于尖峰的网络。
文章插图
图1：配备有Prophesee摄像头和NeuTouch增强型夹持器的机器人准备拾起下面的豆浆纸盒。其他摄像机跟踪实验，但其数据未用于分类任务。
经过训练，他可以捡起装有不同量液体的各种容器（例如罐头，瓶子和豆浆，如图1所示），该机器人不仅能够确定所举的是什么，而且还可以在30g以内确定多少重量。
视觉传感器数据能够比研究人员预期的更成功地对物体进行单独分类：由于容器的透明性和变形方式，物体的重心可变。而触觉数据改善了准确性。
但是更重要的是，当进行所谓的滑移测试时，两个传感器的组合为机器人提供了真正的优势。这是机器人夹住由具有的压力的量是不相当足够采取对象重量牢固，所以它必须下拉的倾向。在这里，同时使用触觉和视觉数据似乎确实有助于快速识别滑移（见图2）。
文章插图
图2：滑动任务中视觉/触觉数据组合的加权尖峰计数（由于没有足够的力量握住物体而使物体掉落）会提高机器人确定早期发生滑动的确定性（大约0.03s ）。这可能会提高机器应对任何后果的机会。
这部分归功于他们在模型中使用的称为加权峰值计数的数量来加速早期分类。从功能上讲，这可以改善机器的反应时间，使它有更大的机会将跌落物体的可能性和后果降至最低。
该小组已将其数据集提供给其他可能想改进所用学习模型的研究人员。