新加坡南洋理工大学的科学家们开发了一种人工智能(AI)系统，该系统通过结合类似皮肤的电子设备和计算机视觉来识别手势。
由新加坡南洋理工大学和悉尼科技大学的科学家组成的研究小组在科学杂志上发表了他们的发现电子性质6月。
人工智能系统对人类手势的识别在过去十年中是一项有价值的发展，已被用于高精度手术机器人、健康监测设备和游戏系统，新加坡南大报道．
最初只有视觉的人工智能手势识别系统通过集成可穿戴传感器的输入得到了改进，这种方法被称为“数据融合”。这种可穿戴传感器重现了皮肤的感知能力，其中一种被称为“体感”。
然而，手势识别的精度仍然受到来自可穿戴传感器的低质量数据的阻碍，通常是由于它们的体积大，与用户的接触不佳，以及视觉阻塞的物体和糟糕的光线的影响。进一步的挑战来自于视觉和感官数据的集成，因为它们代表不匹配的数据集，必须分别处理，然后在最后合并，这是低效的，并导致较慢的响应时间。
为了应对这些挑战，南洋理工大学的团队创建了一个“生物灵感”数据融合系统，该系统使用了由单壁碳纳米管制成的类似皮肤的可拉伸张力传感器，以及一种类似于大脑中处理皮肤感知和视觉的人工智能方法。
南洋理工大学的科学家们将三种神经网络方法结合在一个系统中，开发了他们的仿生AI系统:他们使用了“卷积神经网络”，这是一种用于早期视觉处理的机器学习方法，一个用于早期躯体感觉信息处理的多层神经网络，以及一个“稀疏神经网络”，将视觉和躯体感觉信息“融合”在一起。
其结果是一个比现有方法更准确、更有效地识别人类手势的系统。
该研究的主要作者，来自南洋理工大学材料科学与工程学院的陈晓东教授说:“我们的数据融合架构有自己独特的生物灵感特征，包括一个类似大脑中躯体感觉-视觉融合层次的人造系统。我们相信，这些特性使我们的架构有别于现有的方法。”
“刚性的可穿戴传感器无法与用户形成足够亲密的接触，从而无法精确地收集数据，相比之下，我们的创新使用了可拉伸的张力传感器，可以舒适地附着在人体皮肤上。这允许高质量的信号采集，这对高精度识别任务是至关重要的，”陈教授补充说，他也是南洋理工大学柔性设备创新中心(iFLEX)的主任。
为了从手势中获取可靠的感官数据，研究团队制作了一个透明的、可拉伸的应变传感器，它附着在皮肤上，但无法在相机图像中看到。
为了验证这一概念，该团队使用机器人通过手势控制并引导其通过迷宫来测试他们的仿生AI系统。
结果表明，由仿生人工智能系统驱动的手势识别能够引导机器人通过迷宫，误差为零，相比之下，基于视觉的识别系统有6个识别错误。
南大研究团队目前正在研究基于已开发的AI系统构建VR和AR系统，用于需要高精度识别和控制的领域，如娱乐技术和家庭康复。
