手语可以让聋哑人和重听人快速有效地与使用手语的人交流。然而,许多人在使用手语时感到尴尬,他们可能感觉像一个外国人,因为许多听力和语言正常的人不理解手语。现在,加州大学洛杉矶分校的生物工程师设计了一种手套状的设备,可以通过智能手机应用实时将美国手语翻译成英语语音。他们的研究发表在该杂志上电子性质.
“我们的希望是,这为使用手语的人开辟了一种简单的方式,可以直接与不使用手语的人交流,而不需要别人为他们翻译,”加州大学洛杉矶分校萨缪里工程学院生物工程助理教授、该研究的首席研究员陈俊(Jun Chen)说。“此外,我们希望它能帮助更多的人自己学习手语。”
该系统包括一副手套,手套上有薄薄的、可拉伸的传感器,传感器长度可达五根手指的长度。这些传感器由导电纱线制成,可以捕捉手部运动和手指位置,这些位置代表着单个的字母、数字、单词和短语,加州大学洛杉矶分校的报告.
然后,该设备将手指的动作转化为电信号,发送到戴在手腕上的一块美元硬币大小的电路板上。该板将这些信号无线传输到智能手机上,智能手机将信号以大约每秒一个词的速度翻译成口语。
研究人员测试了该设备,看它是否能解释美国手语。因此,他们在测试者的脸上——眉毛之间和嘴的一侧——添加了粘性传感器,以捕捉美国手语的面部表情。
陈说,以前提供美国手语翻译的可穿戴系统笨重,戴起来不舒服。
加州大学洛杉矶分校的设备由轻质、廉价、耐用、可拉伸的聚合物制成。电子传感器也非常灵活和便宜。
在测试该设备时,研究人员与四名使用美国手语的聋哑人合作。佩戴者将每个手势重复15次。一种定制的机器学习算法将这些手势转化为它们所代表的字母、数字和单词。该系统识别了660个符号,包括字母表中的每个字母和数字0到9。
阅读更多Quantic纳米科技公司开始了首个可穿戴骨关节炎手套的上市前试点试验
加州大学洛杉矶分校已经为这项技术申请了专利。陈说,基于该技术的商业模式将需要增加词汇量和更快的翻译时间。