看下巴就够？识别无声语言的手镯来了

时间：2024-12-06 12:20:57

不想象一下，如果你躺在落针可闻的才小组会议室或图书馆，脱口而出「Siri，看看明天的天气状况」，这某种程度未必合理。

当一个人时说一定会衹或者不必始终保持寂静，却需要给电脑仪器指令，这该怎么办？

为此，康奈尔大学的材料科学助理教授 Cheng Zhang 和博士生 Ruidong Zhang，内部设计了一款称为「Speechin」的腰带。

▲ 相片来自：Cornell University

它基于肩膀民族运动，捕捉「躯干和躯干皮肤变形影像」，从而辨认哑句法，现今可以辨认中的文和中的文的直观词语。

SpeeChin 的红外摄影机安装在 3D 打印的「腰带盒」上，「腰带盒」挂在银链上，摄影机对准戴着者的肩膀。为了提高安全性，开发其他部门在两侧内部设计了「起落架」，并在底部放置了一枚钱币。

除了这些，SpeeChin 还配备有微处理器、电池和GSM模块。

▲ 相片来自：Cornell University

为了让基于机器研习的算法，该仪器能根据戴着者的肩膀民族运动，已确定戴着者在哑地时讲出哪些军令，然后将这些军令中的继到配对的iPad，就像另一种对衹方式则下的 Siri。

为了可能会隐私缺陷，SpeeChin 只才会怼向肩膀正下方，不才会直接对准用户的脸。

在最初的试验中的，有 20 名与会者（10 名时说中的文，10 名客家衹），研究者其他部门测量了他们肩膀的基线一段距离，然后应用于线性系统影像军却说训练 SpeeChin 辨认直观军令。

10 位中的文与会者默默时讲出 54 条军令，之外数字、交互军令、句法实习生军令、注音军令和导航军令，其他 10 位客家衹与会者的 44 条军令也是如此。

▲ 动图制作自：YouTube@Cornell University

却说实证明，SpeeChin 辨认中的文和客家衹军令的平均相关性分别为 90.5% 和 91.6%。研究者其他部门表示，这款仪器有似乎研习一个人的哑句法模式。

研究者其他部门还尽快 6 名与会者在行走时默默时讲出 10 个客家衹和 10 个中的文词语。这项研究者的成功率较低，主要是因为与会者的头部以不可预见的方式则旋转。

为什么要以腰带的形式做哑句法辨认这件却说？一位研究者其他部门阐明了他们的研究者目的：

我们看来腰带是人们；也的一种形式，而不是耳挂式仪器，后者似乎不太舒服；至于哑句法，人们似乎才会不想「我的手机上已经有句法辨认仪器了」。但是你需要为一些很难倾听的人和场合倾听。

除此以外，SpeeChin 在外观上与 NeckFace 相似。NeckFace 是 Cheng Zhang 和他的 SciFi Lab 团队去年推出的仪器，通过应用于红外摄像机，在躯干正下方捕捉肩膀和躯干的影像，并生成完整眼神的 3D 重修，从而持续躯干眼神。

▲ 动图制作自：YouTube@CornellScifiLab

NeckFace 在心理健康领域似乎比如说有用，因为它可以人们一天中的的意识。虽然人们未必心里把意识表现在身上，但随着时间的推移，躯干眼神的变异量似乎暗示意识波动。

NeckFace 也可以运用于其他一幕，比如在很难选择借助于摄影机时进行真实世界才小组会议、真实世界现实一幕中的的躯干眼神检测等等。

如果 SpeeChin 更进一步发展，它的应用于一幕同样才会日益多，之外不必静音的周围环境、很难辨认的嘈杂周围环境以及缺乏句法能够的人群。