
苹果AR/VR眼镜的交互方式到底是什么样呢?新Apple Watch功能的交互方式是苹果XR眼镜的输入方式嘛?还是基于戒指的?还是基于手套呢?
基于Apple Watch
Apple Watch的AssistiveTouch功能可通过检测手的握紧和捏紧以及基于加速度计的控制来实现对手表的单手控制。该系统看起来与Apple和Facebook在XR输入上所做的工作非常相似,并且可能证明苹果将为其传闻中的XR眼镜采用腕戴式输入。
该公司在这里展示了拳头紧握和捏合的使用方法,这是在手表上做出选择的独特命令。另一个功能允许使用加速度计数据调出并控制光标。
尽管与使用XR眼镜进行输入时理想的输入相比,这些输入的保真度较低,但Apple表示,即使是其当前的手表也可以“检测到肌肉运动和肌腱活动的细微差别”。这种精确的感测似乎正是苹果公司和技术巨头Facebook所指望的XR输入的未来。
基于戒指
自2019年以来,苹果已经为可戴在手指上并用于控制VR或AR眼镜的设备申请了至少六项专利。2021年3月发布的最新专利申请也属于此类。

Apple Ring:手势识别和触觉。该专利描述了一种带有SMI传感器的指环。它们发出的激光被物体反射并干扰传感器中的光。这些干扰信号可用于测量到附近物理物体的距离。
目前虚拟现实头戴式眼镜通常带有相当大且笨重的控制器,可以帮助用户与虚拟世界互动。但是,由于它们的大小,在外面使用并不十分方便或实用。这就是为什么苹果公司正在探索采用环形的小得多的控制器来改善人机交互。
Apple表述该环配备有多个这样的传感器,可以在空间上定位并检测附近的物体。因此,VR或AR眼镜可以准确地知道手指在哪里以及它如何在空间中移动。通过两个或多个智能环,可以更好地识别手势,例如用于与数字显示器的精确交互。
目前缺少的是触觉反馈。但是苹果公司已经在朝着这个方向进行研究:一项较早的专利显示了一种“顶针”,使用户可以感觉到数字虚拟元素是被点击还是被选中。

如果指环检测到手中有一支Apple Pencil,则它可以相应地调整其手势,轻拂手腕可能是撤消功能,以其他方式轻拂手腕可能会改变书写工具,依此类推。

圆环还可以用来提示另一台设备,例如一副智能眼镜,Apple Pencil在眼镜上的“位置”,以便用户随后可以将Apple Pencil与圆环结合使用,在眼镜上进行虚拟绘制。
基于手套
苹果最近赢得了一项混合现实手套专利,该专利使用了多段力传感器等。根据Apple的说法,混合现实应用程序的研究重点是混合现实应用程序,其中参与的个人或用户可见的视图可能包含与虚拟对象或与现实世界对象有关的补充信息叠加在一起的现实世界对象。混合现实应用程序的许多方面都依赖于使用传感器组合捕获的视频数据。
例如,可以捕获代表用户可见场景的数据帧以及个人凝视的方向,以及这些数据帧在重新显示给用户之前,可能会对虚拟对象进行分析并添加虚拟对象。使用头戴式设备等,可以有效地捕获用于混合现实应用的与视觉和听力有关的传感器数据。然而,与诸如触摸之类的其他感觉相关联的数据也可能与至少某些类型的混合现实应用相关,并且可能无法使用视频/音频传感器来检测此类数据。
捕获和解释与各种类型的应用程序相关的触摸交互的潜在细微方面(例如,施加到真实工具上的握力的组合或叠加在真实对象上的虚拟工具的组合,或施加力的变化的相对时间)仍然是一个具有挑战性的技术问题。Apple授予的专利涵盖了各种方法和设备的案例,这些方法和设备用于检测和分析个人使用手可穿戴设备(例如手套)和配备有多段力传感器的其他类型的可穿戴设备施加的力。可穿戴电子设备可以包括一个或多个多段力传感器以及至少一个信号聚合器。
在各种实施例中,给定的多段力传感器可以包括连接到柔性基板材料的多个传感器段。基底材料可以至少部分地包裹在个体身体的一部分周围。例如,在手持式设备的情况下,衬底材料的第一部分和衬底材料的第二部分可以共同地至少部分地包裹在个体的特定手指上,并且第一传感器段附连至所述第一部分和附接到所述第一部分的第二传感器段。各个多段力传感器可以用于肢体(手或脚)的一个或多个手指(手指或脚趾)。
手持式设备的各个部分中的各个部分可能能够提供个体使用与该部分相邻的手指的不同部分所施加的力的大小的各自不同的指示(例如,当个人将手指按在手指上时)。硬或软的表面,使手指沿表面滚动或滑动,或用手指/拇指的组合握住物体)。
传感器段或元件可以由薄的柔性材料组成。例如,用于感测电极和驱动电极的柔性电路可以依次连接到柔性基板材料(触觉特性类似于布或皮革的触觉特性),从而使给定的多段传感器至少部分地包裹在传感器上。至少在一些实施例中,它可以为配备有传感器的设备的佩戴者提供舒适自然的感觉。
苹果的专利图1示出了配备有多个多段力传感器的手持式设备,其输出可以在应用处理引擎处被分析:

下面的图2展示了系统环境,其中可以对从头戴式设备和配备有多段力传感器的一对可穿戴设备捕获的信号进行处理以用于混合现实应用。
如图所示传感器(#240)除了视频之外还可以收集关于用户环境的附加信息(例如,深度信息,照明信息等)。类似地,在一些实施例中,用户传感器(#250)可以收集关于个体的附加信息,例如表情,面部手势,头部运动等。
3D虚拟视图(#204)可以包括三维空间(3D),该三维空间包括在使用图2的混合现实系统时个人看到的不同深度处的虚拟内容(#210)在3D虚拟视图中,相对于由HMD(#202)提供的用户的当前视线,虚拟内容可以在单个环境的视图上叠加或合成。在不同的实施例中,HMD可以实现各种类型的虚拟现实投影技术中的任何一种。
例如,HMD可以实施近眼VR技术,例如在使用DLP(数字光处理),LCD(液晶显示器)的技术中,在被检者观看的人眼前方的屏幕上显示左右图像和LCoS(硅上液晶)技术VR系统。另外一个案例HMD可以包括直接视网膜投影仪系统,其将逐个像素左右图像扫描到对象的眼睛。为了扫描图像,左右投影仪可以产生光束,这些光束指向位于人眼前面的左右反射组件(例如,椭圆镜)。反射组件可以将光束反射到眼睛。
为了创建三维(3D)效果,可以根据距离的三角测量在两个图像中向左或向右移动3D虚拟视图(204)中不同深度或距离的虚拟内容(210) 下面的图6展示了配备有多段力传感器的手戴式设备的手指的仰视图和侧视图;如图7示出了控制和通信单元相对于用手戴式设备的手指的多段力传感器的示例性定位。

