近日，我校扩展现实（XR）人机交互团队在XR操作系统图形用户界面领域取得了三项创新研究成果。研究成果分别以"SummonBrush: Enhancing Touch Interaction on Large XR User Interfaces by Augmenting Users' Hands with Virtual Brushes","BoundaryScreen: Summoning the Home Screen in VR via Walking Outward"和"AmplitudeArrow:On-the-Go AR Menu Selection Using Consecutive Simple Head Gestures and Amplitude Visualization"为题陆续发表于IEEE Transactions on Visualization and Computer Graphics期刊上。这三篇研究成果的第一作者和通讯作者为我校计算机与电子信息学院副教授田阳，第一完成单位均为广西大学。

第一项研究成果致力于减轻用户在与XR操作系统界面交互过程中的上肢疲劳。由于人们对物理触摸屏上的触控交互非常熟悉，触控交互是XR交互环境中的基本交互范式之一。然而，与移动设备触摸屏相比，XR操作系统界面的面积显著增大，用户通常需要进行大量手臂移动才能完成交互。为此，该团队提出了SummonBrush技术，使用户在与大尺寸XR操作系统界面交互时，可以轻松地召唤隐藏窗口，同时大幅减少手臂的移动。SummonBrush在用户食指指尖添加了一个虚拟画笔。当虚拟画笔接触虚拟界面时，会像物理画笔一样发生弯曲和发散，同时虚拟墨水在画笔内扩散。虚拟画笔弯曲和发散的程度越大，虚拟墨水扩散得越多。用户只需将虚拟画笔按压在虚拟界面上，使虚拟墨水完全填满虚拟画笔，并执行滑动手势，即可在虚拟界面任意位置召唤隐藏窗口或后台应用。此外，用户还可以通过将虚拟画笔按压在后台应用程序的缩略图上，实现应用程序的快速切换。研究结果表明，使用SummonBrush召唤隐藏窗口和激活／关闭后台应用时，手臂移动时间分别减少了39%和34%，显著减轻了上肢疲劳。

第二项研究成果致力于帮助上肢功能障碍用户通过行走唤醒XR操作系统主界面。在XR空间中，安全边界墙是一个虚拟屏障，仅当用户靠近安全边界时出现，使用户能够在没有安全顾虑的情况下进行移动和交互。然而，现有的安全边界墙的实现方案忽视了利用安全边界墙展示可交互信息。在这项工作中，该团队提出了一种基于“向外走”隐喻的BoundaryScreen技术，为安全边界墙增加交互性。具体而言，该团队将XR操作系统的主界面放置在安全边界墙上，则用户只需向外行走，直至安全边界墙出现便可使用主界面。

第三项研究成果旨在帮助上肢功能障碍用户仅通过简单的头部旋转动作高效地与XR操作系统界面进行交互。在本研究中，该团队提出并评估了一种适用于行走过程的、仅依赖连续简单头部旋转动作的XR操作系统界面交互技术AmplitudeArrow。AmplitudeArrow技术通过对二维头部指向（pointing）任务进行降维，将一个维度的头部旋转动作用于选择确认（selection confirmation）任务，从而有效抵消行走过程中的头部晃动。用户研究结果显示，在图标水平分布不超过六列（共十二个图标）且XR眼镜水平视场为43度的条件下，AmplitudeArrow技术能够有效抵消因行走及外部因素（如其他人或障碍物）引起的头部晃动，实现高准确率（错误率低于5%）和较快的选择速度（每次选择少于1.5秒）。

据悉，随着XR眼镜在重量和成本等方面的显著降低，XR眼镜已进入实用化阶段。这些研究成果为尚未成熟的XR眼镜操作系统界面设计提供了切实可行的方案。