近日，我校电气工程学院高放教授研究小组成员组成的团队在第34届ACM国际多媒体会议（ACM Multimedia 2026）EgoLink挑战赛赛道1中获冠军。该团队由高放指导，成员包括其博士研究生王家宝等。
赛道1面向第一人称视角下的语言—视觉理解，要求参赛团队所设计的模型综合画面、语音和互动过程，判断人物关系、情绪变化及行为动机。这类任务不仅考察物体与动作识别，更要求模型在视角受限、线索不完整甚至相互冲突的情况下，区分视频事实与常识推测，完成复杂社会推理。针对上述难点，该团队构建了证据约束的第一人称社会推理框架，将人物、物体、动作和情绪线索组织为结构化证据，逐项检验候选答案是否得到视频内容支持，减少模型依赖场景印象和语言习惯作出判断，为第一人称视频理解与多模态社会智能研究提供了新的技术思路。该研究可为具身智能机器人在家庭服务、康养辅助和人机协作等场景中理解人的意图、情绪与互动规则提供技术参考。
证据约束的第一人称社会推理框架图
ACM Multimedia是由美国计算机学会主办的多媒体领域重要国际学术会议，也是中国计算机学会（CCF）推荐的A类国际学术会议。EgoLink挑战赛聚焦第一人称视频理解与具身智能社会认知，吸引了来自海内外高校及科研机构的团队参与，竞争激烈。
