MetaCast:面向用户体验的元宇宙自动导播

目前,元宇宙的发展方向有多种,包括基于游戏的(如Roblox、Minecraft、Fortnite)、基于区块链的(如Decentraland和The Sandbox)、或者基于扩展现实的,比如Meta Horizon Worlds,这些项目背后的共同理念是为用户提供一个虚拟世界进行交互。随着元宇宙吸引着越来越多的用户,对导播系统的需求也随之出现。由于元宇宙应用的庞大规模,用户无法仅依靠自己的虚拟化身掌握所有重要情报。在这种情况下,能够实时播报事件的元宇宙导播系统可以帮助用户了解庞大的虚拟世界各处中正在发生的重要事件。大多数现有的虚拟导播系统主要用于电子竞技比赛,并由人工导演驱动,而元宇宙应用应该随时随地对任何人开放,其导播系统也应如此。故人为驱动的导播系统在实际的元宇宙应用中无法满足需求,不能提供全天候的服务。目前,研究人员已经开发了一些解决特定场景虚拟导播需求的系统,比如基于情节的叙述、电影序列拍摄和复杂人群跟踪。然而,市面上仍然缺乏一个通用导播框架来处理在不同元宇宙应用类型中发生的各种复杂情况。

研究方法

在本研究中,我们提出了一个包括事件管理器、镜头语言(PSL)解释器和摄像机控制器的三段式元宇宙导播系统架构。事件管理器从元宇宙中捕获新闻事件,如关键用户动作或人群聚集等行为。确定要进行播报的目标事件后,镜头语言解释器将为该事件选择多个拍摄参数,并将其转化为相应的摄像机位置。最后,摄像机控制器负责路径规划,包括转场时间和移动曲线。

为确定MAUE模型的合适参数,我们准备了具有不同影响因素设置的视频片段,并进行了用户研究。参与者通过平均意见得分(MOS)对视频片段的满意度进行评分。根据我们的实验数据,我们获得了一系列大多数用户喜好的导播系统设置。

为确定MAUE模型的合适参数,我们准备了具有不同影响因素设置的视频片段,并进行了用户研究。参与者通过平均意见得分(MOS)对视频片段的满意度进行评分。根据我们的实验数据,我们获得了一系列大多数用户喜好的导播系统设置。

研究结论

我们的研究结果显示,2:5的转场/镜头持续时间比获得了最高的用户满意度。大多数用户偏向在本地和全局事件之间保持平衡,以1:1的频率进行播报。对于事件的重要性阈值,应该根据在线用户数量进行动态调整,除此之外我们还得到了一张按用户满意度排序的图像构图配置表。

论文

Zhonghao Lin, Haihan Duan, Jiaye Li, Xinyao Sun, and Wei Cai, “MetaCast: A Self-Driven Metaverse Announcer Architecture Based on Quality of Experience Evaluation Model”, In 31st ACM International Conference on Multimedia (ACM MM 2023), Ottawa, Canada, October 29-November 3, 2023.