与星瞳一起跳舞！腾讯先锋探索虚实互动新玩法

11月3日-11月5日期间，时尚虚拟偶像、QQ炫舞系列虚拟代言人星瞳在杭州竞鹅酒店（腾讯电竞联名店）举办线下生日活动，期间腾讯先锋与星瞳IP、竞鹅酒店展开技术合作，共同解锁沉浸感十足的“AI虚实互动体验”，邀请线下观众与星瞳在虚拟场景中实时“斗舞”。这也是腾讯先锋基于其虚实互动技术打造的“云渲染+虚实互动”新玩法的线下首发落地。


未来，腾讯先锋虚实互动技术还将通过TV客户端触达更广泛的用户，带来更具趣味性、专业性的大屏健身交互体验。

打破虚实界限，邀你与星瞳共舞

从2018年首次亮相，到与国乐大师方锦龙先生同台表演，再到参与国产原创动漫形象舞台竞演节目《2060》，虚拟人星瞳从虚拟世界走来，以愈发鲜活的形象与现实世界产生互动。

而竞鹅酒店是腾讯电竞与欧愉科技共同打造的电竞酒店品牌，酒店拥有浓厚的虚拟人及虚实互动氛围，拥有国内首个电竞虚拟主理人V姐全方位服务、电竞主题数字互动体验、正版电竞IP主题房等一系列电竞数字IP体验空间。这次生日活动就落地在竞鹅酒店，借助腾讯先锋自研的虚实互动技术，观众首次以“真实形象”进入星瞳的世界，与她共舞一曲。


在互动环节，参与体验的观众只需站在互动区域，其真人形象就能够通过手机摄像头投射在虚拟场景中，其在现实世界中的一举一动也会实时同步至屏幕中，舞蹈挑战开始后，系统通过判断观众的骨骼姿势进行打分评级。

简单易上手且自由度极高的操作，极具沉浸感、趣味性的交互玩法让观众直呼过瘾，同时无需穿戴设备和绿幕背景，仅通过普通手机摄像头就能在虚拟世界实时互动的低门槛体验，也让观众对这一技术走进自家客厅充满了期待。为了打造优质的AI虚实互动体验，腾讯先锋在其自研虚实互动技术里综合应用了诸多技术能力，包括实时无绿幕抠图、姿态估计与动作捕捉、实时云端视频流媒体AI通用处理架构。

其中，实时无绿幕抠图技术，绕过了设备的限制，能够在云端进行实时4K视频发丝级抠图。换句话说，无需绿幕或设备算力，只需普通的手机摄像头，也能在虚拟世界中实时呈现高质量的真实人物形象，并且帧率可达60FPS，足以满足普通用户在虚拟场景实时互动的需求。


而在姿态估计与动作捕捉方面取得的技术突破，则进一步降低了AI虚实互动体验的门槛，不仅摆脱了对特殊场地和拍摄设备的依赖，也无需额外的可穿戴设备，仅通过手机或是普通的RGB摄像头，即可实现包括身体、手部和表情在内的高精度动作捕捉以及虚拟形象表演驱动。结合深度神经网络的视觉AI动捕技术和端云协同的多视角拍摄与计算能力，能够进一步提高精度及稳定性，精准还原肢体律动。同样，该技术也是完全基于云端计算，无需额外算力。


上述两大技术能力都对“云”提出了极高的要求，面对随之而来的延时、画质、跨终端等实际问题，腾讯先锋打造了实时云端视频流媒体AI通用处理架构，整合硬件编解码和高效神经网络推理框架，构建了完整的视频流媒体处理与云端低延迟AI计算方案，并且支持先锋云游戏kunpeng、ampere、x86+nvidia gpu等多种平台, 适配不同gpu集群部署，支持边缘节点部署调度。 在腾讯先锋云游戏云计算能力的加持下，“云渲染+虚实互动”玩法的链路延迟基本可稳定在100毫秒以下，并且可实现单机64路视频流的实时动作捕捉，使得用户随时随地在虚拟世界进行交互成为可能。

多场景创新融合，探索云游戏技术的无限可能

多年来，腾讯先锋在云游戏领域进行了深入的探索，在关键技术、应用场景、内容生态等方面积累了丰硕的成果，并持续丰富用户的娱乐互动体验，不断拓宽云游戏的可能性。


云游戏的愿景之一就是降低设备门槛，打破不同设备间的隔阂，让用户随时随地获得极致的体验。在服务玩家的过程中，腾讯先锋持续发力无缝跨场景连接，围绕缩短内容到用户的“距离”，进行了全方位的优化，跨端解决方案日趋完善：支持手Q、微信登录一键授权，打通移动、PC、TV大屏等多终端的游戏体验，是国内少有的全终端云游戏生态平台。同时通过定制化游娱套装, 腾讯先锋解决了移动游戏在大屏端的交互问题，让用户体验更加“丝滑”，促进多用户场景的渗透。

基于多年来沉淀的云游戏技术能力，腾讯先锋也在不断拓展技术的边界，寻求新的突破。此前，腾讯先锋参与了“云游长城”项目中“数字长城”的制作，为其提供云游戏技术支持，帮助数以亿计的数字资产成功“上云”，并通过独有的云游戏传输流控算法在移动端打造3A级的观看效果和交互体验。这也是全球首次将云游戏技术应用于人类文化遗产保护。

今年9月，高新视频互动场景创新国家广播电视总局实验室正式启动，在上海市广播电视局的指导下，腾讯先锋将联合行业共建单位聚焦高新视频云互动数字场景创新应用开展相关研究，为丰富高新视频内容供给、培育智慧广电新视听提供重要支撑。


腾讯先锋还在积极拓展云互动与社交、演艺、文创、运动等领域的创新融合，打造低门槛的虚实互动体验。此次与星瞳IP的技术合作，为大众打开了近距离接触云游戏技术的新窗口，以极致的用户体验又一次刷新了外界对于这一技术的认知与想象空间。

未来，云游戏技术将被应用于更多数字场景之中。借助云游戏技术，用户可以与数字人、KOL等同场景实时互动，或是与身处不同空间的用户同屏互动，抑或是丰富XR领域的内容生态，提升可玩性，解锁更多创新玩法。

可以预见，在云游戏技术的底盘之上，不仅可以诞生各种各样的游戏服务，持续提升用户娱乐体验，也可以与更多非游戏行业创新结合，以丰富的形态渗透进大众生活，带来全新的数字体验，释放无限可能。