FBEC2023 | 普罗米修斯CEO张煜：数字生命——大模型可驱动的体积视频

FBEC2023未来商业生态链接大会暨第八届金陀螺奖于2023年12月8日在深圳福田大中华喜来登酒店6楼盛大召开，本次大会由广东省游戏产业协会、深圳市互联网文化市场协会指导，陀螺科技主办，中国光谷、游戏陀螺、VR陀螺、陀螺财经、陀螺电竞联合主办。

大会以“合力共生·韧者行远”为大会主题，以具有行业前瞻洞察的“航行者”为视角，破冰之旅为主线，关注AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿领域，全方位呈现科技前沿成果，聚焦时代与商业热点议题，探讨新科技、新商业、新模式的未来价值，与真正的勇者共赴剧变革新下的凛冬破冰之旅！

FBEC2023分会场A：全球3D技术应用论坛邀请到普罗米修斯视觉CEO张煜带来主题为“数字生命——大模型可驱动的体积视频”的精彩演讲。张煜指出，普罗米修斯视觉在相机矩阵采集系统领域已深耕10年，全栈解决方案均为自研。


以下为演讲实录：

大家好，我是普罗米修斯的CEO张煜，我们公司主要做大模型可驱动的体积视频。首先介绍一下我们公司，普罗米修斯视觉是一家专注于研究体积视频技术及应用的高新技术企业，核心技术团队由清华大学博士团队和香港科技大学博士团队等顶尖院校的高精尖人才组成，我们在相机矩阵采集系统领域已深耕10年，是全国唯一一家全栈解决方案都是自研的企业。迄今为止拥有发明专利70多项，目前估值不到10亿，董事长是北航软件学院的创始院长孙伟。

现在我跟大家分享一下公司做了10年的比较成熟的解决方案，其中一个核心方向是专业相机矩阵的同步、标定、采集+传输、存储的全栈解决方案。它涵盖以下四个特点，亚毫秒级别的同步、亚像素级别标定、万兆网络的传输和采集，以及高速固态硬盘存储。

第一个特点是相机同步，整套系统支持从5fps到120fps的可自主调节采集，相机从几台、几十台到几百台都可以支持毫秒级别同步的采集方式。这是我们自研的一套同步系统，它是一个波形发生器，精度可达到亚毫秒级别，最高支持120fps的曝光。而且算法会自动纠正随着时间带来的累计误差，保障长时间采集拍摄过程中的稳定同步。

第二个特点是自动标定，行业人士都知道，几百台相机的标定是很麻烦的问题，我们已经自研超高精度标定算法，所有相机全局收敛，全局误差小于0.5个像素，而且整个过程全自动化，10分钟以内就能完成几百个相机的同步标定。

第三个特点是高速采集+传输，从相机输出、传输网络到存储系统输入都是万兆网架构，保证海量数据采集传输顺畅无延时，无卡顿。

第四个特点是存储系统，在存储上，我们采用了M.2高速固态硬盘采集系统 + 企业级HHD硬盘阵列，既保证高速采集，又确保存储可靠。

这个产品主要有四大应用场景，第一是无标记点动捕人体骨骼数据采集，第二是三维人体动态模型重建数据采集，第三是三维人体动态点云数据采集，第四是语音表情动态数据采集。

在可选相机里面，我们同时支持卷帘快门相机以及全局快门相机。有些应用对深度有要求，因此我们还提供一个模组，这个模组由两个IR相机、彩色相机和随机散斑投射器的POD组成，可以完成非常准确的深度采集。该模组适用于三维建模，点云采集，像流行的NeRF、NeuS等都可以通过这个方式采集数据。

在可选软件包里，首先讲下IR双目的stereo，这就是一个典型的IR相机拍出来的图像，身上的散斑都是我们研发的一些非均匀散斑，通过这种散斑和自研的stereo的一些算法可以做到高精度的深度计算，之后再用基于神经网络的方式让它变得更加精确。

图片上显示的是一个骨骼检测软件包，可实现全身骨骼点检测以及高精度的脸部扫描。在通过多相机的拟合和检测后，骨骼点和脸部的表情点会非常准，这个软件包比较适合一些动捕人体骨骼数据采集的需求。

除了关键点的采集，我们还支持比较典型的SMPL和SMPLX的一些参数人体模型的采集。关于脸部的关键参数模型等，整套系统也同样支持。所以不管是全身还是脸部都可以采用这套相机矩阵，通过增减或者选不同的模块去实现。

接下来介绍一些成功案例，港科大有我们一套动态的重建及应用元实验室数字人重建拍摄系统。深圳第二高级技术学院、江西软件职业技术大学、贵州盛华职业技术学院、北京容积视觉有限公司等，他们的整套方案也是我们提供的。

最后总结一下，公司研发的这套相机矩阵采集系统的相机数量从几台到几百台可选，相机类型不仅可选2K、4K、卷帘快门、全局快门，红外IR相机都是可选的，占地面积7米乘7米，可拍摄范围是5米乘3米高的圆柱体。

此外，我们产品有三大优势，超过10年的产品研发，迭代，大量客户长期使用，系统稳定，好用，完整；清华，港科大博士团队从底层研发，底层可控可定制，算法水平属国际第一梯队；软硬件全国产，成本可控有优势。