腾讯游戏数据团队发布智能数据助手Deltaverse UData

在2024年12月7日的StarRocks Summit 2024上，腾讯游戏数据团队孵化打造的数据品牌“Deltaverse”正式亮相，并发布了品牌旗下首个数据产品——大数据时代的智能数据助手“UData”。在峰会现场，腾讯游戏数据的技术负责人、资深专家工程师刘岩发表了主题为《AI时代的湖仓数据体系建设》的演讲，分享了腾讯游戏在「AI+湖仓」上的实践经验，以及UData如何帮助腾讯游戏业务提升数据工作效率。


作为一款问答式智能AI数据助手，UData基于大语言模型技术和湖仓一体架构打造，以新一代AI数据资产体系为支撑，资产能被AI理解和使用，能够提升业务需求到数据交付的准确率，为用户提供自然语言交互方式查询、探索、分析和可视化数据的便捷体验。

据刘岩介绍，UData已被应用于腾讯游戏内部超过80个业务，SQL代码编写效率提高了300%。在人们最关心的交付准确率方面，UData的一次性准确率达到89%，已满足实际业务场景需求。


“腾讯游戏现存业务每年有数万个数据挖掘和数据提取类需求，相比BI场景，数据挖掘需要面对数万甚至数十万张表，这些表能够让AI理解，并且做到人类水平的准确率，才能满足实际业务场景需求。”刘岩表示：“我们一直在探索如何更好地让AI能力为数据工作赋能，让AI真正被应用到实际业务场景中，让Data+AI成为企业的核心竞争力。UData是腾讯游戏数据团队内部的最佳实践，解决了构建"Data+AI"体系的关键问题。”

提升AI交付准确率的关键：需求构造和资产建设

腾讯游戏数据团队在大量的实践和研究分析中发现，在企业实际业务场景中AI写SQL的准确率之所以不高，往往并不是大模型能力不足，而是因为两方面的原因：第一是AI对数据需求的理解有歧义；第二是AI对数据资产的理解有歧义，大模型没有获得完备的信息。

针对这两个痛点，UData的技术路线重点就放在了需求构造和资产建设这两个方向上，通过工程化的方式来提升AI的准确率。

在需求构造上，首先定义AI和人都能理解的需求标准，基于定义好的需求标准，匹配需求案例和行业知识，将人提出来的需求改写成标准的需求格式，消除AI理解需求的歧义。此外，当数据需求较为复杂时，需求Agent能把复杂需求分解成简单的子需求，降低AI生成难度，通过工程化方式组合成最终结果，确保稳定可控的交付质量。


举例来说，当用户提出需求：统计游戏内各个玩法、按照每天的参与率排名+次日留存排名+七日留存排名，算一个总排名。UData会去查询相应的游戏领域知识，将这个复杂需求分拆为4个子需求，分别计算并生成参与率、活跃用户、玩法参与率、次日和七留的SQL，最后将4个数据包SQL结果合并，生成一个最终的SQL。

在资产建设方面，为了让AI能够更好的理解和使用资产，UData打造了基于“AI驱动的数据资产体系”。传统资产体系存在缺乏非结构化标准、建设滞后于业务需求、治理成本高等问题，不能支持大语言模型实现快速准确的交付数据需求。所以基于“新一代AI数据资产”，以让AI能够理解并且正确的交付SQL实现自助交付为目标，定义语义层建模规范，包括：行业知识、指标、维度、特征、元数据等。AI通过理解语意资产，对不同的需求采用不同的资产使用策略；对于已经有指标、维度资产的需求，通过推荐已有看板满足；对于新的指标、新的维度的需求，通过特征资产让AI生成指标、维度来满足；对于缺少语意资产的需求，AI能够感知并预警，补充特征等语意资产后，实现AI资产交付。


“新一代AI数据资产”能建立从业务需求、行业知识、数据结构之间的资产纽带，通过领域模型进行沉淀和推荐，确保资产能被AI理解和使用。

“稳定可控的需求构造和AI可理解的资产体系，是UData提升AI交付准确率的关键，也是UData相较于行业其他产品的差异化优势。”腾讯游戏数据技术负责人刘岩表示：“从目前腾讯游戏内部的应用情况来看，准确率已经能够稳定在89%，我们坚信这个方向是靠谱的。”

基于湖仓一体能力，实现智能动态的计算加速


为了能够支持对实时的明细数据进行探索和分析，仅仅把SQL写对是不够的，传统的数仓架构（例如：Lambda）大量计算是T+1离线进行的，不能支持对所有的数据进行实时快速查询。为此，UData对数据底座进行了升级，采用湖仓一体的架构，通过数据实时接入、虚拟数仓、冷热分层等技术实现对实时明细数据的高效查询。同时，UData建设了一个成本效率优化引擎，围绕资产热度、执行速度、数据量级三个方向快速定位需要优化加速的资产，通过资产整合、物化视图等方式，能够让数据低成本、高效率的使用。

基于大模型能力，建设可持续优化的运营平台

以新一代AI数据资产为基础，通过通用大模型、领域模型、Agent多智体架构，AI 能力得到了更好的释放。

目前，UData能够适配包括GPT、混元在内的多种行业通用大模型。此外，针对各行各业的行业Know-How、企业知识，UData引入了“领域模型”，通过知识图谱、语义理解、检索、排序等技术，帮助大模型更好地理解数据资产。


在平台应用流程方面，UData使用Agent多智能体架构，打造了一个人与AI高度协同工作、可持续优化的运营平台。将一个Job（工作）分解成若干的Task（任务），在某些Task上由AI完成，某些Task人与AI协同完成（需求协同、验收协同），覆盖从业务需求到数据交付的全链路，各节点Agent可与用户实时交互，及时感知问题并进行干预和修正，确保系统的可持续优化。


让AI重构数据工作的各个领域

UData已被应用于腾讯游戏内部超过80个业务，针对MOBA、MMORPG、战术竞技等不同品类的游戏，UData会基于具体的业务个性化需求，进行产品的持续迭代升级。

除了游戏业务之外，UData产品能力也可被用在其他行业，诸如餐饮、金融、教育等，助力传统企业实现AI数字化转型，提升数据工作效率，并通过新一代AI数据资产提升数据治理ROI，帮助企业降本增效。


AI技术在数据工作上的应用仍有巨大的潜力，腾讯游戏数据团队Deltaverse也在不断地探索，除了通过AI生成SQL以提升数据获取效率之外，我们还在进一步尝试将“AI+湖仓一体”的能力与更多工具和系统做集成，进一步探索挖掘AI的潜力，实现用AI来重构数据工作的各个领域。

对腾讯游戏数据团队Deltaverse、UData以及数据技术感兴趣的企业与合作伙伴，可以登录Deltaverse官网 www.deltaverse.net  查看更多信息，免费申请产品试用。