互联网用研的痛点思考：游戏运营数据意识为何如此薄弱

文／叉烧拼咸蛋

曾经参加过一场有关游戏数据应用的座谈会，主办发邀请了在广州做游戏运营、策划和数据分析的人，谈论的话题是“游戏的大数据应用”。听了一圈下来感觉多数人的数据的意识还是比较薄弱的，基本的运营数据可能都未必能做到精细，更谈不上“大数据”应用。不仅是游戏，可能大多数的互联网公司都是如此。很多互联网从业者都意识到要关注用户，而关注用户离不开对用户的研究。那么互联网的用研到底是怎么做的？目前有哪些痛点？还能有哪些可以提高改进的地方？

互联网用研的现状

谈现状之前，首先想谈谈用研的概念。我认为目前互联网行业的用研主要包含以下两个大的方面：

1. 产品数据分析与应用：这一方面是互联网产品的优势，因为互联网产品可以很好地记录用户在产品内产生的行为，从而获得海量客观、细致的数据，这是传统行业所羡慕的。对数据应用的角度大概可以把互联网公司分为三个层级：

1）第一层是基础分析层，基础数据既包括我们常说的宏观经营数据，例如Talking Data的手游数据体系，套路基本上遵循Come-Stay-Pay-Leave的漏斗模型，这种数据几乎是必看的也是管理层最关注的数据，小公司可能通过接友盟、百度思南等第三方数据服务公司的SDK和网页代码来获取；基础数据还包括产品本身或者运营活动本身产生的数据，例如关卡的通过率、活动的点击转化率之类的，这部分的数据往往是相关人员在遇到业务问题时，找产品开发或者后台数据支援部门的人去跑，属于具体问题具体分析的类型。

2）第二层是BI中心层，这一层的公司大多已经产品线比较丰富了，开始寻求搭建统一的自有数据库后台来提高效率。但是大多数的公司的所谓数据后台，可能仅仅只是把第一层中一些常规的数据做成模板，实时或者周期性地自动更新数据。更好的一种应用是搭建公司层级的标签系统，颗粒度精确到用户个体，通过组合标签抓取特定人群来分析，这在后文会讲到。从另外一个角度，在这些公司做数据分析的人，肯定不希望只停留在运营数据的层面，做到一定阶段会去尝试数据建模，核心的思想实际上是关联和聚类。

3）第三层是数据应用层，这一层通过模型算法，根据用户过往的数据，预判用户的类型并实时向其推送个性化内容，也就是所谓的"千人千面"。这样的应用目前用得比较有名的主要是在电商领域、互联网广告领域和新闻推送（典型如今日头条），游戏领域似乎还未有典型案例。做个猜你喜欢并不困难，难的是背后的模型算法的准确度和自我学习的能力。这一层应该是跟”大数据“比较能挂得上钩的，也是趋势。

现状是互联网公司大多停留在第一层，达到第二层的屈指可数，第三层估计只有行业巨头才能干。

2. 用户研究与市场调查：如果说产品数据分析试图从用户的行为中找规律，那么用户研究则是试图探索用户的主观意识。业内对用研的定义可能是比较狭义的，但我比较倾向于将用研和市调结合起来说。因为互联网的用研在思路和方法上与传统行业的市场调查有很多共通之处，只不过根据互联网产品的特性进行了改良和延伸。这一块大概可以划分为几个方向。

1）UX设计体验方向：这个方向可以说是互联网产品特有的，基于UI交互设计的研究，方法上包括可用性测试、A/B测试、眼动仪等。研究人员大多具有UI、UE及人机工程的背景。

2）产品测试方向：这个方向与UX设计体验方向的不同之处在于，UX更关注界面及背后的交互逻辑，而产品测试则更关注内容体验。例如对于一块游戏产品，研究人员可能会关注画面、玩法模式、成长体系、经济体系、新手引导等等功能价值和其所满足玩家的情感价值。方法上多采用偏定性的方式，观察+访谈、用户体验日志、脑电等。研究人员可能是产品经理，也可能是对产品有一定认知的用研人员。

3）用户基础研究方向：这个方向做的是群体性的研究，例如学生手游群体、二次元圈子等，对用户分层分群，研究其认知、日常习性、使用场景、态度、人口属性等等。方法上沿袭社科专业的套路，现场观察、座谈会、深访、定量问卷等都是最常用的方式。研究人员大多数来自社会学、人类学、心理学等专业。

4）战略分析方向：这个方向与市场分析、传播、广告、品牌等有着更紧密的结合，更关注商业价值方向的探索，诸如定位、流量、变现等，主要服务于管理层。方法上需要博采众长，对研究人员有比较高的要求，大多来自咨询行业和市场研究行业。

现状是少数行业巨头在上述方向分工明确均有各自负责的部门，而大量的中小型企业大多把上述职能混在一起，最常见的是研发部门搞定1、2，市场部搞定3、4，采用的方式也比较简单粗暴。

互联网用研的痛点

讲了这么多现状其实只是想让行外人对这行有个大致的认识，下边谈谈作为一个从业者的一些切身感受。

1. 产品数据分析与用户研究割裂。不管在大公司还是小公司，这种割裂都是存在的。我们经常看到的一种情况是，做数据分析的人躲在后头埋头于数据，他们与用户之间几乎是没有联系的。纯粹从产品数据的维度去分析出来的结果，往往陈述的是一种现象，而当被问及现象背后的原因时数据分析师们常常会感到无力。反过来，做用户研究的人经常接触用户，但却不太懂利用产品本身的数据结构，他们更习惯于通过访谈和问卷来获取信息，而痛处就在于此类信息的获取存在较多不稳定因素，结果容易受到质疑。这种割裂一方面让研究人员容易陷入闭门造车的瓶颈，另一方面也令业务方获取不到全面有效的信息。

2. 研究方法的缺陷。现有的多数研究方法来自于统计学、社会学等学科，而这些方法在常人的理解范畴里是容易有偏见的。例如定性访谈常常被业务人员问到“这么几个样本能代表所有人吗？”，调查问卷则常常被质疑“你的选项设计不完善”、“用户大多可能是乱填的”、“会去填写问卷的用户都是活跃用户”etc。作为专业人员当然有一些方法可以尽量减少误差，但无论你做得如何的专业，这种偏见总是会存在的，而偏见的结果就是不信任。更为重要的是，由于研究人员水平的参差不齐，以及在执行过程中的各种不确定性更加扩大了误差的范围。痛处在于，在商业环境里你就算用严谨治学的态度去搞用研，人们可能表面恭维你是个“专家”而心里觉得你是个大忽悠。

3. 难以兼顾效率和信效度。互联网的从业者常把“天下武功唯快不破”这句话挂在嘴边，不可避免对用研的要求也是如此。从传统调研行业跳过来的研究人员可能会觉得不适应，传统行业做一个项目可能需要耗时几周到几个月，这在互联网的速度里是不能接受的。作为一个职能部门当然是要做出一些妥协，在方法上采用更多粗糙的方式，在样本上缩减甚至降低筛选要求，在数据处理不做任何信效度和显著性检验。可是这样“快餐式”的做法跟研究的精神是有冲突的，种种妥协让研究人员自己就对结果没有信心，会萌生一种“这到底是在演戏，还是在做研究？”的迷茫，进而陷入一个终日疲于奔命却做不出好东西的恶性循环。

4. 对数据的过度解读。人们总是期望能从研究中发现一些“出于意外的事情”，而现实是受限于方法上的缺陷和时间经费的限制，多数的数据结果是验证多于发现的。这种时候做研究的人往往会带着一种“我必须想出点什么”的心态，去换着角度解读数据。确实有些时候换个角度看问题能有新的发现，可是这种解读本身就带有很强的主观判断，根据这样的判断得出的所谓建议，有时候反而是在误导。所谓众口难调，你站在某个立场去解读数据的时候，可能同时也会令不同立场的人觉得没有收获，所以在衡量研究工作的价值时也很难做到客观公正。

站在需求方的角度，总结一句话就是对用研“不想用、不敢用、不能用”。我无意去讨论“用研无用论”、“唯数据论”是否正确，也不想去对做用研的人灌鸡汤。我只想结合实际在工作中的体会，去探讨实际操作层面改进优化的可能。

一些不成熟的设想

1. 植入项目团队的用研小组。像鹅厂和唯品会这样的大公司目前的做法是采用中心对接制度的，简单说就是项目组向包括用研中心、数据中心、UE中心在内的职能部门提需求，由各个中心统一分配人员承担项目。这种方式有它的好处但最显而易见的问题就在于单中心与其他中心及业务部门之间的割裂。我认为更好的方式是由各个中心指派各自的专员，组成一个用研小组驻扎在项目组里，小组的成员由产品数据分析和用研调研两方面的人员构成。这样的组合对中小公司同样适用，如果实在招不到专业的人员，至少策划团队里应该有长期专门负责这两方面工作的人。若有中心则负责公司级别的基础研究及各产品小组人员的统一管理培训。

2. 标签系统。在数据上进一步，不要只停留在看基础运营数据的层面。既然对于数据千人可能有千种解读，那我们要做的不是去钻数据的牛角尖，何不先把数据亮出来给所有人都看到？从各种维度为每个用户打上标签，并且业务部门的人也可以直接在系统上随时通过组合标签来抓取他们想要了解的那部分用户，查看他们在其他维度上的数据情况。更关键的是，可以对抓取出来的这批人直接推送运营内容，相信做产品做运营的人不会拒绝这样的智能化操作吧？从用研人员本身来讲，是否也可以将标签与问卷系统相结合，实现对某群用户的精准问卷投放。以往的做法可能是在问卷前边设计几道甄别问题来过滤样本，但这种甄别始终还是需要用户自己去选的，有时选项设得不够好后期的分析会很被动。而采用标签系统的好处就在于对用户的甄别是基于客观数据的，显然也更容易获得信任。

3. 定性样本库。无论是传统行业还是互联网行业，做定性调研找样本是一个难题。自己去找费时费力，如果找第三方外包的话，又很担心样本的质量。实际上目前这个产业链的透明度是比较低的。全国各地有许许多多靠找样本为生的执行公司，这些公司条件简陋而且普遍人员水平不高，他们的生意主要来源于上游市场研究公司的需求。这些执行公司收到需求后会利用他们的人脉去找符合条件的人。但是这个找人的过程是很难监管的，毕竟筛选主要通过问卷加上电话访问的形式。有些职业“会虫”为了能上会会撒谎，更有一些执行公司的人为了完成任务会引导受访者撒谎。在实际操作中这种情况并不少见。我在想是否可能建立一个相对透明的平台，将“受访者-需求方-专业定性主持人”等资源整合起来，砍掉中间环节。每个进入平台的受访者都需要更新信息，从各个维度打上标签，需求方则可以透过组合标签来筛选样本并直接邀约。在每次项目完成后，双方可以互相打分互评，对质量较差的样本拉黑。

4. 对定量问卷半开放内容的利用。现在的定量体系中，研究员一般会在选项难以全面覆盖的题目中设置半封闭的选项，也就是“其他，请注明”这样的选项。但是这些用户自行填写的信息通常没有被有效地应用。传统的做法是通过人工编码的方式对这些信息进行归纳整理，这种方式可谓耗时耗力。是否有更好的解决方法呢？写程序代码自动抓取和统计关键词？又或者是否可以有这么一种提型：题目本身没有选项，而是出现一个搜索栏，背后链接着一个可自定义的数据库。用户通过键入某个答案在数据库中进行匹配，找到对应的条目后添加成为标准化的答案。举个例子，当你需要请用户回答最近一周玩过的所有手游时，如果用现有的方式，设置多选题无法穷举所有手游作为选项，而设置主观题则由于用户回答内容的非结构化而难以统计。那么如果把绝大部分的手游名称，包括其所属的玩法类型、题材等全部输入数据库，答卷时由用户通过搜索的方式添加答案，最后自动统计出结果，这样会不会更准确一些呢？

5. 线上定性。这方面已经有公司在开发，但是似乎效果并不好。稳定的网络质量是一个问题，除此之外也还不够智能。线下定性的过程中主持人会板书，会投票，会使用各种投射技巧，这些在线上定性也必须有专门开发的功能模块支持。并且对于定性过程中产生的语言文字，如果能够自动记录并转化成笔录摘要会提高不少效率。是否能与语义分析技术、语音识别技术做些结合？甚至是未来的VR?

虽然对于整个互联网公司而言，用研还没有发挥出它应有的作用。作为一个从业人员，我觉得应该更多地关注业务部门的需求，从开发工具和优化流程的角度让这项工作更智能化、敏捷化，而不是顶着所谓专家的帽子做一些看起来高大上实际缺乏效益的事情。

相关阅读：作为游戏运营应该关心的几个数据