水滴数据建设实践及思考：2大关键问题，4大破局措施

近日，水滴公司数据平台产品部负责人SKY在「让业务用起来 · 观远数据2022智能决策峰会暨产品发布会」北京站现场带来《水滴数据建设实践及思考》主题分享。SKY在分享中讲述了水滴数据团队在过去一年中，如何让业务将数据用起来的同时，让水滴数据团队逐步迭代成为一个让业务主动点赞的团队，受到与会数据从业者、关注数据能力建设的企业嘉宾的一致点赞。

水滴公司是中国领先的保险和健康服务科技平台，创立于2016年4月，以“用互联网科技助推广大人民群众有保可医，保障亿万家庭”为使命，致力于为用户提供健康保障解决方案，旗下拥有「水滴保」、「水滴筹」和「翼帆医药」等业务。

01

痛在哪里

在水滴公司的组织架构中，数据团队属于研发体系，属于研发中台角色，对接的业务部门包括业务运营团队、产品团队以及业务商分。从数据团队所负责的水滴数据平台架构来看，“水滴数仓模型是典型的分层数仓架构，数据流量较大。以水滴筹业务为例，每天活跃大量的筹款人、捐款人和页面访问者。”SKY在分享中举例到。庞大的数据量级让水滴公司的数据建设面临挑战。

*  扫描文末二维码获取演讲PPT

SKY从四个视角，回顾了一年前水滴数据建设前的“痛处”所在，解释了为什么数据团队做了很多事情却没有得到业务认可：

第一，数据生命周期视角，从数据生产到数据清洗，再到数据存储和数据消费，其包含着在数据治理方面面临的各种问题，如数据质量、埋点缺失、数据同步、数据不同源、实时数据处理能力、存储性能、模型优化、数据工具的可用性易用性等；

第二，需求生命周期视角，对业务需求合理性和必要性的评估，需求指标口径对齐，需求验收闭环，需求逻辑透明性对问题排查效率的影响等问题；

第三，数据工具赋能视角，所用工具是否能够让业务侧自己使用，性能是否满足业务需求，自助BI工具缺失对满足业务需求的影响等问题；

第四，需求协作流程视角，过去复杂的需求协作流程，让业务、商分、数据产品、数仓每一个环节上的人员，都要经过较为繁琐的对接流程，需求实现周期较长，影响工作效率的同时还会导致上下游信任度较低，各环节人员体感较不好。

在这样的情况下，水滴数据团队当时做了什么样工作，才让整个内外环境发生巨大的变化，让业务团队对数据团队主动点赞？

02

如何破局？

破局的第一步，水滴数据团队结合当时行业现状和公司业务阶段，深入剖析了彼时要解决的两大关键问题。

两大关键问题：「数据负循环」与「工具和协同负循环」

“所有的数据工作本质上是服务业务，所有的工作都是为了让业务迭代更加快。而业务迭代的本质其实是不断试错，在不断试错中快速找到正确的方向，让业务实现增长，这是业务的本质。试错成本越低、速度越快，业务成长就越快。数据建设就应该要让业务迭代的速度越来越快。”SKY在分享中讲到。

当业务试错成本越来越高，为了提高效率，就会不断增加人手，但如果增加的人手数据意识不足，就会导致数据从源头开始质量就较差。SKY将这个过程总结为「数据负循环」。

*  扫描文末二维码获取演讲PPT

在负循环中，数据会越来越不标准，数据质量越来越差。与此同时，业务侧不断加人则会让下游需求“爆炸”。业务侧将一个需求提给分析师，分析师处理一遍提给数据产品，整个流程中一个需求变两个，两个变四个，下游接到的需求会急剧增加，如果没有一个很好的机制让下游的人控制上游同学正确的提需求或正确挖掘真实痛点，就会导致上游盲目提需求，下游忙不过来，也会持续加人。

下游增加人力要解决的是业务当前阶段提出的大量需求，但这个需求或许只是想要的“want”，而不是真正需要的“need”。所有人都在忙着持续交付短期方案，人才画像变形的同时，也会导致持续的数据不合理，让业务试错成本越来越高，形成「工具和协同的负循环」。

这两大负循环带来的问题，即是水滴和不少公司在数据建设时所面对的困境。

四大破局措施：需求管理，流程调整，BI建设，团队升级

如何破局「数据负循环」与「工作和协同负循环」？水滴数据团队经过对具体情况的深入分析，从中找到了一些关键破局点，并在过去一年里通过“4个关键措施”，开启水滴数据建设实践：

措施一：有效需求管理，从源头把控数据质量

首先，数据系统参与到业务需求的内审和评审。业务在提需求的时候数据团队即参与审核，确定需求究竟要做什么、怎样提交数据方案才合理、提交的数据方案审定是否标准等。同时，在这个过程中，与业务同学一起做数据方案，帮助业务同学提升数据意识，提高双方的信任度。其次，针对业务需求的开发，做一些简单的工具以方便在开发时进行校验，并在开发排期时就将数据工作加到排期中。最后，在最关键的需求上线环节，设置QA收口，做好流程和数据质量的严格把控。通过这个措施的落地，水滴数据团队首先把握住了源头需求的质量。

措施二：缩短对接流程，提高工具对业务的有效支撑

这里最重要的调整之一，是数据产品直接承接了业务所有临时取数需求，而整个措施则可以分成相连的三个部分来看：

第一，缩短对接流程。在流程调整前，业务很多临时性取数看数需求由于缺乏报表或推送，无法自主完成，只能提需求给分析师写SQL取数，需要1-2周才能做完。流程调整后，通过专门通道，临时需求1天就能上线，业务需求有效解决，体感提升，分析师可以将更多精力投入数据分析业务洞察。

*  扫描文末二维码获取演讲PPT

第二，数据产品通过取数全面了解业务需求。在SKY看来，数据产品承接重复性且没有技术含量的临时取数工作具有特别价值，临时取数需求反映了业务当前阶段在思考的问题，业务需要临时取数意味着最新思考的业务策略需要快速进行验证，而需求支持的效率决定了业务迭代的效率。

第三，通过产品化提高工具对业务的有效支撑。SKY认为业务反复的临时取数需求也反应了数据建设能力的不足，只有极少数的需求是真正的一次性临时需求，是短期的快速是错中需要的，而大部分需求都是因为基础工具能力缺失。数据团队在承接业务临时取数需求后，搭配配套落地措施，结合数据产品的研发能力，就能在满足业务需求的同时让数据产品的工作更高效。

配套的落地措施包括：其一，数仓专有人力对接取数需求，第一时间交付；其二，数据产品明确OKR目标，以不断收敛需求数量为目标，其三，定期Review临时需求，抽象产品能力逐步迭代。这些措施会推动数据产品将业务痛点逐步迭代成真实的产品能力，让整个机制跑起来，更加贴合业务场景，提高工具对业务的有效支撑。

措施三：引入三方成熟BI，提高业务数据使用效率

水滴公司的BI建设，经历了从“引入国外厂商BI”到“自研BI”再到“国产化BI替代”的过程。2019年，水滴公司引入国外厂商BI产品，但由于该产品在服务支持方面的不足，让水滴公司在2020年1月开始转向自研BI。经过了一年多的自研开发，投入了很多的时间与人力，水滴公司做出了内部的报表生成工具。但这套自研BI无法完全替代成熟BI产品的自助分析能力，业务用不起来。于是在2021年第三季度，水滴公司启动了采购三方成熟BI产品的方案，并开始了为期两个季度的试点。

试点开始采用的是其他厂商的BI产品，在两个季度的试点里也取得了较好的成效，这让水滴公司坚定了引入成熟三方BI产品的道路。在2022年第二季度，经过谨慎甄选，水滴公司最终采购了观远数据的BI产品。

“在试点之后最终采购观远数据的BI产品，我们看中的是观远数据BI本身的产品能力。”SKY在分享中讲到最终选择观远数据BI产品的原因，并总结了其中的几个关键要素：

◆  企业级：底层分布式架构支持

SKY提到，水滴公司此前试点的BI产品底层架构不是分布式的，底层分析性能、处理性能和扩展性不足，当上千万的产品数据要导入BI，经常会无法导入或无法及时分析。观远数据BI产品底层是分布式架构支持，具备企业级BI能力，这是水滴公司选择观远数据BI产品的第一个要素。

◆  业务性：便于业务自助分析

SKY对此进行了简单的举例说明，首先是ETL的能力，在水滴公司常用的BI场景中，需要给业务提供简单的ETL能力，方便业务自己分析而不用给别人提需求，在这方面，观远数据有简单易用的智能ETL，拖拉拽式操作，清爽的可视化数据流处理界面，能够满足各式各样的数据处理场景，让业务人员也能高效用起来。

同时，SKY还提到了观远数据BI具备的复杂报表的能力。“复杂报表能力业界其他BI产品也有，但从我们的角度评估，观远数据BI所具备的复杂报表能力好在它是集成式的。我们可以把数据在BI系统上处理好，拖进复杂报表里，复杂报表可以把分析师在本地Excel上处理的逻辑全部在线化、标准化，有非常好的体验，并可以极大的提升人员效率，同时团队成员制作的报表也可以很好的留存和沉淀。”

◆  应用性能力：灵活敏捷

以指标管理能力为例，水滴公司本身有指标管理系统，用观远数据BI就可以在数据集上添加公共指标，并且指标可以用SQL原生语法做。SKY在分享中讲到：“这一点很关键，因为之前试点的产品没有这个能力，最后不能跟水滴公司内部指标管理系统打通，并且因为它是自定义语法，不是专对互联网行业，语法不一样，我们内部有大量的指标已经做好，如果要迁移且用自定义的语法，工作量就会很大。”

综合多方面因素，水滴公司最终与观远数据合作。对于观远数据BI产品上线后效果如何，SKY通过两个数据趋势进行了展示：

*  扫描文末二维码获取演讲PPT

SKY表示，观远数据BI产品上线一个多季度后带来了非常喜人的效果。活跃用户持续增长，目前使用的用户9月份的数据是400多个，而现在更是远远不止。自助型看板数量9月份是不到600个，现在已经到了1000多个。

“自助型看板数量非常能代表产品的价值”，SKY提出，BI应该是让每一个业务部门的同学也都能够有能力自己使用，能够自己得出业务成果，而不是只有数据部门的同学用。自助型看板就意味着需求是业务同学自己做出来的，不用把需求提给数据团队，这个数量代表着BI工具给了业务更高效的赋能。

SKY分享了一条来自业务线领导的一条留言，更是直接的表现了观远数据BI上线后对业务的助力。留言写到“非常感谢你们团队上线的BI产品，给我们极大赋能，我们整个业务流程所有的工具、所有的看板数据都能自己进行发现，月会、周会、日会各种数据汇报得到极大提效，让大家可以更专注在业务流程上”，在这背后，是这个业务部门借助自助式BI，由业务同学发挥主动性，自建上百张看板，把日常各种流程，细致地从一级管理者到三级管理者全部自己做了很好的搭建。

措施四：团队升级，明确岗位职责、提高要求

具体手段是：汰换+引入+培养，以汰换和引入为主，以内部培养为辅，这里涉及到了数据团队对于自己的定位问题。

“作为数据中台的产品，工作结果不是给业务做了多少需求，而是真正跟业务一起拿到多少结果，业务在这个方向有没有探索出结果，这才是要关注的。”作为水滴数据平台产品部门负责人，SKY认为从以终为始的角度看，数据团队要跟业务站在一起思考业务的痛点和需求，才能更好地支持业务。“这往往代表着一个人的心态，大部分的同学会更多关注在怎么满足业务提过来的需求，能够积极主动站在业务的角度思考问题的同学相对较少。”

SKY面试过很多数据产品的同学，经常会问一个问题——你是更看重人的能力，还是更看重人的态度？很多人比较关心能力，但从水滴公司的角度来说，会更关注态度，因为态度不太能够改变。一个积极主动的人即使专业能力较弱，也一定可以培养，这是水滴公司的理念。在过去一年多的时间里，水滴公司内部进行过汰换，也吸入了很多新鲜的血液，保障团队行动力，让团队能够更好地执行战略。

通过以上主要的四个措施以及其他工作，水滴数据团队成为了让业务主动点赞的优秀数据团队。

03

面向未来

数据建设是一件长期的事情。从水滴公司的角度，目前所做的工作只能算是刚刚起步，要将整个数据工作做好、将数据治理、数据框架等等建设的更加成熟、能够更好更高效的支持业务，还有更多工作要做。面向未来，水滴公司还有更多想法与计划。

产品迭代

SKY分享了水滴公司对未来在产品迭代方面的一些计划，其中包括全面迁移至观远数据BI产品，统一内部所有的数据出口、指标口径、内部数据看板，尤其是场景化的应用，例如群聊天推送机器人等，更是水滴公司下一步想要实现的场景。

“我们提供的服务不一定要让用户必须在我们的平台上才能使用，只要业务用户能够高效得到看板数据，其实就是提效。所以，我们非常看重能够把数据通过各种方式有效推送到用户面前，比如通过图片+链接的方式推送到飞书的群里或飞书的个人聊天框里。”SKY分享了水滴数据团队过去几个月给观远数据提到的需求，而这跟观远数据本身的产品能力以及对水滴数据建设的规划也十分匹配，因此这一需求很快得到了支持和响应。与此同时，水滴公司的指标管理平台也会结合观远数据的数据集指标管理能力，统一全公司的数据口径。

除此以外，水滴数据团队还将聚焦内部其他平台，从业务实际需求出发，降低门槛、提升数据准确度、提高体验，更好的满足用户需求。同时基于基于源数据应用，以数据搜索为核心，通过可视化的方式，综合反映有关数据的信息，让用户找到数据、理解数据、使用数据。并统一数据服务，通过横向数据联动，挖掘数据价值。更计划打通内部人力系统，让数据资产得到有效管理，把控数据生产规范，确保数据源头质量。对数据进行安全分级，权限管理、使用监控，对不同角色设置不同的访问/下载/使用权限，持续安全隐私保障。

人人都是分析师

面向未来，水滴公司希望能够从两个层次真正践行“人人都是分析师”：其一，业务不一定需要提需求，能够解决的自助场景可以自己解决，对于解决不了的专题场景，可以提给分析师；其二，对于某些场景数据能力不足的，数据产品和分析师一起支持业务。同时，对于业务的取数需求，以及需要专业能力进行业务数据建设的需求，直接与数据产品进行对接。

SKY也分享了水滴公司基于“人人都是分析师”场景下设想的未来业务对接流程：

*  扫描文末二维码获取演讲PPT

SKY讲到，基于“人人都是分析师”场景设定的未来的业务对接流程，总的核心是希望围绕观远数据自助式BI平台，通过数据平台产品提供自助能力，给到各方赋能，让所有的人能够用起来，能够自己解决问题。自助场景比例越高，“人人都是分析师”这条路就会走得越远。

扫描下方二维码

获取演讲PPT

▼