-->
上周,CSDN联合华为云举办的“企业快成长大数据技术创新论坛(成都站)”顺利召开,数势科技应邀出席,副总裁兼技术负责人孙垚光作为行业专家,聚焦大数据技术如何促进数字经济发展,发表了《数据虚拟化赋能指标平台 加速企业数据资产价值化》主题演讲,围绕企业数据资产管理方法和业务增长逻辑,分享指标平台建设应用与实践落地经验,为企业充分利用数据宝藏、打开数字化发展新窗口提供新的灵感与思路。
好的指标体系是企业经营管理的基础保障,而指标平台则是统一指标体系的「神兵利器」
孙垚光在演讲中表示,数据资产价值化最重要的体现就是驱动企业经营和决策分析。而在这个过程中,指标这个概念,又贯穿和覆盖了整个企业经营链条的方方面面,从最顶层的战略目标制定,到战略目标的拆解和执行,以及到中后台的各种落地保障措施,这些过程和结果,通常会以指标的形式去衡量和跟踪。所以一个好的指标体系,将会是企业经营链条中至关重要的基础保障。
指标体系作为数据资产价值化最重要的出口和落地形态,在建设和使用过程中,也存在一定的问题和挑战,如:
业务方面,对获取数据和指标的质量要求以及数据时效性要求,越来越高;
数据方面,多渠道多体系运营,通常会面临数据孤岛的问题,不同体系数据标准不统一;
用户方面,用户水平参差不齐,数据使用门槛相对较高;
数势科技在服务于众多优秀企业的过程中,基于对这个场景和客户痛点的深刻理解,建设开发了指标平台产品,赋能企业客户进行统一指标管理和指标取数,并逐步迭代完善相关的指标体系设计方法论,希望能够帮助企业沉淀全面、统一、易用的数据资产,实现数据取用的高效、统一和便捷。
数据虚拟化技术是支撑指标平台产品性能的核心保障
保障数势科技指标产品性能的核心是先进的技术能力,孙垚光在演讲中重点介绍了强大的指标计算引擎HME,它采用“数据虚拟化技术”,确保整个系统的效率和效能,避免形成数据沼泽,从而帮助产品自动完成指标的归一、去重、计算优化和查询加速。
那么数据虚拟化技术是什么?对于业务同学来说,数据虚拟化可以使他们不用关注底层的物理数据和数据模型,只需要关注业务模型和业务逻辑,同时数据虚拟化技术还可以保证技术口径的一致,也就是指标同名不同义,或者同义不同名等场景下,它可以实现底层的自动归一/判重,真正实现对于某一个业务口径,只会有一个单一的事实来源,让指标可以实现一处定义,多处使用;对于技术同学包括BI工程师来说,数据虚拟化技术可以解放生产力提升人效。
在整个指标技术体系架构中,“数据虚拟化”处于物理数据和数据使用场景之间,这一层的定义非常灵活,由系统结合ROI来自动完成虚拟层后台的数据计算和物化。如下图所示,指标技术体系最底层是物理数据,基于物理数据企业可以抽象构建相应的业务数据模型,这个过程在数仓建设的时候通常叫做数仓建模,只是这里的数据模型不一定是物化表或者物理表,而可能是个逻辑表或者虚拟表,而在这些标准的数据模型层之上,还可以自动构建很多用于加速性能的临时表,同样这些临时表可能是物理的或者是虚拟的。而这些可虚可实的加速表,对上层的指标定义和使用过程来说,都是透明的。这样就可以实现业务和技术需求,物理数据和数据使用解耦,上层按照企业的标准去定义指标,由系统自动完成对指标的计算和查询优化。
当指标计算引擎HME进行ROI评估的时候,会考虑诸多方面的因素,一方面是计算代价:涉及的数据量,计算复杂度,以此评估资源消耗;另一方面是收益:主要就是查询性能,HME有一个整体可配置的优化目标,比如多大数据量的指标查询的优化目标要控制在多少秒以内。
在数势科技指标计算引擎HME工作流程内,当一个正常的指标计算请求发送到HME之后,HME会根据内置的优化策略和底层的数据虚拟化层,来对指标的查询路径进行改写优化,以此来提升查询性能。
例如,对于一个最简单的基础指标,如果不做任何优化,按照指标的定义,系统会从最底层的明细数据进行查询,再由系统生成SQL,整体执行时间是28秒。而通过数势科技HME的多重优化,如省略多表关联、加速分区裁剪和命中聚合结果等,整个指标的取数操作就由原来的28秒提升到了359毫秒。目前,数势科技已经实现了众多优化策略,如自动预打宽、自动重分区、自动去重、多模型选取等,且这些策略都可以持续迭代和扩展,在指标卡片和看板功能以及指标树查询等常见指标应用场景中,均可实现两个数量级的性能提升。
数势科技指标平台应用于某世界500强企业的项目案例分享
除过硬的技术能力外,丰富可落地的项目实践对于加速企业数据资产价值化也同样重要。孙垚光在演讲中分享了数势科技指标平台应用于某世界500强企业的项目案例,从业务需求和技术能力方面阐述了指标平台的重要价值。
在合作之初,该世界性零售龙头企业受限于流程模式及指标口径模糊等问题,以往多渠道、全链条的经营状况只能通过后置性的财务结果观察,始终无法即时、全面地获取和评估,难以实现企业“可盈利的持续规模增长”。为此,数势科技为其上线指标平台产品,结合数据治理、指标体系设计服务,围绕指标为客户构建了包括“北极星经营策略分析”、“360商品力分析” 等经营分析及决策应用,推动客户进行组织、能力建设,带来多方面的业绩表现提升,扩大了企业管理半径,激活不同层级的目标导向。
在业务价值方面,通过设计北极星指标体系、建设数据运营优化策略等,在客户侧帮助总部与区域拉齐了数字化SOP标准流程,优化了利润、用户规模等业务指标,真正形成了通过数字化指导运营的闭环;
在技术价值方面,通过数据采集、北极星指标体系设计、口径共识、指标池沉淀、自助取数等建设,为客户构建了简洁高效的指标管理、指标开发、灵活分析的能力,在客户侧帮助管理层提升了决策效率,为研发团队提升了研发效率。
指标计算引擎HME的规划和展望
目前,数势科技指标平台产品凭借过硬的技术能力和丰富的落地项目经验,帮助众多企业实现了数字化梳理,形成企业系统化的可拆解、可对齐的管理模式。未来,孙垚光认为,指标计算引擎还将持续优化迭代,进一步促进企业释放数据价值,提升数据资产管理效率。
首先,实时指标的计算优化。一方面,指标计算引擎将通过实时的增量更新覆盖越来越多的物化表来实现数据新鲜度的提升,降低数据更新代价;另一方面是解决查询延迟的问题,如提升批量指标查询时的响应速度,以及缩短应对超大数据量的响应时间等。
其次,将持续平衡现计算和预计算,提升整体性能。现计算的好处是数据的新鲜度高,不需要额外预处理和数据存储,而预计算的优势正好与之相反,HME做的最核心的工作就是如何持续平衡这两种计算方式,以越来越丰富的信息和越来越精细的策略,达到整体性能最优。
最后是结合AI算法能力实现「热点」挖掘和预测。当前指标优化的逻辑是指标定义先存在再优化,而未来,可以通过算法能力加持,实现预测并发现优化点,提升优化效率。
结语
基于孙垚光的演讲内容,我们总结了企业数据资产价值化的方法:“指标平台是统一指标体系的「神兵利器」,以数据虚拟化技术为保障,赋能业务取数的“统一、自助、高效”,加速企业实现数据资产价值化。
关于数势科技
数势科技是行业领先的数据智能平台与技术服务提供商,凭借丰富的零售消费和零售金融领域业务know-how及技术know-how,深耕行业,通过一系列智能决策产品,助力零售,金融及制造等企业在数据资产,经营分析、智能营销等领域实现数字化升级,打造业务增长新引擎。目前已与众多零售、品牌及金融行业头部客户建立战略合作,为其提供数字化升级解决方案。
— END —
商务合作:business@digitforce.com
市场合作:marketing@digitforce.com
电话:010-53383810 (工作日10:00-19:00)地址:北京市海淀区花园路庚坊国际大厦15层