Aloudata周卫林:下一个十年,帮助企业真正实现数字化运营闭环
2019年1月9日,支付宝正式宣布全球用户数超过10亿,且在其后短短半年时间里,用户数继续增至12亿+,增长率超20%。从“人找服务”到“服务找人”,从金融工具转型为满足民众生活所需的数字生活开放平台,这一切的背后,离不开大数据的支撑。在蚂蚁集团,有超过一万名员工需要通过数据分析来进行数字化运营乃至实时的智能决策。
“在企业内部,围绕大数据已经演化出一个复杂生态:以蚂蚁为例,一万名员工基于数据开展对十亿用户的运营,必定面临着效率、性能、风险、成本、安全、合规等诸多问题。这些问题相互交织叠加,在十亿级用户量,万级员工数的规模下,带来“10万亿级”的管理复杂度,这意味着企业在享受大数据所带来的巨大收益的同时,也在疲于应对急剧攀升的综合管理成本。而在全球数字化升级进程不断加速的今天,越来越多企业将会面临同样的困境。作为行业最早的践行者,我们有责任去突破这个发展瓶颈。”谈及创立Aloudata大应科技的初心,曾任蚂蚁集团研究员(P10)、数据平台部总经理周卫林如是说。
十年深耕:降低数据使用门槛
几乎没有什么领域正在经历像大数据分析这样彻底的变革。越来越多企业开始意识到,数据分析不仅可以用于支持决策,还能够直接快速地对底层业务产生影响,于是“低门槛”——也就是“人人可用”开始成为吸引眼球的热门词汇。在过去几年里,自助分析和可视化工具成功降低了数据分析的使用门槛,也首次将数据分析从“统计专家的专利”拉下神坛。
早在2012年,由时任蚂蚁集团数据平台架构师的周卫林一手创建的DeepInsight便是为分析而生。DeepInsight一方面依托“智能加速引擎”构建了低门槛的数据分析及报表制作工具,赋能分析师、业务人员自助进行秒级数据探索,而无需ETL工程师参与性能优化;另一方面依托“增强分析引擎”实现了更多分析场景的自动化和智能化,比如指标波动异常识别与归因分析,进一步加速了有效洞见的产生。
关于DeepInsight的诞生,Aloudata联合创始人肖裕洪作为主产品经理同样颇有心得,他曾分享过这样一个真实的用户场景:某业务运营同学每周五都要完成周报,她的大量业务数据来自于分析师为她提供的多张不同报表,首先她需要完成这些报表的下载工作,由于数据量很大所以下载速度很慢;不仅如此,针对现有报表之外的其他维度分析需求,她只能用excel将数据一片一片的切出来,重新进行手动处理,这个过程至少耗费几个小时,且随时可能导致系统卡顿甚至崩溃。
“这类情况并不是个例,而是千千万万一线业务人员的日常。”肖裕洪继续说:“表数量从10万张到500万张,数据量从PB到EB,蚂蚁集团一线员工数字化运营真实痛点的普遍存在,推动了DeepInsight的诞生及规模应用。”据了解,DeepInsight上线第一年即完成对Oracle BIEE软件的替代,至今内部服务了40+业务线,产生了10万+报表,月活跃用户5万+,是阿里集团内使用最广泛的数据工具产品,曾获得“阿里集团最受员工喜爱办公工具”第一名,“蚂蚁集团鲁班奖”等多个集团层面奖项;在商业化方面,DeepInsight定向开源给阿里云,孵化出了QuickBI,目前已入选Gartner魔力象限,服务过数十家大型客户。
值得一提的是,Aoudata几位联合创始人在蚂蚁就职期间,都曾成功主导完成基于数据平民化理念的数据智能产品从0-1的孵化、建设与商业化落地,核心技术能力在业界处于绝对领先地位。
从消费侧到供给侧,敏捷业务运营全链路打通
所有企业数据化运营的开端都是数据分析,但从数据的产生到数据分析结果产生,这中间的每个环节,都极为复杂。周卫林团队自12年起开发的诸如DeepInsight等产品通过可视化数据分析、自然语言交互式数据搜索、增强式自动归因分析等方法创新性地解决了数据消费侧难题,但数据分析离不开数据,否则就陷入“无米之炊”的境地。业务迭代越来越快,业界却迟迟没有真正启动数据分析的另一侧——数据供给侧的变革。变什么?革什么?
“数字化管理”向“数字化运营”的转变决定了海量数据必须下沉到业务部门,原先数据主要应用于企业高管的固定分析需求,现如今,营销圈人、人群洞察、活动效果评估等复杂多变的敏捷运营需求大量涌现。以蚂蚁集团为例,集团内员工数据渗透率已经从最初的“少于10%”发展到了今天的“超过75%”,可以说,处于数字化转型阶段的企业普遍正在经受“数据爆炸”与“数据需求爆炸”的双重夹击。
而在数据供给侧,传统的基于ETL的数据分析链路却由于数据准备效率太低,导致业务部门、分析师和ETL之间彼此重复着“提出→等待→满足”的串行流程中,在这样的重复中,多达80%的敏捷运营需求甚至无法被排上日程,即便是有幸被满足的那20%,从提出需求到需求交付的时间至少以周计,还是否算得上“敏捷”也不得而知。
“过去有太多的需求被ETL流程所捆绑,至少两周起步的需求响应速度已经成为企业数字化运营效率滞后的核心堵点。我们始终在思考,能否提供一款人人可用的数据分析产品,不仅能够降低业务方和分析师使用数据的门槛,而且要将ETL做到尽可能的透明化,把数据需求的响应效率从‘月/周’提升到‘天/小时’,Aloudata Workstation就是为此而生,它将是国内首个践行‘NoETL’的敏捷数据分析平台,它重新定义了数据的工作方式。”周卫林介绍道。
“ N o ETL ”,所见即所得
Aloudata所定义的“NoETL”工作方式是指:在数据处理和分析环节,用户无需关心底层的复杂数据技术,无需为满足查询性能和数据时延要求搭建复杂ETL管道,通过Aloudata Workstation,人人都能以“所见即所得”的方式,面向数据开展数据处理和分析工作。
-对 业务运营人员来说,取数不求人。 借助Aloudata Workstation,无需繁复的需求沟通和数据研发排期等待,零门槛自助完成全域范围取数、用数,让每一个创新业务idea都能及时获得数据支撑。
- 对数据分析师和数据科学家来说,数据分析效率翻倍。“ NoETL”的数据准备方式,让数据分析不再受限于ETL工程师的排期和交付速度,分析师基于ETL工程师分享的基础数据集即可自助完成数据准备;Aloudata将同时为分析师推荐最匹配的数据集及使用建议,让分析师用数极致简单。
- 对ETL工程师来说,重复劳动大幅减少。 Aloudata Workstation通过让业务人员自助用数,将ETL工程师从支撑大量灵活多变的临时性需求中释放出来,让数据研发可以专注投入到可产生更高价值的数据资产建设和挖掘工作中去,实现对ETL工程师的减负。
Aloudata Workstation产品重新定义了业务方、数据分析师和ETL工程师的统一工作界面和工作空间,彻底解决了三者从前割裂在ETL开发工具、数据分析工具和Excel之间无法便捷协同的问题。这种新的工作方式能够帮助企业数据化运营效率提升10倍以上,充分释放过去因为ETL资源受限而被堆积和抑制的运营分析需求,为企业把握住每一个稍纵即逝的创新机会。
绝对基因优势,但不是“蚂蚁同款”
变革性产品定义的背后,离不开核心技术的加持——由Aloudata Workstation自研的BIG Engine(Behavior Intelligence Graph-based Engine)及AIR Engine(Autonomous-Improving Resilience Lakehouse Engine)。
其中BIG Engine基于行为智能和图智能技术实现了对数据、用户、场景及其关系的深度刻画,通过对复杂数据网络的持续自动优化(如查询性能的堵点、热点的识别与优化等),帮助平台在响应性能、数据时延和综合效能(机器成本、员工效率等)方面取得最佳平衡;AIR Engine基于向量化执行引擎、零序列化数据传输等技术,具备对多源异构数据的高性能联邦查询能力,同时基于BIG Engine行为智能引擎,实现了基于需求的自适应查询加速,从而使得业务人员可自助完成数据处理和分析,而无需经过复杂的ETL流程。
经过蚂蚁的深度实践验证,Aloudata有把握利用AIR Engine和BIG Engine帮助企业在数百万张数据表、EB级数据量、数万员工个性化查询需求的复杂度下实现性能优化、成本治理、安全管控、合规治理、质量风险防控等场景的“智能驾驶”,年均可为企业节省成本达30%以上。
作为原蚂蚁集团数据平台核心团队,Aloudata几位联合创始人不时会被问到“如何在此基础之上寻求新突破”等诸如此类问题,Aloudata CTO周泉对此信心满满:“从数据智能这个大的领域来看,我们的确在蚂蚁的框架体系中进行了一些高价值的尝试,无论是技术创新层面还是应用落地层面,不可否认Aloudata一定具有相当的蚂蚁基因;但就具体产品而言,Aloudata技术底座基于开源产品和自研技术搭建,产品定义从数据消费侧到供给侧的转变,都意味着Aloudata Workstation是焕然一新、与DeepInsight设计思路完全不同的产品形态,且拥有极高的技术壁垒。”
据了解,Aloudata目前正在与国内金融、互联网等行业多个头部客户进行深度的产品共创,力求依托客户场景来验证和完善产品功能,预计21年底会进行首次新品发布,22年3月起将会进一步小规模放量,下半年启动全面复制。
“我们很确定正在做对的事,并将坚持和客户在一起,了解真实的客户场景,贴地飞行,不被市场诱惑所左右,十年做好一件事。企业数字化运营黄金时代的大幕即将拉开。”周卫林显得十分坚定。