主数据的前世、今生,未来预见!
主数据的前世、今生,未来预见!
作者:石秀峰,致力于企业数据资产管理、数据治理的布道和实践者。
导读:追溯主数据的发展历程,深度探究主数据未来的技术形态和应用模式,纯个人见解,仅供参考。主数据的概念,是谁、在什么时间提出的,在网上查阅了很多资料,没有找到确切的答案,下面是根据个人的理解来聊聊,为什么会产生主数据,主数据发展经历的哪些阶段,不同阶段主数据的特点和使命。
1、主数据是信息化的产物
我们都知道信息化是20世纪的中期产物,直到20世纪80年代,信息化在我国萌芽。90年代初的信息化建设主要是以办公系统和会计电算化系统为主。那时候还没有主数据的概念。
2、主数据的前身:基础数据
到了90年代中期,ERP(企业信息资源规划)的概念被提出,随着网络技术发展和电子化企业管理思想的出现,快速发展起来。资料显示,最早的ERP系统中也没有主数据(Master data)的概念,而是被称作基础数据。
针对该问题,还曾请教了一位早在98年就实施ERP的师哥,他介绍说当时他们实施的Oracle EBS产品中,的确没有主数据概念。那时候的“主数据”是称为基础数据,在不同的模块中进行管理的,例如:物料是在INV模块,供应商是在AP模块,客户是在AR模块。
随着信息化的发展,一个个业务系统在企业里被逐步建设起了,而由于企业早期的信息化建设缺乏整体规划,是由业务主导建设了,而在当时是没有一套系统能够解决企业的各类业务问题。
所以21世纪初期,中国企业的信息化是渐进性的,是一个从无到有,从简单到复杂的过程,从而也形成了一个个信息孤岛……。 这时候,时代在召唤一个名词——SOA!
3、SOA时代的到来,明确了主数据的地位
SOA——面向服务的架构,在21世纪初,流行了起来。企业信息化架构,从单体架构、垂直架构向SOA架构方向发展起来。领先的ERP厂商,SAP已经将主数据作为一项服务,提供其他模块调用,SAP也成了最早基于SOA架构的ERP系统。显然Oracle很快也意思到了这一点,并提出了“TCA架构”的理念,并首先将“客户数据”独立出来,作为一个向其他相关模块提供调用服务(SOA)的基础应用。
SOA受到了IBM、Oracle、Sun、Microsoft等大公司的热力追捧,也预示着SOA时代的正式到来。实际上,一直以来都是这些公司在引领软件应用的潮流。
基于SOA是的思想和技术,SOA最适合最擅长的就是系统集成。而系统集成的关键就是提取公共的有价值的服务。各个系统通过暴露服务,经过ESB这条总线连接后,就将几个系统集成起来了。这时候的信息化领域才真正明确“主数据”的定义,并确定了主数据的地位——企业信息化建设的基矗
很多大公司都在鼓吹SOA,尤其是IBM,IBM先后推出了一系列的SOA产品,例如:Portal、ESB、BPM、MDM,号称能够为企业提过提供一体化集成方案。这时候很多IT技术公司、IT从业人员都是IBM忠实的粉丝和追随者,当然,我也是其中的一员。
从现在来看,SOA,虽然并没有像各大厂商的鼓吹的那样无所不能。但是在一定的时期的确是推动了信息化的进步。个人认为,SOA的理念——“敏捷的、不受限制的业务集成”直到如今,依然适用!
4、新技术推动了主数据的变革
大数据、云计算、IOT、移动互联网、区块链、AI等新技术层出不穷的出现,推动着各行各业的产业变革。传统企业的数字化转型,已是大势所趋,正如用友董事长王文京所说:未来的企业不是原生的数字化企业,就是通过转型重生的数字化企业。个人非常喜欢这句话,并坚信这个时代已经到来。
我们回来继续说主数据。大家都知道主数据是企业内核心的、被多个部门/系统高度共享的数据。在SOA时代主数据解决的是企业内核心数据不统一、不一致、不准确、不完整、不共享的问题——。而数字化时代,赋予MDM的责任,不仅在与企业内部的数据治理和集成共享,还有一个重要的职责就是上下游产业的联通,实现社会化的主数据互联。
拿生产制造企业来说,产品设计、原料采购、生产制造、物流配送、终端销售、售后服务,这是一条完整的产业链。与传统制造不同,数字化时代将实现产业链各个环节的互联互通,将实现现实场景在数字化的网络中进行模拟,现实和虚拟并存。
主数据是现实世界中的核心对象,也是数字化网络世界的重要媒介,是人、财、物、信息系统、设备、社会资源的联通,在万物互联的虚拟网络世界中,主数据无疑是各类数据连接的重要节点。所以,我们说:主数据是企业数字化转型的重要基石。
5、未来主数据的技术形态
技术推动了时代的变迁,未来主数据一定是融合了大数据技术、云计算技术、数据孪生技术、微服务技术的、人工智能技术的应用平台,主数据离不开技术却超越技术。备注:在之前的分享里有提到主数据的3大特点、4大超越有相关说明,有兴趣可以看下。可在微信公众号中搜索《主数据的3大特征、4项超越和3个二八原则》
大数据技术
未来的主数据虽然依然还是小数据的形态,但是需要具备与大数据的融合能力,大数据与主数据属于互补关系。基于主数据去构建大数据的分析体系,提高大数据的分析准确率;同样,大数据的分析结果,将会动态更新主数据,使主数据体系不断完善,数据质量不断提高。
云计算技术
主数据采用云计算的时代已经到来,在可以预见的未来,所有企业的主数据一定是基于混合云架构,即:企业专属云+公有云模式。基于企业专属云实现企业内部核心主数据的管理,基于公有云实现社会化数据的采集并且与专属云内的主数据进行融合。作为数据中台的重要组成,主数据平台将打通后端的企业内部核心数据和前端的社会化融合数据。
数字孪生技术
“数字孪生”是由密歇根大学的Michael Grieves博士在2001到2002年期间定义的。他的最初定义是在产品生命周期管理(PLM)中,“数字孪生”是对所生产的产品的虚拟展现,通过将数字孪生与工程设计进行对比,来更好的理解产品的生产与设计,在设计与执行之间形成紧密的闭环。
我理解的数字孪生也是利用了大数据的一些核心能力,更深层次的应用。基于数字孪生的主数据,将实现人员、组织、产品、物料、客户、供应商等核心数据的虚拟展现。数字孪生技术的主数据将实现真正意义上的主数据全属性、全周期、自动化、动态化管理。
微服务技术
微服务技术将改变SOA时代主数据产品的架构,基于微服务的主数据是一种“去中心化”的架构,或者说是一种“多中心化”架构,这种架构将具备更好的灵活性。“大平台、微服务”将是主数据平台建设的主旋律。每个主数据作为一个微服务,可以独立部署、独立运行,性能将更好、更适应混合云下的主数据应用,更有利于前端业务的创新。当主数据遇上微服务,这将是一种你中有我,我中有你的缘分……
人工智能技术
在主数据中应用人工智能技术,相信这已经不是未来。走得超前一些的公司,一定已经在主数据应用中加入了人工智能技术。虽然,目前笔者还未发现有较为成熟的应用案例。主数据+人工智能的应用模式,一定是“必然”!人工智能将应用于主数据的清洗、转换、集成、融合、共享、数据关系管理、运营管理、统计分析……,以及我还未触及的一些主数据应用领域。
主数据离不开新技术,但主数据却永远超越技术!这种超越,是一种“洒脱”的形式,绝不会拘泥于一种形式、一种技术。
6、未来主数据的应用模式
个人判断未来主数据的应用模式应具:网络化链接、社会化融合、虚拟化仿真、智能化应用4大能力特征,四项能力相辅相成、互为补充、缺一不可:
网络化连接
网络化是指利用通信技术(例如:5G)、云计算、IOT、大数据等技术实现对人、财、物、设备、信息系统、社会资源的连接和联通,包括:企业内部数据联通、产业上下游数据联通、设备端到端数据联通、企业与社会资源数据联通。这种联通不是简单的数据集成,而是基于深度神经网络的连接,自发现式数据关系,自动化建立连接。
社会化融合
在网络化的连接中,主数据是其重要的连接节点。社会化MDM采用开放式架构,通过企业内部数据与外部社会资源的融合,构建出完整的主数据视图,并能够实现自动化的数据清洗、动态式的数据更新,保障高质量的主数据,从而保障连接节点的有效性。
虚拟化仿真
主数据利用大数据、云计算、数字孪生等技术,实现现实世界的网络化虚拟,发挥连接物理世界和信息世界的桥梁和纽带作用。数字孪生的首先是对象的数字化、虚拟化,其次是对场景的虚拟化。主数据是虚拟现实的重要对象。基于神经网络构建虚拟模型,在这个模型中通过主数据建立基础神经元,通过融合社会化主数据并进行深度学习、逐层训练,逐步建立现实场景的虚拟化模拟。
智能化应用
社会化MDM构建的最终目的是服务于---业务智能化。在未来的数字生态链,最核心、最基础的将是基于数字孪生的社会化主数据,管理和业务的创新、商业模式的创新,都将以此为基石进行开展。
在人类的发展史上,经历农业革命、工业革命、信息化革命,而不论哪场革命本质上都是技术的推动。在已经到来的数字化浪潮中,原生的数字化企业如何持续领先,传统企业如何华丽转型,基于新技术的社会化融合型主数据将发挥其应有的价值。也许10年之内还会默默无声,也许改头换面以一个新的技术出现,也许……。但无论如何,未来已来,你我都置身其中,无法逃避,只有迎合大势,顺风而上。
(文:石秀峰,2019年2月)
欢迎转载,转载请注明,作者:石秀峰,公众号:learning-bigdata(谈数据)
更多数据治理、数据资产管理原创文章,请扫描二维码关注微信公众号(谈数据),微信公众号是笔者原创文章的首发平台,CSDN将滞后一定时间发布。