目前,我正在体系化更新数据资源管理/数据治理/数据中台系列文章。
今天的文章,我们聊一聊:企业内部的数据孤岛问题并没有因为数据中台而彻底解决。
随着大数据、云计算以及人工智能技术的普遍应用,数据可谓是当下最重要且最具价值的资产,企业通过挖掘与分析数据,可提高其竞争力,预测市场趋势,做出更具针对性的决策。
但,数据孤岛问题成为阻碍企业发展的天堑。
数据孤岛是一个常态持续性问题,像个疯狗,赶走了过段时间又跑过来了,如此往复,让人疲惫不堪。
根据华夏邓白氏、微码邓白氏近期开展的研究,目前有 92% 的中国企业内部存在数据孤岛,其中,36% 的企业该现象相当普遍。
数据中台的目标之一是帮助企业彻底消灭数据孤岛,但显示的情况并没有那么乐观。
01
为什么,数据孤岛
什么是数据孤岛?
根据百度百科,即企业发展到一定阶段,出现多个事业部,每个事业部都有各自数据,事业部之间的数据往往都各自存储,各自定义,会存在多个数据中心,甚至跨海内外的数据中心,每个事数据中心就像一个个孤岛一样无法(或者极其困难)和企业内部的其他数据进行连接互动。
什么原因导致的?
一般来说,企业信息化发展有三个阶段:基于设备的建设,基于项目的建设和基于战略的建设。
通常在第二阶段必然会产生信息孤岛,有这么几个原因:
1、组织架构按照部门单元划分:因为企业的工作是以部门为主的功能型,这样的话每个部门都会有业务数据的产生,有对数据保存和使用的需要,不同部门对数据的定义和使用可能存在比较大的差异,所以各部门之间的数据不能互通。
2、信息部门建设的相对滞后:如果信息部门不能尽快满足业务对数据处理的要求,那业务部门就可能独自开发业务系统,这种情况还是普遍存在。
3、缺少统一的数据战略、标准和文化:如果不能做到信息系统建设的统一,由不同部门,不同公司来建设的话,必须有一个标准能够使得日后的互通比较容易实现。
总结一下就是:企业目前普遍采用以“部门/事业群”为单元的组织架构来管理业务,加上信息化系统建设进度无法跟上业务发展需求,与此同时,企业也缺少了整体的数据战略和标准,很多系统之间缺少互联和协同。
02
如何打破数据孤岛
如何打破数据孤岛是一个老命题了。
数据孤岛会降低生产力、引入不必要的错误、隔离用户并导致数据隐私风险,我们一直在找寻应对的方法。
常见的方案如下:
请点击输入图片描述(最多18字)
这些方案均在不同的行业、不同规模的企业中落地过,均可以对数据孤岛问题产生一些良好的效果,但无法彻底消灭数据孤岛。
数据中台是近些年消灭数据孤岛问题的热门方案,在包含 BAT在内的诸多企业中,都得到广泛应用。
这些方案均在不同的行业、不同规模的企业中落地过,均可以对数据孤岛问题产生一些良好的效果,但无法彻底消灭数据孤岛。
数据中台是近些年消灭数据孤岛问题的热门方案,在包含 BAT在内的诸多企业中,都得到广泛应用。
数据中台是"一套可复用、可快速迭代、可支撑前台多样化业务需求的通用技术组件和能力",它旨在提供标准化的数据服务,实现数据的共享和价值最大化。
这么说可能还比较抽象,可以看看下面的框架图:
可以看到,数据中台对接了企业内外部的可用数据源,将数据统一集成到湖仓内,进行统一的清洗、加工处理,并配套质量及安全保障能力,最终通过数据服务的方式,统一为数据应用或业务系统做数据支撑。
相当于数据中台就是企业全部数据的集散地了,按道理,这样应该可以很少的解决数据孤岛的问题呀。
你想过一个企业内有多个数据中台的场景没?
是的,你没有看错,我之前就经历过一个项目,一个集团企业有多套数据中台,下面的每个子公司都是自己的数据中台,不同的业务线也单独采购了数据中台。
合理吗?
看起来非常不合理。
但别忘了:存在即合理。
我们现在的很多解决方案,大多都是从技术或工具层面出发考虑的,看起来能够很好地解决问题。
但是,实际情况比这复杂的多,单纯一个“组织差异性”因素,就带来无数个变量,可以把一切技术和工具优势扫平。
随着多年的技术发展,现在阻碍数据流通,解决数据孤岛问题的卡点早已经不是“工具层”了,而是,更深层次的组织管理和文化。
还记得前面说的产生数据孤岛的原因没?
其中第三点是说:缺少统一的数据战略、标准和文化。
就拿上面不同的子公司和集团都立项采购数据中台,这说明了几点:
1)集团对子公司的管控能力弱;
2)集团层面在数据重视程度上不足,行动比子公司差;
3)也有可能子公司不遵从集团层面的数据战略。
这些问题靠工具层面是无法解决的,因此,很多数据中台厂商事后吐槽,企业自身内部掉链子,最后都说是厂商的产品的锅,他们也是有苦说不出。
如何解决呢?
这可是一个大的问题,并没有标准的答案,我也无法给出明确的、适合所有企业的解决办法。
不过,有一些通用的思路,可以做一些借鉴:
制定统一的数据战略
明确数据在企业中的战略定位,将数据视为企业核心资产,推动跨部门协作,避免数据孤立。
建立跨部门数据共享机制
通过数据共享协议和流程,确保各部门愿意开放和共享数据,减少“数据所有权”意识。
统一的数据标准和规范
制定全公司统一的数据标准(如命名、格式、数据字典等),确保不同系统之间的数据一致性。
数据治理与管控机制
确立数据治理框架,指定数据管理员和数据管控流程,保障数据的合规性和质量。
建立数据文化与培训体系
推动全员数据文化,提升员工对数据的认识和使用能力。定期进行数据培训和教育。
数据驱动的决策流程
在决策过程中强化数据驱动,要求各级决策依赖数据支持,推动数据共享和整合。
持续监控与优化
定期监控数据孤岛问题,收集反馈,持续优化数据战略和工具应用。
03
小结
数据孤岛与企业可能是长久的共生关系,我们和数据孤岛的战争远没有结束。
好在,我们并非需要完全消灭数据孤岛问题。
换个角度来看,数据孤岛有点像我们人类身体上的“致癌基因”,我并没有直接把它当癌细胞来举例,避免进一步夸大数据孤岛的危害。
伴随企业的发展和运营,一家企业必然会出现数据孤岛,但并不是都会带来毁灭性问题,就像很多的致癌基因并不一定会导致我们患癌一样。
数据中台虽然无法全面消灭数据孤岛,但是,如果企业能够制定统一的数据战略、标准和文化,数据孤岛的问题将在数据中台的支撑下,得到极大的改善。
消灭数据孤岛不是最终目的,我们需要的是将企业需要的数据有机地联动起来,为我们创造更大的业务价值。
只要不是阻碍我们实现业务价值的数据孤岛,就让他孤着又如何,总之,面对数据孤岛问题,建言四字:按需治理。