文章标题: 一文读懂数据仓库、数据平台、数据中台、数据湖的概念和区别

在当下的数字化时代,数据对于企业的发展至关重要。数据仓库、数据平台、数据中台和数据湖等概念越来越常见,它们都与数据有关,但它们之间又有什么不同呢?本文将从概念、架构、使用场景等方面对这些概念进行详细介绍,帮助您全面理解它们之间的异同。

一、数据仓库

1. 数据仓库概念

数据仓库由比尔·恩门（Bill Inmon,数据仓库之父）于1990年提出,主要功能是将企业系统联机事务处理（OLTP）长期壁垒的大量数据,通过数据仓库理论支持所持有的数据存储结构,做有系统的分析整理。

2. 数据仓库特点

数据仓库（Data Warehoese）的特点包括:面向主题的、集成的、稳定的、反映历史数据变化的。

3. OLTP与OLAP

OLTP(on-line transaction processing)是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理。OLAP(On-Line Analytical Processing)是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

4. 数据仓库的作用

数据仓库可以实现跨业务条线、跨系统的数据整合,为管理分析和业务决策提供统一的数据支持。

二、数据平台

1. 数据平台概念

狭义上的数据平台是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题而出现的。广义的大数据平台则通常被赋予更多的使命,以处理海量数据存储、计算等场景为主的一套基础设施。

三、数据中台

1. 数据中台概念

数据中台的主要目的是解决企业在发展过程中,由于数据激增与业务扩大而出现的统计口径不一致、重复开发、指标开发需求响应慢、数据质量低、数据成本高等问题。

2. 数据中台特点

数据中台以一种标准的、安全的、可靠的、统一的、共享的、解耦的、服务化的方式支持前端数据的应用。

3. 数据中台作用

数据中台通过对企业内外部多源异构的数据采集、建设、管理、分析和应用,使数据对内优化管理提高业务价值,对外进行数据合作让业务价值得到释放。

四、数据湖

1. 数据湖概念

数据湖是一个集中式存储库,允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据,并运行不同类型的分析。

2. 数据湖特点

数据湖具有以下特点:统一的数据存储,存放原始的数据;支持任意结构的数据存储;支持多种计算分析,适用多种应用场景;支持任意规模的数据存储与计算能力。

3. 数据湖能解决的问题

数据分散,存储散乱,形成数据孤岛;存储成本过高;SQL已经无法满足的分析需求;存储/计算扩展性不足;业务模型不定,无法预先建模。

五、对比

1. 数据仓库 VS 数据中台 VS 数据湖

数据仓库是面向决策支持的,数据中台是面向数据服务的,数据湖是面向原始数据存储的。

2. 数据仓库 VS 数据平台

本质区别在于技术架构和数据容量方面的不同。数据平台更专注于解决数据仓库无法处理非结构化数据和报表开发周期长的问题。

六、总结

数据中台、数据仓库和数据湖没有直接的关系,它们在某个维度上为业务产生价值的形式有不同的侧重。数据中台可以建立在数据仓库和数据平台之上,是加速企业从数据到业务价值的过程的中间层。