温馨提示  2024年 6月我们已经停止开发者板块文章内容更新,谢谢来访。存档数据
知识 2023-09-18 29 次阅读

对数据进行etl加工的数据层是啥?

对数据进行etl加工的数据层是啥?

对数据进行etl加工的数据层是数据加载层。

ETL(Extract-Transform-Load,数据仓库技术),是将业务系统的数据经过抽取(extract)、清洗转换(transform)之后加载(load)到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据, ETL是BI(商业智能)项目重要的一个环节。

数据仓库各层说明

1. 数据加载层ETL(Extract-Transform-Load)

2. 数据运营层ODS(Operational Data Store)

3. 数据仓库层DW(Data Warehouse)

数据明细层DWD(Data Warehouse Detail)

数据中间层DWM(Data WareHouse Middle)

数据服务层DWS(Data WareHouse Service)

4. 数据应用层APP(Application)

5. 维表层DIM(Dimension)

分层好处

清晰数据结构每一个数据分层都有它的作用域和职责,在使用表的时候能更方便地定位和理解

减少重复开发规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算

统一数据口径通过数据分层,提供统一的数据出口,统一对外输出的数据口径

复杂问题简单化将复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解。当数据出现问题之后,不用修复所有的数据,只需要从有问题的步骤开始修复。

屏蔽原始数据的不同寻常不必改一次业务就需要重新接入数据。