大数据_数据中台_数据分层
创始人
2024-04-11 22:04:54
0

目录

分层总览

ODS:操作数据层

DIM:维度数据层

DWD:明细数据层

DWS:汇总数据层

ADS:数据应用层

CDM:公共数据层

数据层级调用原则


分层总览

 

ODS:操作数据层

  ODS(Operate Data Store),ODS层数据是数据仓库的第一层数据,是业务数据库的原始数据的复制,例如,每条产品线的用户信息、订单信息等数据一般都是原封不动地同步到数据中台的ODS层中。ODS层的作用是在业务系统和数据仓库之间形成一个隔离层,在数据中台进行计算任务时,可以以ODS层的数据为基础进行计算,从而不给业务数据库增加负担。

DIM:维度数据层

DIM(Dictionary Data Layer ),DIM层保存维度的属性值,可以跟事实表做关联,将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。比如城市、省份、客户端等维度的数据。

DWD:明细数据层

DWD(Data Warehouse Detail ),DWD层数据是数据仓库的第二层数据,一般是基于ODS和DIM层的数据做轻度汇总。DWD层储存经过处理后的标准数据,需要对ODS层数据进行再次清洗(如去空/去脏数据、去超过极限的数据等操作)。DWD层的结构和粒度一般与ODS层保持一致,但是DWD汇总了DIM层的维度数据,比如在ODS层只能看到客户端的ID字段,但是在DWD不但能看到客户端ID字段,还能看到客户端的名称字段。

DWS:汇总数据层

DWS(Data Warehouse Service),DWS层数据是数据仓库的第三层数据,是以DWD层的数据为基础进行汇总计算的数据。DWS层都是各个维度的汇总数据,一般为宽表,勇于提供后续的业务查询,OLAP分析,数据分发等。比如某日某产品线的访问用户数、收藏用户数、加购用户数、下单用户数、支付用户数等。

ADS:数据应用层

ADS(Application Data Store),ADS层数据是数据仓库的最后一层数据,以DWS层数据为基础进行数据处理。设计ADS层的最主要目的就是给数据可视化应用提供最终的数据。后端开发工程师基于ADS层的数据将最终数据结果以接口的形式展示给数据中台的应用层。

CDM:公共数据层

CDM(Common Data Model),公共数据层,包含DIM、DWD和DWS。主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的明细事实表以及汇总公共粒度的指标。

数据层级调用原则

1、ADS层应该优先调用CDM层数据,不允许跨越CDM层直接调用ODS.

2、DWS层应该优先调用DWD层数据,不允许逆向调用ADS数据

3、CDM层累计快照、周期快照实施表应该调用对应的事务事实表,以保证数据一致性

4、ADS层应该计量复用已有的DWS表,减少直接引用DWD表的情况

5、ADS、DWS、DWD层表允许直接访问DIM表

相关内容

热门资讯

保存时出现了1个错误,导致这篇... 当保存文章时出现错误时,可以通过以下步骤解决问题:查看错误信息:查看错误提示信息可以帮助我们了解具体...
汇川伺服电机位置控制模式参数配... 1. 基本控制参数设置 1)设置位置控制模式   2)绝对值位置线性模...
不能访问光猫的的管理页面 光猫是现代家庭宽带网络的重要组成部分,它可以提供高速稳定的网络连接。但是,有时候我们会遇到不能访问光...
表格中数据未显示 当表格中的数据未显示时,可能是由于以下几个原因导致的:HTML代码问题:检查表格的HTML代码是否正...
本地主机上的图像未显示 问题描述:在本地主机上显示图像时,图像未能正常显示。解决方法:以下是一些可能的解决方法,具体取决于问...
表格列调整大小出现问题 问题描述:表格列调整大小出现问题,无法正常调整列宽。解决方法:检查表格的布局方式是否正确。确保表格使...
不一致的条件格式 要解决不一致的条件格式问题,可以按照以下步骤进行:确定条件格式的规则:首先,需要明确条件格式的规则是...
Android|无法访问或保存... 这个问题可能是由于权限设置不正确导致的。您需要在应用程序清单文件中添加以下代码来请求适当的权限:此外...
【NI Multisim 14...   目录 序言 一、工具栏 🍊1.“标准”工具栏 🍊 2.视图工具...
银河麒麟V10SP1高级服务器... 银河麒麟高级服务器操作系统简介: 银河麒麟高级服务器操作系统V10是针对企业级关键业务...