今天这篇文章,给大家讲述一下数据仓库的基本概念,作为我们一起探讨的内容。希望大家留言、评论,我们一起学习。
一数据仓库的概念
数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。现在常见的数据仓库是企业级数据仓库,即EDW。
二数据仓库出现的背景
1需求的变化,主要是业务系统系统建设完善,统计分析类需求增加,还有就是大量的信息碎片化和孤岛化,导致数据集成和数据质量问题不断增加
2技术发展,技术发展到一定程度,必然推动系统更新换代。关系型数据库技术逐渐成熟稳定,报表和复杂查询处理起来异常困难,数据标准的问题。
以上两个原因是数据仓库出现的大致背景。
三数据仓库与OLTP
1数据仓库,数据量大,保存历史,面向主题,主要用来统计分析
2OLTP,生产系统,面向应用;事物驱动;实时性高;数据检索相对少;只存当前数据
比如以银行卡为例,我们用银行卡取钱,首先到ATM进行交易,然后ATM查询核心系统,核心系统完成交易,你拿到钱。这个就是面向应用,事物驱动,并且是实时的,数据查询就只查你的账户数据(余额信息),并且还是你时点的余额信息。
四数据仓库与OLTP的区别
挑一个来说一下,更新和不更新
操作型数据库对于数据是更新的,还是前面说的取钱,我们取了钱,那么我的余额是要变更的。但是对于分析性数据库来说呢,是不变的,原有的一笔数据依旧保留,会新增一条余额变动的数据记录,就是保留历史数据。能理解吧。
五数据仓库的特征
这个大家就看下图吧,不细说了。面向主题;集成;记录时间变化;不更新
六数据仓库理论的形成
七什么是ODS
ODS,大家在工作中,如果有做数据仓库的应该比较清楚,大家一说ODS,马上就能想到数据仓库,工作中好多同事都觉得是一回事。其实不然,ODS只是数据仓库的一部分,现在的数据仓库大部分都是基于ODS和OLTP集合在一起了,最常见的就是数据仓库中既有历史数据的保留,还有面向应用系统统计分析的各个集市。
八ODS应用的形成
九ODS与EDW
简单理解为ODS为O层数据,基本能上和源系统一致,可能会有写标准化的字段。EDW是基于ODS数据整合,就是ETL的过程。常见的可以分为公共层,汇总层。
十数据模型
1逻辑模型:不考虑物理数据库,独立的。比较