数据仓库和数据库有什么区别,数据仓库 数据查询(实时数据仓库如何做)

￮ODS\\DWD部分数据“不可见”，原始数据和中间数据不便于查询（解决方案。要完成这个查询，首先要关联查询很多表，其次要查询2018和2019年两年的数据，最后你还要从海量的数据中找到符合要求的消费金额和消费者，这三点加起来就让数据提取变成了非常复杂的事儿，而且不一定能立刻查到，往往一个查询任务就要跑好几个小时。

1、实时数据仓库如何做？

3.1.1Lambda架构来自ApacheFlink中文学习网站ververica.cn侵权告知立删3.1.2Kappa架构来自ApacheFlink中文学习网站ververica.cn侵权告知立删3.1.3实时olap变体架构来自ApacheFlink中文学习网站ververica.cn侵权告知立删3.1.4常见架构对比来自ApacheFlink中文学习网站ververica.cn侵权告知立删ps:lambda架构开发割裂感：•表结构不同•sql语法不同资源浪费：•重复计算•重复存储集群维护：•组件不同•计算引擎不同数据一致性3.2实时数仓架构3.2.1方案一优点：￮便于数据回溯、重算和数据质量验证。

缺点：￮通过批处理重算，需要维护两套代码，开发和维护成本高，￮需要两套计算资源适用场景：￮超大规模历史数据计算，且这种场景比较频繁。￮对数据质量要求极高，需要比对实时和离线的计算结果，甚至利用离线去修正实时的计算结果，3.2.2方案二优点：￮无需维护两套代码，开发迭代速度快。￮数据回溯和重算方便，重算时间根据需求回溯的时间范围定，

￮只需流计算资源，资源占用小缺点：￮ODS\\DWD部分数据“不可见”，原始数据和中间数据不便于查询（解决方案：可通过重新消费指定时间范围的数据查询，或导入需要的数据到olap引擎）￮依赖业务端反馈问题（解决方案：设计数据质量监控指标，实时监控报警）适用场景：ODS\\DWD查询不频繁等3.2.3方案三相对于方案二：￮增加ODS层落地hive，排查分析原始数据比较方便，恢复历史数据的时候可获取hive数据写入kafka，然后按原流处理的逻辑重新处理即可，只需修改数据源为历史数据对应的topic。

2、数据仓库和数据库有什么区别？

说点大家都能懂的干货，请点赞收藏。先讲讲来龙去脉很久以前是没有数据仓库这个概念的，只有数据库，数据库就是很多数据表的集合，这样把存放不同内容的表放在一起，就能满足一些基本的查询了，比如提取2019年6月18日在淘宝购买Bose耳机的用户，只要几张表关联一下查询就出结果了。后来在实际工作中人们发现当你在海量数据中做非常复杂的分析的时候，效率就很低了：比如找到2019年双11和2018年双11这两天，在淘宝下单超过500元且购买了Bose耳机的用户，这两拨用户在最近2两年的平均消费能力差异，

要完成这个查询，首先要关联查询很多表，其次要查询2018和2019年两年的数据，最后你还要从海量的数据中找到符合要求的消费金额和消费者，这三点加起来就让数据提取变成了非常复杂的事儿，而且不一定能立刻查到，往往一个查询任务就要跑好几个小时。所以随着数据体量增大，查询条件越来越复杂，大家一看不行啊，需要提高效率，

所以数据仓库出现了。数据仓库和数据库相比，有啥特点1.数据仓库有主题性，有作业流的概念上面的例子告诉我们，数据仓库是为了某一个/某一类特定的分析任务将数据重新聚合起来的，而数据库只是数据存储表的集合，所以数据仓库有主题性，同时也因为有主题的概念，数据仓库会根据你预设的逻辑，自动化的完成各个作业之间的调度，最终自动化的把结果输出给你。

所以数据仓库也会有数据流和作业流的概念，2.数据仓库让「查询」效率最大化数据库本质就是很多数据表，所以数据表嘛，就要兼顾增删改查这些操作，但是数据仓库将数据重新组合，是为了让你更高效的查询并且支持你的分析工作的，所以数据库一般只让「查询」的效率最大化，「增删改」的效率不做主要考虑。3.数据仓库有历史数据，而数据库一般只有近期数据上面举的例子中，要查询淘宝2018年和2019年两年的双11数据，所以跨度很大。