ods层数到dwd一般怎么处理
刘耀文的大沙雕
钟意阿满
各位大神，数据仓库分层 DWD DWB DWS 分别是什么缩写啊
Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听且提供直观易懂的查询结果。比较流行的有：AWS Redshift，Greenplum，Hive等。
1.2主要特点
面向主题：
操作型数据库组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。
主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个操作型信息系统相关。
集成
需要对源数据进行加工与融合，统一与综合。
在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。（关联关系）
不可修改
DW中的数据并不是最新的，而是来源于其他数据源。
数据仓库主要是为决策分析提供数据，涉及的操作主要是数据的查询。
与时间相关
处于决策的需要数据仓库中的数据都需要标明时间属性。
1.3与数据库的对比
DW：专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势。
数据库：用于捕获和存储数据
特性 数据仓库 事务数据库
适合的工作负载 分析、报告、大数据 事务处理。
数据源 从多个来源收集和标准化的数据 从单个来源（例如事务系统）捕获的数据。
数据捕获 批量写入操作通过按照预定的批处理计划执行 针对连续写入操作进行了优化，因为新数据能够最大程度地提高事务吞吐量。
数据标准化 非标准化schema，例如星型Schema或雪花型schema 高度标准化的静态schema。
数据存储 使用列式存储进行了优化，可实现轻松访问和高速查询性能 针对在单行型物理块中执行高吞吐量写入操作进行了优化。
数据访问 为最小化I/O并最大化数据吞吐量进行了优化 大量小型读取操作。
2.数据分层
数据分层，每个企业根据自己的业务需求可以分成不同的层次，但是最基础的分层思想，理论上数据分为三个层：数据运营层、数据仓库层、数据服务层。基于这个基础分层之上，再提交信息的层次，来满足不同的业务需求。
2.1数据运营层（ODS）
ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。
ODS层数据的来源方式：
业务库
经常会使用sqoop来抽取，例如每天定时抽取一次。
实时方面，可以考虑用canal监听mysql的binlog，实时接入即可。
埋点日志
日志一般以文件的形式保存，可以选择用flume定时同步。
可以用spark streaming或者Flink来实时接入。
kafka也OK
消息队列：即来自ActiveMQ、Kafka的数据等。
2.2数据仓库层（DW）
DW数据分层，由下到上为DWD，DWB，DWS。
DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。
数据清洗：去除空值、脏数据、超过极限范围的。
DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。
用户行为，轻度聚合
主要对ODS/DWD层数据做一些轻度的汇总。
2.3数据服务层/应用层（ADS）
ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。
我们通过说的报表数据，或者说那种大宽表，一般就放在这里。
抱起亚轩找小葵
材料学中的ODS表面处理是什么处理是怎么个过程？求大虾知道
DW ：data warehouse 翻译成数据仓库。
DW数据分层，由下到上为 DWD,DWB,DWS。
DWD：data warehouse detail 细节数据层，有的也称为 ODS层，是业务层与数据仓库的隔离层。
DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
DWS：data warehouse service 服务数据层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。
扩展资料
数据仓库分层的原因
1、通过数据预处理提高效率，因为预处理，所以会存在冗余数据。
2、如果不分层而业务系统的业务规则发生变化，就会影响整个数据清洗过程，工作量巨大。
3、通过分层管理来实现分步完成工作，这样每一层的处理逻辑就简单了。
标准的数据仓库分层：ods（临时存储层），pdw（数据仓库层），mid（数据集市层），app（应用层）
4、空间换时间。通过建设多层次的数据模型供用户使用，避免用户直接使用操作型数据，可以更高效的访问数据。
5、把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。
6、便于处理业务的变化。随着业务的变化，只需要调整底层的数据，对应用层对业务的调整零感知。
参考资料百度百科-数据仓库
大圣杰锅是
ods层的数据要如何导入
人们把破坏大气臭氧层、危害人类生存环境的化学物质称为“消耗臭氧层物质”(ozone depleting substances)，简称ODS。
目前大量使用的ODS主要包括下列几类物质：全氯氟烃：主要用作制冷剂、清洗剂和发泡剂；哈龙：主要用作灭火剂；四氯化碳：主要用作化工生产的助剂和清洗剂；甲基氯仿：主要用作清洗剂；甲基溴：主要在农业种植、粮食仓储或商品检疫中用作杀虫剂；含氢氯氟烃：主要用作制冷剂、清洗剂和发泡剂。
ODS（破坏臭氧层物质）清洗剂占有很大比重，用含有以上物质的清洗剂处理零件表面的过程就是你的答案。目的主要是除去零件表面的油脂，便于随后的表面处理工艺的进行，因为金属零件的表面处理如发蓝发黑、磷化、电镀等等大部分是采用的水溶液，零件表面如果含有油脂这种憎水性物质会妨碍表面处理工艺的实施，所以必须去除。
小韩在追星
ods层数据导入的方法：
1、创建临时表并加载数据。
2、创建ods库表。
3、将数据导入orc格式表中，就完成了。
ODS层介绍：
作用：数据接口层,主要作用是接入每天的数据，然后进入DWS层进行主题分类。 命名规范：ODS_表名字 （建议表明跟文件名字一样） 最长30个字符。 保留策略：目前保留所有原系统的数据，在将来会按照实际需要更小的缩小ODS层数据的保留策略。
操作数据存储ODS（OperationalData Store）是数据仓库体系结构中的一个可选部分，由业务系统产生的报表、细节数据的查询自然能够从ODS中进行，从而降低业务系统的查询压力。
ODS设计与DW设计在着眼点上有所不同，ODS重点考虑业务系统数据是什么样子的，关系如何，在业务流程处理的哪个环节，以及数据抽取接口等问题。
ODS的作用：
ODS是一个将面向主题的，动态增长的，非实时的，消除了原始数据库差异的，对原始库最大限度进行冗余处理后得到的数据集，通过ODS消除了数据间的关联细节，实现了对某一领域数据进行统一处理（比如查询、统计）的快捷方法。
ODS的主要目的是为了降低数据仓库系统和业务系统之间的紧耦合。