news 2026/5/1 10:03:55

ODS,DWD,DWS的区别

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
ODS,DWD,DWS的区别

ODS、DWD、DWS 是数据仓库最常见的三层,每一层都有明确的职责与数据形态,区别主要体现在“数据内容、加工深度、使用场景”三个维度:

表格

复制

层级全称数据内容加工深度典型使用场景存储周期
ODSOperational Data Store各业务系统原样抽取的数据,几乎不做转换,保持“原貌”只做最简单的格式对齐、字段裁剪,不做业务逻辑清洗①准实时查询 ②源系统故障时回溯 ③给DWD提供原始数据几天~几周,按需滚动清理
DWDData Warehouse Detail以业务过程为中心的“干净”明细数据,统一命名、统一码值、去重、去异常完成数据清洗、规范化、关联维表,保留最细粒度①复杂分析/挖掘 ②供DWS汇总 ③跨主题明细查询几月~几年,长期保留
DWSData Warehouse Summary面向分析主题的轻度汇总表(宽表),指标+维度预聚合按时间、地域、客户等维度做GROUP BY、窗口函数、轻度汇总①报表、Dashboard ②OLAP交互分析 ③数据服务接口几月~几年,随业务需求调整

一句话记忆:
ODS 是“生数据”,DWD 是“洗干净的明细”,DWS 是“直接拿来出报表的汇总”。

三者流转关系:
业务系统 → ODS(原样落地) → DWD(清洗整合) → DWS(汇总宽表) → 报表/接口/数据产品

————————————————————————————————————

在数据仓库/数据中台体系里,除了 ODS、DWD、DWS 这三层“标配”,还经常会遇到以下“兄弟姐妹”概念,一起记会更完整:

  1. DIM(Dimension)
    统一、共享的维表层,存放所有缓慢变化维度(客户、商品、组织、渠道、时间等)。DWD、DWS 都通过维表做关联,保证口径一致。

  2. DWT(Data Warehouse Topic)
    主题宽表层,也叫“中度汇总”或“宽表集市”。把多个业务过程的 DWD 明细按分析主题(用户、商品、订单)预关联、预聚合,形成“一行到底”的大宽表,供数据挖掘、机器学习、实时接口直接调用,介于 DWS 与 ADS 之间。

  3. ADS(Application Data Service / App)
    应用服务层,面向具体场景的高度汇总/二次加工结果,如“昨日 GMV”“618 实时大屏指标”。通常存储在 OLAP、KV、MySQL、ClickHouse 等引擎里,直接对接报表、大屏、API。

  4. STG(Staging)
    临时缓冲层,位于 ODS 之前,只做“原系统→数仓”的一次性落地,不对外开放,出错可快速重跑。部分企业把 STG 与 ODS 合并,也有单独拆分出来做“日增量拉链”。

  5. DWM(Data Warehouse Middle)
    部分公司把“DWT + DWS”统称 DWM,表示“中间汇总层”,命名无统一标准,理解成“介于明细与高度汇总之间的任何中间表”即可。

  6. DM(Data Mart)
    数据集市,面向特定业务部门(财务、供应链、人力)的“小仓库”,可由 DWS/ADS 再加工,也可独立建模。强调“部门私有”,而 DW 是企业级共享。

  7. TMP / MID / TEMP
    临时层,存放中间结果、拉链临时表、调度过程表,生命周期短,通常设定 TTL 自动清理。

  8. 缓慢变化维(SCD)
    维表随时间变化但不想覆盖历史时的处理策略,分 SCD1(覆盖)、SCD2(新增行)、SCD3(新增列)等,是 DIM 层建模核心技能。

  9. 事实表类型

    • 事务事实表(最常用,一行一业务)

    • 周期快照事实表(如账户日余额)

    • 累积快照事实表(如订单从下单到签收全流程)
      它们都属于 DWD 层。

  10. 维度建模 vs 范式建模
    维度建模(星型/雪花)强调“易用、查询快”,多用于 DWD/DWS;范式建模(3NF)强调“一致性、更新快”,常用于 ODS/EDW。现代 Lambda/Kappa 架构里两种常混合使用。

把以上概念与 ODS→DWD→DWS 放在一起,就构成了企业级数据仓库/数据中台的“全家福”。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/18 1:29:50

KRPA Lite设置电子邮件及授权码获取

RPA发送电子邮件注意设置如下:获取QQ邮箱授权码的方法登录QQ邮箱网页版(mail.qq.com),使用需要生成授权码的QQ账号登录。在邮箱首页右上角找到“设置”按钮,点击进入邮箱设置页面。在设置页面中选择“账户”选项卡&…

作者头像 李华
网站建设 2026/5/1 8:27:55

医疗影像诊断AI的容错测试:软件测试从业者的实战指南‌

在人工智能浪潮中,医疗影像诊断AI已成为辅助医生决策的关键工具,但从软件测试视角看,其容错能力直接关乎患者生命安全。容错测试旨在验证系统在异常输入、组件故障或环境扰动下的鲁棒性,避免因单一错误引发连锁反应。对于测试从业…

作者头像 李华
网站建设 2026/4/16 11:30:44

屹晶微 EG27710 600V耐压、高性能、快速开关的半桥驱动芯片技术解析

一、芯片核心定位EG27710 是屹晶微电子EG2x系列中的一款高性能、快速开关的高压半桥栅极驱动芯片 其核心价值在于 600V高端耐压、更强的输出驱动能力(0.6A/1.0A) 以及 同类产品中出色的开关速度(典型130ns延时) 专为对开关损耗和驱…

作者头像 李华
网站建设 2026/5/1 7:21:54

[Mac] Now冥想音频提取工具,无需会员,安装即用

[Mac] Now冥想音频提取工具,无需会员,安装即用 链接:https://pan.xunlei.com/s/VOhPWS4eBPDwfEYXb-lQtU5SA1?pwdvs93# 使用说明: 在Now冥想里面,获取你想要听的音频分享链接即可 软件特点; 1&#x…

作者头像 李华
网站建设 2026/5/1 9:27:06

计算机Java毕设实战-基于springboot的考研学生在线学习与交流系统的设计与实现基于SpringBoot的考研规划与交流平台设计与实现【完整源码+LW+部署说明+演示视频,全bao一条龙等】

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华