维度建模——数据仓库初步[通俗易懂]

维度建模——数据仓库初步[通俗易懂]本文是《维度建模》后续文章的基础。我们首先从宏观层面上考察数据仓库和商业智能(DataWarehousingandBusinessIntelligence,DW/BI)系统。DW/BI系统首先应该仔细考虑的问题是业务需求。《维度建模》系列文章将紧紧抓住业务需求这一要点,逐步深入探讨逻辑设计、物理设计以及采用有关技术和工具的决策等问题。本文将详细考察数据仓库及商业智能的主要目标,辨析DW/…

大家好,又见面了,我是你们的朋友全栈君。

分类目录:商业智能《维度建模》总目录

本文是《维度建模》后续文章的基础。我们首先从宏观层面上考察数据仓库和商业智能(Data Warehousing and Business Intelligence,DW/BI)系统。DW/BI系统首先应该仔细考虑的问题是业务需求。《维度建模》系列文章将紧紧抓住业务需求这一要点,逐步深入探讨逻辑设计、物理设计以及采用有关技术和工具的决策等问题。

本文将详细考察数据仓库及商业智能的主要目标,辨析DW/BI管理者与杂志出版商各自责任中存在的不可思议的相似之处。

基于此背景,我们将探索维度建模核心概念并建立基本词汇表。在此基础上,本文将讨论 Kimball DW/BI结构的主要组成部分,并与其他不同的结构方法进行比较,无论读者倾向于使用何种结构,这些讨论对维度建模都有非常重要的意义。下一篇文章将总结针对维度建模的诸多错误理解,并解释为什么在处理DW/BI项目时,既需要从数据库管理员的角度,也需要从商业分析师的角度考虑问题。

数据获取与数据分析的区别

对所有组织来说,信息都是其最重要的财富之一。信息几乎总是用作两个目的:操作型记录的保存和分析型决策的制定。简单来说,操作型系统保存数据,而DW/BI系统使用数据。

操作型系统的用户确保组织能正常运转。操作型系统获取订单、签订新客户、监视操作型活动的状态、记录问题及用户的抱怨。对操作型系统进行优化的目的是使其能够更快地处理事务。操作型系统一般一次处理一个事务记录。它们按部就班,以可预测的方式完成同样的操作型任务,可预测地执行组织的业务过程。鉴于这种执行特点,操作型系统通常不必维护历史数据,只需修改数据以反映最新的状态。

另一方面,DW/BI系统的用户研究分析企业的运转,并对其性能进行评估。DW/BI系统计算新订单的数量,并与过去一周的订单进行比较,找寻签订新客户的原因,了解客户在抱怨什么。这些信息用于分析并判断操作型过程是否处于正确的工作状态。尽管也需要详细的数据来支持始终处于变化状态的问题,但DW/BI系统一般不会一次只处理一个事务。对DW/BI系统进行优化的目的是高性能地完成用户的查询,而回答用户的查询通常需要搜索成千上万条事务,并将查询结果放入一个查询集合中。为应对更复杂的问题,DW/BI系统的用户通常要求保存历史环境,用于精确地评估组织在一段时间内的性能。目前,DW/BI系统与操作型系统有不同的需求、不同的客户、不同的结构以及不同的应用场景的观点已经为大众所接受。遗憾的是,我们仍会发现认为DW/BI系统
是存储于不同硬件平台上的操作型系统的记录的拷贝这样的错误观点。尽管在这样的环境中,出于性能的考虑,将操作型系统和分析型系统进行了隔离,但并未仔细考虑这两类系统之间天然存在的其他差异。商业用户感觉不到由这些虚假数据仓库提供的可用性和性能。这些冒名顶替者对DW/BI系统造成了伤害,因为它们没有考虑DW/BI系统用户与操作型户在需求方面存在巨大的差异。

数据仓库与商业智能的目标

在开始深入研究维度建模的细节前,关注数据仓库与商业智能的基本目标是非常有益的。这些目标可通过深入到任何组织的工作场所中,倾听业务管理的问题而建立起来:

  • 我们收集了海量的数据,但无法对其访问
  • 我们需要以各种方式方便地对数据进行切片及切块
  • 业务人员需要方便地获得数据
  • 将最重要的事情展示
  • 会议自始至终争论的是谁的数字正确,而不是制定决策
  • 我们希望人们能够使用信息来支持更多的基于事实的决策制定

基于我们的经验,上述的关注仍然普遍存在,它们构成了DW/BI系统的基本需求。下面将上述引用的业务管理话题转换为业务需求:

  • DW/BI系统要能方便地存取信息:DW/BI系统的内容必须是易于理解的。对业务用户来说,数据需要有直观性。直观性不能仅针对开发人员。数据结构与标识必须符合业务用户的思维过程和词汇。业务用户能以各种形式分割和合并分析数据。访问数据的商业智能工具和应用要简单易用,同时能够在较短的时间内速将查询结果返回给用户。可以将上述这些需求描述为:简单、快捷
  • DW/BI系统必须以一致的形式展现信息:DW/BI系统的数据必须是可信的。精心组织不同来源的数据,实现数据清洗,确保质量,只有在数据真正适合用户的需要时发布。一致性也意味着表示DW/BI系统内容的公共标识和定义,可在不同数据源共用。如果两个关于性能度量的参数具有同样的名称,则它们一定是指同一个事情(同名同意性)。反之,如果两个度量参数被用于表示不同的事情,则它们应该具有不同的标记(异意异名性)。
  • DW/BI系统必须能够适应变化:用户需求、业务环境、数据及技术都容易产生变化。设计DW/BI系统时要考虑使其能够方便地处理无法避免的变化,以便在变化发生时仍能处理现有的数据和应用。当业务问题发生变化或新数据增加到数据仓库中时,已经存在的数据和应用不应该被改变或破坏。最后,如果必须修改DW/BI系统中的描述性数据,要能以适当的方式描述变化,并使这些变化对用户来说是DW/BI系统必须能够及时展现信息。由于DW/BI系统主要用于操作型决策,原始数据需要在几小时、几分钟或几秒钟内被转换成可用的信息。当没有多少时间用于清洗或验证数据时,DW/BI团队和业务用户需要对发布数据意味着什么有现实的期望。
  • DW/BI系统必须成为保护信息财富的安全堡垒:保存在数据仓库中的信息是组织的信息化财富。至少,数据仓库可能会包含有关将何种商品以什么样的价格卖给何种客户的信息,如果将这样的信息发送给错误的人,将给组织带来伤害。DW/BI必须能有效控制对组织中机密信息的访问DW/BI系统必须成为提高决策制定能力的权威和可信的基础。数据仓库需要正确的信息以支持决策制定。DW/BI系统最重要的输出是基于分析证据所产生的决策,这些决策体现了数据仓库的影响和价值。早期用于表示DW/BI系统的称谓—决策支持系统,仍可作为开展系统设计的最好描述。
  • DW/BI系统成功的标志是业务群体接受DW/BI系统:是否使用最佳组合产品或平台来构建体面的解决方案其实并不重要。如果业务群体不能接受DW/BI环境并积极使用它,就难言成功。对操作型系统来说,用户无法对其加以选择,只能使用新系统,而对DW/BI系统来说,与操作型系统不同的是,它是可选的。只有当DW/BI系统真正成为用于构建可付诸实现的信息的“简单快捷”的资源时,用户才会接受它。

尽管上述列表中的每一项都很重要,但我们认为最后两项至关重要。遗憾的是,通常这两项是最容易被忽略的。数据仓库和商业智能的成功需要更多的专业设计师、技术员、建模人员、数据库管理员。作为初涉DW/BI领域的人,一方面具有较好的信息技术基础,另一方面,对业务用户并不了解。我们必须两方面兼顾,为适应DW/BI的独特需求,修改那些经过检验的技能。显然,需要一整套的技能,这些技能既包括数据库管理的技能,也包括商业分析师的技能,才能更好地适应DW/BI的商业盛筵。

对于一个DW/BI管理者,他们需要:

  • 理解业务用户
    • 理解他们的工作责任、目标和任务
    • 确定商业用户在制定哪些决策时需要DW/BI系统的帮助
    • 识别出那些制定出高效率、高影响的决策的“最佳”用户
    • 发现潜在的新用户,并让他们意识到DW/BI系统能够给他们带来什么能力。
  • 对业务用户发布高质量、相关的、可访问的信息和分析
    • 选择最健壮的、可操作的数据放入DW/BI系统中,从组织机构的各种数据源中仔细选择
    • 简化用户接口和应用,采用模板驱动方式,与用户的认知过程轮廓匹配
    • 确保数据精确、可信,使其标识在整个企业具有一致性
    • 不间断地监控数据和分析的准确性
    • 适应用户不断变化的思维方式、需求和业务优先级,及新数据源的可用性
  • 维护DW/BI环境
    • 采用DW/BI系统制定的成功的业务决策,验证人员配置及要投入的开支
    • 定期对DW/BI系统进行更新
    • 保持业务用户的信任
    • 保持业务用户、执行赞助商和IT管理层满意度
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/139768.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长

相关推荐

  • 模仿学习笔记:行为克隆

    模仿学习笔记:行为克隆1模仿学习模仿学习(ImitationLearning)不是强化学习,而是强化学习的一种替代品。 模仿学习与强化学习有相同的目的: 两者的目的都是学习策略网络,从而控制智能体。 模仿学习与强化学习又有不同的原理: 模仿学习向人类专家学习,目标是让策略网络做出的决策与人类专家相同; 强化学习利用环境反馈的奖励改进策略,目标是让累计奖励(即回报)最大化。 2行为克隆概述行为克隆(BehaviorCloning)是最简单的模仿学习。 行为克隆的目的是模仿人的动作

    2022年9月15日
  • 更新MacOS BigSur是遇到的常见问题及解决方案

    ​​有新系统更新是当然好,但它也可能会带来一些不兼容问题导致系统出现异常现象。比如:软件打不开,游戏卡顿,机器没声音等等….总是不会遇到这样那样的一些问题!就好比最近大热的Macbigsur亦是如此!如macOSBigSur无法下载安装启动等问题,应用程序、WiFi、蓝牙等无法运行,USB断开连接等等,通常可以直接解决。那么下面我们来探讨关于MacOSBIGSUR最常见的一些问题和解决修护办法!macOSBigSur无法下载如果您在下载BigSur时看到消息,提示“macOSBi

    2022年4月8日
  • phpstorm2021激活码3月最新在线激活[通俗易懂]

    phpstorm2021激活码3月最新在线激活,https://javaforall.net/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

    2022年3月15日
  • [ IDEA ] 安装activate-power-mode

    [ IDEA ] 安装activate-power-mode一款很酷炫的代码编辑特效插件先来看看效果和平常的插件方式一样:1、官网插件社区https://plugins.jetbrains.com/plugin/8251-power-mode-ii安装和配置都可以在File>Setting中完成2、githubhttps://github.com/codeinthedark/aw

    2022年7月15日
  • 阿里云的ddns_阿里云docker部署

    阿里云的ddns_阿里云docker部署文档:阿里云DDNSjava实现.note链接:http://note.youdao.com/noteshare?id=c2fe233164c3756b38693d78f31347ed如果有小伙伴发现bug或者有建议请及时联系

    2022年10月30日
  • 区位基尼系数_基尼系数直接计算法

    区位基尼系数_基尼系数直接计算法转载于:http://blog.sciencenet.cn/blog-3376208-1093109.html区域经济研究中,经常需要测度产业空间集中的程度,常用的指标有区位基尼系数(LocationalGiniCoefficient)、泰尔指数(TheilIndex)和EG指数等。这一期先讲区位基尼系数的计算方法及其实现函数,后几期再陆续介绍泰尔指数和EG指数。用Excel算区位基尼系数,尽管也可实现,但非常笨拙,而且可重复性差。然而,其计算方法是非常简单的,用R语言写一个函数来实现之,犹如杀

    2022年10月13日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号