元数据办理与企业数据运营!

2021-07-22 10:27:08 dms@root 11

元数据是关于数据的组织、数据域及其关系的信息,简而言之,元数据就是关于数据的数据。


企业数据治理的现状与问题

企业架构理论体系中,数据架构始终是企业架构的核心组成部分。TOGAF企业架构框架定义了数据架构位于业务架构与基础技术架构之间,通过数据架构的治理实现了业务和应用的有效连接。

数据架构基线

  • 数据架构梳理

  • 数据架构优化

  • 数据实体关系

  • 概念数据模型

  • 逻辑数据模型

  • 物理数据模型

数据架构关系

  • 业务流程与数据流向

  • 业务功能/数据关系矩阵

  • 应用/数据关系矩阵

  • 数据架构展现与变更办理平台

数据办理

  • 数据分布办理

  • 数据质量办理

  • 数据容量办理

  • 数据迁移……

企业数据资产办理的常见问题

  • 数据架构失控

  • 元数据办理杂乱

  • 数据标准缺失

  • 数据质量参差不齐

  • 数据增长无序

  • 数据安全问题突出


问题聚集于系统变更频繁、积木式迭代、烟囱式建设:

一、企业的IT系统经历了数据量高速膨胀的时期,但大多数据企业最初没有对数据架构重视,导致企业海量的、分散在不同角落,企业无法从统一的业务视角去概览整个企业内部的数据信息。表露出来的只是一个个立的系统,系统与系统之间的关系、标准数据从哪里获取都无从知晓。

二、传统企业的数据资产问题归根究竟是由于企业中对企业数据缺少统一而有力的组织、智钊、流程的管控,引起的“数据孤岛”问题。


企业数据运营的常见问题


企业数据运营中经常遇到的各种各样问题,如下图:

472879469379125047.jpg

  • 怎样快速找到想要的数据:已存在系统,有哪些关键业务数据?它们在哪里?报表指标值怎么算出来的?原始数据从哪得到的?

  • 数据标准如何定义:关键业务数据在不同系统的业务定义?它们的数据结构是怎样的?同一实体在不同系统中的命名规则及其他属性一致?同一实体与本系统或其他系统对象是否存在依靠关系?具体的依靠关系描述是怎么样的?

  • 如何梳理出上下游关系:随着业务快速发展,数据生产链路追渐变长,生产关系越来越复杂,如何准确高效的梳理出数据间、任务间的血缘关系,识别出关键生产链路?

  • 数据治理靠什么来驱动:如何驱动资源治理、规范治理等,以及如何衡量治理效果?

  • 数据资产的办理问题:海量数据资产的归属、分级分类,识别隐私数据等办理问题如何解决?一旦对象定义发生改变,其他开发团队会不会有影响?数据实体所有者是谁?谁做过修改或变更?

这些问题,或许元数据办理能够帮忙到您!


元数据办理对数据运营的紧要性


元数据办理是数据治理工作中的重中之重,为什么企业内部的数据质量总是不高?其实只要有数据存在就有数据质量问题存在。但是也可以通过一个有效的办理流程来提高企业数据质量,其中最核心的就是元数据的办理。

数据运营之元数据的紧要性

元数据是企业中用来描述数据的数据。它可明白为比一般意义的数据范畴更加广泛的数据,不再仅仅表达数据的类型、名称、值等信息,它可以进一步提供数据的上下文描述信息,比如数据的所属域、取值范围、数据间的关系、业务规则,甚至是数据的来源。在数据分析中,元数据可以帮忙DW办理员和DW开发人员非常便利地找到他们所关心的数据。

元数据提供企业数据DNA

  • 有用的数据在哪里

  • 提供一份数据结构定义和元素的详尽示意图

  • 数据来龙去脉、关系

  • 数据质量审计

  • 减少数据冗余性,增加数据共享

  • 使应用开发过程更有效

  • 参照性、引用性、血缘分析、影响分析、改变分析...

  • 利用数据解决企业问题的能力




元数据办理范围和目标


一般而言,就数据仓库或者大数据平台中的元数据可以按不同的维度分为技术元数据、业务元数据、操作元数据等,元数据办理的范围大致如下三个方面:

元数据源:元数据源数据仓库和数据平台中的数据实体定义和结构信息。

数据接口:生产系统和操作型系统中采集到数据仓库或者数据平台中的各种数据接口信息。

报表展现(BI):报表展现的相关指标和统计口径。

数据集成(ETL):数据汇总、处理和分析的数据集成相关信息




元数据办理系统

元数据系统整体分为接收层,办事层,存储层和应用层。摆布两侧别离是主要接入方和应用方,接入方主要包孕了大数据引擎、办理工具、开发平台及工具,应用方主要包孕数据地图、开发平台、治理平台等。

  • 接入层:适配不同元数据生产方,转换成标准定义,输出全种类实体、关系变更消息。

  • 办事层:基于存储层提供单点、复杂查询办事,基于分析引擎提供分析办事。

  • 存储层:基于图模型的实体、关系的存储与查询,支持统计与分析能力。

  • 应用层:提供数据资产地图、数据搜查、全链路血缘等功能。

基于元数据系统的数据资产搜查能力对各类数据建立数据索引,便利搜查引擎快速找到这些数据,同时搜查引擎提供了依据相关性、元信息完汕钊、依靠数量、运营规则进行智能排序,帮忙用户快速找到所需数据。

在这个过程中,用户的点击率、负反馈率等操作行为数据反馈给搜查引擎,利用这些用户行为数据,可以优化搜查索引和排序规则。元数据系统提供了全链路血缘功能,提供实时血缘查询能力,解决数据来源不容易确定、难以评估数据变更造成的影响等问题。元数据中的血缘关系在数据生产加工、数据治理中也有广泛的应用场景。

除了上面应用场景外,元数据还有以下应用场景:

  • 元数据查询:开发平台、指标模型办理、BI工具等通过元数据办事查询库表信息。

  • 资产办理:通过系统采集的元数据信息,对数据资产进行聚集办理,设置生命周期、安全等级等关键属性。

  • 影响分析:支持查询当前节点全部下游,支持变更通知模块依据影响范围进行变更消息的发送。

  • 价值评估:数据资产价值评估模型通过元数据中心提供的丰富的元数据得以落地。


元数据给企业带来的收益


  • 提供一份企业级的详尽应用、数据定义和元素的详尽地图,有利于企业的数据应用人员进行数据分析。

  • 智瞑企业元数据标准,减少数据冗余性,增加数据共享,使应用开发过程更有效,开发费用更低、避免异构结构定义、提高不同工具之间定义的重复利用率。

  • 帮忙用户明白数据来龙去脉、关系及相关属性,统一所有报表的统计口径,减少数据冲突。

  • 数据血缘分析,为数据分析提供直不雅的数据处理先后逻辑,协助提升数据质量。

  • 数据影响分析,帮忙用户识别数据实体会影响的相关处理过程和报表,有利于增加企业运营功效、规避错误及风险。

  • 通过元数据变更,自始自终确保元数据的准确性和权威性。


写在最后的话

元数据办理能够增加数据明白,可以架起企业内业务与IT部门之间的一座桥梁,无论是企业的业务部门还是IT部门,很少能完整的拿出一套企业各项数据的业务含义、口径、技术标准、分布情况等的说明,使用元数据办理可以自动化的获取整个企业的数据业务含义,帮忙明白数据,增加分析的敏捷性。使用元数据办理系统能够便利内部办理、审计或外部监管的需求追溯业务指标、报表的数据来源和加工过程,追述数据的来源;同时还可以针对企业内部、外部的数据需求,快速建立业务与技术之间的连接,敏捷应对企业用户需求。

文章转自:谈数据  来源公众号:zhisheng  如有侵权,请联系删除


关于达美盛:

北京达美盛软件股份有限公司(以下简称“达美盛”)是一家跨平台资产全寿期数据办理(ALIM)平台提供商,致力于通过自主可视化、轻量化核心技术,基于工程和运维一体化数据,为客户构建“数字孪生(Digital Twin)”,打造全寿期资产办理与价值提升解决方案。

达美盛通过十多年技术打磨和经验累积,创立“三位一体”产品和办事:

“1”个引擎:跨平台可视化引擎eZWalker;

“2”个平台:工厂可视化大数据办理平台PIMCenter/eZWalker Tesla可视化开发平台;

“3”个应用:工程项目办理系统 PIMCenter PPM/云协同及移交系统 PIMCenter HO /资产办理系统 PIMCenter APM。

达美盛为国家高新技术企业、中关村高新技术企业、《工程建设标准化》理事会理事单位, ISO15926国内首家发起成员,CFIHOS组织成员单位,并通过了ISO9001、ISO14001、OHSAS18001等质量体系认证;荣获2016年度最佳数字化工厂办事商、2016年度“基础设施可视化资产办理最佳应用奖”;其全资子公司四川达美盛工程设计有限公司具备石油天然气设计资质。


标签:   元数据 数据构架 数据运营 元数据办理