公司如何做好元数据管理_数仓元数据管理
发布网友
发布时间：2023-04-30 16:12
共1个回答
热心网友
时间：2023-10-09 12:22
最近Gartner在研究报告里明确指出，“元数据管理将是未来企业信息化的核心基础设施”。确实，在大数据环境中，如果企业不通过元数据管理把多种复杂的信息管理起来，很难做到信息的有效利用。但是，很多企业逐渐发现元数据管理直接给企业业务创新带来的价值非常有限。目前的元数据管理现状是什么？如何充分释放元数据管理的业务价值？有哪些实践经验可以借鉴？
目录：
一、现状分析：孤独的企业元数据管理
二、解决方案：面向业务释放元数据价值
三、技术实践：普元的企业元数据管理实践
一、现状分析：孤独的企业元数据管理
元数据管理不能给业务创新带来直接价值的主要原因，在于目前的元数据管理太“孤独”，这种孤独主要体现在以下四个方面：
管理范围窄：目前元数据管理范围窄主要体现在两个层面：第一，只管理了数据仓库相关的元数据，没有将元数据管理扩展到整个企业层面；第二，即使在数据仓库领域，也只管理了部分技术元数据，技术元数据的缺失导致元数据系统不能展现出企业系统的真实情况，业务元数据的缺失导致最终大家只能得到一堆缺少具体业务含义的表结构。
业务难结合：因为缺少和业务的结合，很多企业做完元数据管理系统之后，发现只是数据管理部内部人员在使用，其他部门的人根本没法用。系统都应该是为业务服务的，只有一个部门的人在用的系统是没有生命力的，如何让各部门的人都会使用元数据管理系统是一件很重要的事。
应用场景缺:目前，大部分元数据的应用场景都局限于元数据系统的内部功能，比如血缘分析，血统分析，版本管理等，这些功能都是企业在信息化里面使用到的，但实际上元数据的作用不只是体现在这些有限的功能上。
技术不完善：技术的不完善导致了以上一系列问题的出现。扩展性不强，导致很多元数据管理工具没办法管理企业业务数据和架构；采集能力差，导致只能通过手工做辅录，人工成本高，不能建立完整的信息链路；实时性不高，导致很多企业的元数据管理还停留在T1（甚至不是T1）阶段，不能实时了解数据资产状况，跟不上企业数据增长的速度。
二、解决方案：面向业务释放元数据价值
为了让元数据管理摆脱以上“孤独”的现状，可以从四个方面着手：
在技术上增强扩展性，实现自动化采集第一，增强扩展性。现在大部分元数据产品都是符合CWM标准的，只能管理数据仓库相关的元数据，不支持业务、架构等元数据的采集，以位于CWM下一层的MOF为基础，能有效解决扩展性的问题，通过此种方式，普元用元数据管理了新一代平台ThePlatform中整个微服务架构，实现了服务、数据以及运维过程的统一管理。第二，提升采集能力。元数据管理要采集各种各样的元数据，包括脚本、存储过程、报表等，还得分析各种各样的语法树，这对系统的采集能力要求是很高的，普元的元数据管理平台已实现用自动化提升系统的采集性能，能采集多种元数据，采集率几乎达到100%。
增强业务元数据管理能力，让业务用户广泛使用充分释放元数据管理业务价值的前提是让业务人员学会使用元数据管理系统，因此如何采集到业务元数据就变得非常重要。通过Excel采集业务元数据的方式，需要业务人员来填写各种各样的数据项，即使采集到系统中，也无法建立业务元数据与技术元数据的关联，无法体现业务数据在技术上的路径。为了解决上面的问题，自动化采集是必不可少的，另外还可以通过从文档里去分析业务元数据，再和技术元数据做对应的方式，让更多用户参与到元数据系统的使用上来。
与业务结合，实现面向业务的定制化应用现在元数据管理系统只局限在内部特定功能的使用，为发挥元数据管理的价值，应该把元数据做成一个服务化的系统，嵌入到企业各个场景中，给其他系统提供能力，让其他系统变得更自动化，让元数据管理变成企业一个很重要的基础设施，集成到企业信息化的方方面面。
打通数据生产线，形成自助数据供给不少企业都遇到过这样的问题：开发人员向数据部门索要数据时，数据部门需要逐个讲解数据的含义并把数据导过去，讲解的难度随着系统的增多而增大。元数据能帮助企业打造一个自助的数据生产线，让开发人员很容易地从数据平台中拿到所需数据，把整个产业线变得更简单，减轻数据部门的工作量的同时还能提高业务开发人员的满意度。
三、技术实践：
普元的企业元数据管理实践
中国东方航空：业务化的数据地图原来的数据地图只有技术人员能看懂，但是业务人员更关心和业务相关的事情，关心的是业务数据的分布。所以，普元梳理了整个东航的模型，用业务人员能理解的方式展现出了这些数据。通过数据资产管理平台的建设，东航实现了业务化数据地图的展现。普元借鉴达美航空经验，分析了航空领域模型中近2000个实体，逐个核对了1249张业务系统表数据，梳理出了数据主题域、数据实体、业务系统在内的三层结构的数据地图：包括航班、票务等13个主题域，针对每个主题域给出了多达227个业务实体目录及定义，给出了每个业务实体对应的数据库表与业务系统。
浙江电力：基于业务元数据的业务用户自助数据查询因为业务人员的IT水平有限，没办法自己设计报表，也没办法自助查询数据，所以浙江电力每天都要处理大量来自业务人员的需求。普元帮助浙江电力梳理了所有的元数据，并跟报表线做了整合，通过对应业务元数据和技术元数据，让业务人员可以查询业务数据对应的技术通路，从而自助设计报表，大大减小了数据部门的工作量；普元还帮助浙江电力做了针对业务流程的数据地图，业务人员从数据地图上能直接看到每个流程节点对应的数据，通过这种方式，让业务用户自己找到所需的数据。
德邦物流：自动化、实时的数据资产采集德邦已经建立了比较完善的数据平台，普元元数据管理平台，帮助德邦管理了90多个业务系统，优化了整个现有流程，实现了各种环境的自动化采集（数据库、ETL、服务、报表、GP、存储过程等），采集准确率达到了95%-99%。自动化采集之后，德邦放心地去掉了500多张报表中跟任何系统都没有关联的50张无用报表，大大减少了报表维护费用。
对于开发中的测试部署阶段，理想状况下，设计态、测试态、生产态中的元数据是一致的，通常开发管理者需要比对设计态和生产态，根据比对结果判断系统能否上线，运维人员也需要在系统上线之前，提前分析出系统上线给其他系统带来的影响。之前这些都需要人工完成，项目完成后，元数据已经融入了德邦的每一个开发环节，通过元数据管理系统可以完整比对不同状态之间元数据的差别，直接给出对比差异报告，开发管理者和运维人员根据报告就能判断系统能否上线。
