数据治理基础知识概论
数据治理基础知识概论
网络安全和信息化 前天
以下文章来源于中国软件评测中心 ，作者吴志刚
一、数据治理时代背景
一）数据呈爆炸式增长
随着大数据时代的到来，我们的社会每天都在产生海量数据。摩拜单车每天的订单量、Twitter每天发布的消息数都以千万级计，Google每天处理的数据量超过20拍字节（PB）。2018年11月，国际数据公司（IDC）发布的白皮书《数据时代2025》（Data Age 2025）预测，在2025年全球数据量将达到175泽字节（ZB），比2017年发布的白皮书预测的163泽字节（ZB）增加明显。这也说明了目前我们所处的信息时代，数据的增长是爆炸性的。
（二）数据逐渐成为重要战略资源
数据成为数字时代重要战略资源是一个逐渐演进的过程。上世纪四十年代至八十年代，计算机因其价格昂贵、体积巨大、能耗高等原因，仅应用于国防、气象和科学探索等领域，当时数据应用领域很窄，数据存储量较低。从八十年代到九十年代中期，这一阶段可称为信息时代（IT时代），即信息化1.0时期。这个时期数字化办公和计算机信息管理系统逐渐取代了纯手工处理，人们进入了以单机应用为主要特征的数字化阶段，信息化1.0阶段的主要特征是数据信息描绘现实。从上世纪九十年代中期到2015年，这一阶段可称为网络时代（“IT+”时代），即信息化2.0时期。这一时期是以联网应用为主要特征的网络化阶段，互联网快速发展及延伸，加速了数据的流通与汇聚，数据呈现出海量、多样、时效、低价值密度等一系列特征。信息化2.0阶段的特征是数据改变现实。2015年至今，这一阶段可称为数据时代（DT时代），即信息化3.0时期。这一阶段是以数据的深度挖掘和融合应用为主要特征的智能化阶段。数据不断产生、计算、分析、应用、迭代，成为网络空间不停流动的血液和知识经济的原材料，更成为继物质、能源之后的又一种重要生产要素和战略资源。信息化3.0阶段的特征是数据驱动现实。特别是十九届四中全会《决定》首次增列了“数据”作为生产要素，反映了随着经济活动数字化转型加快，数据对提高生产效率的乘数作用日益凸显，成为最具时代特征新生产要素。
（三）数据治理成为智能时代紧迫任务
在数据大爆炸时代，数据成为重要的战略资源，数据被称为黄金、新的石油，蕴含重要的经济、社会价值。但有数据不代表就会产生价值。数据如果未能被认知、被利用，就是无价值的；如果数据未被有效的管理，不但不能发挥价值，反而可能带来风险，从而引发“数据危机”。正如我们当前我们面临的数据质量层次不齐、数据壁垒林立、数据垄断明显、数据安全隐患等，影响和制约数据价值的释放。“数据危机”的出现，要求国家、行业、企业组织要加强对海量数据的治理。数据管理成为数字经济发展的基础。随着国家大数据战略的深入推进以及对数据安全的日益重视，建立完善的数据管理和治理体系成为大数据时代国家、行业、组织乃至个人的一项紧迫任务。
二、数据治理的价值及意义
一）组织数据资产保值增值的必然举措
从企业发展视角看，加强数据管理和治理是组织数据资产保值增值的必然举措。
一是降低组织投入成本。组织加强对数据的管理，一方面通过数据管理战略规划，推动统筹集约建设，节约数据管理与信息化建设成本。另一方面加强数据管理可有效确保数据质量，降低处理错误数据的时间成本。据IBM统计，错误或不完整数据导致BI和CRM系统不能正常发挥优势甚至失效，数据分析员每天有30% 的时间浪费在了辨别数据是不是“坏数据”上。
二是提升组织管理运营效率。数据管理是站在组织战略高度，一把手总抓、全员参与的持续改进过程。加强数据管理有助于组织提升数据质量、推动数据交换共享，促进组织管理效率提升。另一方面提高组织服务效率。如，企业通过加强对客户数据的管理，围绕着客户登记、拜访、购买、售后服务、二次购买等数据管理，有助于分析客户的类型、产品喜好、购买偏好及购买价格区间等，从而调整优化销售策略和产品策略，提升成交量。
三是提高组织数据资产价值。组织通过加强数据管理可提升产品或服务质量和附加值。如，智能制造就是把数据技术与传统制造业相结合，从而提升制造业的效率和产品质量。另一方面组织通过挖掘数据潜在价值，激发创新活力，衍生新的数据产品或变革服务供给方式，实现数据资产增值。
（二）有助于引领行业创新性、规范性发展
从行业产业视角来看，加强数据管理有助于行业创新性、规范性发展。
一是数据管理促进产业转型升级。十九届四中全会首次明确了“数据”是一种生产要素，越来越多的组织认识到把数据及其技术运用到生产中，不仅极大地提高了生产率，也迅速地提升了产品的功能和附加值，数据及其技术成为驱动产业转型升级的新引擎。例如，生产装备数字化及工艺过程的智能化使智能制造、集智制造成为现实。
二是数据管理是行业监管的有效抓手。2018年5月，中国银保监会发布《银行业金融机构数据治理指引》，提出对银行业金融机构数据全生命周期管理的要求。2018年9月，国家卫生健康委印发《国家健康医疗大数据标准、安全和服务管理办法（试行）》，加强对医疗行业数据标准、数据安全和数据服务的管理。2020年2月工业和信息化部发布《工业数据分类分级指南（试行）》，为工业数据分级分类管理提供指导。这些文件从不同维度对行业数据管理提出相关要求，加强了行业监管力度。
三是有利于培养行业复合型人才。《中国经济的数字化转型：人才与就业》报告显示，大数据与人工智能领域人才缺口明显，“技术+管理”人才一将难求。加强数据管理有助于引起行业对数据管理人才的重视，激发各行各业按需培养数据和业务相结合的复合型人才，为行业发展储备力量，满足行业可持续发展需求。
（三）赋能治理体系和治理能力现代化
从国家或政府视角看，数据管理是政府机构围绕数据这一新型生产要素进行制度建设和执行落实的系列活动。加强对数据的管理，有助于推动政府治理体系和治理能力现代化。
1.数据管理是政府治理体系变革的“牵引器”。一方面，数据管理推动政府内部制度优化。当前我国各地政府推进的数据管理部门建设、“最多跑一次”、“一门一窗一网”改革等，归根到底都是在数据管理和应用需求的牵引下，开展的刀刃向内的自我革命。另一方面数据管理促进政府、市场和社会关系协调平衡。当前政府不再是数据的唯一生产者、拥有者或利用者，而应该转变角色成为一个“平台”组织者、管理者和赋能者，通过制定平台规则，处理好政府、市场、社会三者的地位和相互关系，明确数据资源所有制、数据及其产品服务的定价分配制度等，激发市场活力、吸引社会上更专业的力量参与到数据管理工作，既要避免“政府失灵”带来的市场萎靡，也要避免“市场失灵”带来资源配置失衡。
2.数据管理是政府治理能力提升的“助推器”。一方面，加强数据管理提升行政管理效能。有效的数据管理通过制度、流程的优化，在技术平台支撑下，打通国家决策部署号召力与实际行政管理的执行力之间的阻塞带，促进数据在条条块块之间畅通流转，降低数据交换共享成本，加快提升行政效率。另一方面，数据管理支撑人民满意的服务型政府建设。加强数据管理提升数据质量、推动数据流动和应用，成为“解码”公众需求，优化服务模式、丰富服务内容、整合服务链条，提升服务温度的“利器”。各类惠民应用百花齐放，推动公共服务从被动走向主动、从窗口走向指尖。“粤省事”、“浙里办”、“皖事通”等都是以“场景为牵引、数据为驱动”推进政务服务便捷化、均等化的良好实践。
三、数据治理相关概念、模型
一）数据与信息
数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等。
数据一般被称为“信息的原材料”，而信息则被称为“在上下文语境中的数据”。DIKW金字塔模型用于分层描述数据、信息、知识与位于顶层的智慧之间的关系。事实上，数据和信息这两个概念是相互交织并相互依赖的。数据是信息的一种形式，信息也是数据的一种形式，这两个术语有时可以互换使用。
（二）数据管理与数据治理
根据国际数据管理协会（Data Management Association International, DAMA）的定义，数据管理是指通过规划、控制与提供数据和信息资产职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，以获取、控制、保护、交付和提高数据和信息资产价值。该定义包含了以下三层含义：数据管理包含一系列业务职能，包括政策、计划、实践和项目的计划和执行；数据管理包含一套严格的管理规范和过程，用于确保业务职能得到有效履行；数据管理包含多个由业务领导和技术专家组成的管理团队，负责落实管理规范和过程。
数据治理属于顶层设计范畴，是决策层面的综合把控，重点解决数据管理的规章制度制定、数据管理工作的决策部署以及数据管理组织机构设置等问题。参考国际数据管理协会（DAMA）数据管理知识体系框架，数据治理是统领其他十个知识领域的核心纽带，数据治理处于数据管理的中枢位置，贯穿和辐射数据管理的各个功能域，指导其他所有数据管理职能。数据治理目的是确保根据策略和最佳实践来正确地管理数据。
图 数据管理与数据治理关系图
数据治理包括顶层规划与布局、统筹协调、组织管理、制定规章制度等一系列复杂过程，即制定决策、统筹协调合适的人、按照合适的路线、做正确事情。数据管理是制定和实施决策的过程，重在贯彻执行决策，就是按照数据治理既定的方针不走样地抓好落实。
（三）国内外主流数据管理模型
1.DAMA数据管理知识体系。国际数据管理协会（Data Management Association International，简称DAMA国际）撰写的《DAMA数据管理知识体系指南（第2版）》（即《DAMA-DMBOK2.0》）一书中，介绍了数据管理相关概念，并确定了数据的管理目标、职能和活动的主要交付成果、角色、原则、技术和组织文化方面的问题。
DAMA-DMBOK2.0将数据管理工作定义为11个知识领域，分别是数据治理、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文件和内容管理、参考数据和主数据、数据仓库和商务智能、元数据、数据质量管理。DAMA车轮图定义了数据管理知识领域，数据治理放在数据管理活动的中心，其他知识领域（数据体系结构、数据建模等）围绕车轮平衡（如下图所示）。
图 DAMA-DMBOK2数据管理框架（车轮图）
DAMA-DMBOK2.0定义的数据管理工作内容可以分为三类：有些注重数据治理活动，确保组织对数据做出合理、一致决策；有些注重数据生命周期活动（数据获取——数据销毁）；有些注重数据的基础活动（数据的管理、维护、使用）（如下图所示）。
图 DAMA车轮图演变
2.数据管理成熟度模型(DMM)。2014年8月，卡内基·梅隆大学软件工程研究所正式提出数据管理成熟度模型(Data Management Maturity，DMM)。该模型借鉴其20世纪80年代提出的针对于软件开发过程中的能力成熟度评估模型(Capability Maturity Model，CMM)，主要为组织提供一套评估数据管理能力的标准，从而准确获得组织的数据管理成熟度等级（如下图所示）。
图 数据管理成熟度模型（DMM）
DMM模型将数据管理划分为数据管理战略、数据质量、数据操作、平台和结构、数据治理和支持过程6个职能域，根据每个职能域的特征，又将其细分为25个过程域，并提出具体的评估要求，包括目标、核心问题、能力评价标准定义和要求产出的成果，由此进行成熟度评估和能力评估。DMM模型将组织数据管理能力划分为5个成熟度等级，具体包括L1执行级、L2管理级、L3定义级、L4量化级、L5优化级。L1到L5意味着数据管理实践成效不断提高。通过业务与IT的深度融合，组织可以通过可靠、准确的数据管理，控制成本、降低风险、增强信誉度，并孵化数据增值服务等，提升组织战略决策和商务智能化能力。
3.数据管理能力成熟度模型（DCMM）。2018年国家质量监督检验检疫总局、国家标准化管理委员会发布国家标准《数据管理能力成熟度评估模型（Data management capability maturity assessment model，DCMM）》（GB/T 36073-2018），DCMM模型用于对组织数据管理能力成熟度等级进行界定，为组织数据管理能力建设与提升提供依据。该标准定义了包含数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期8个能力域的评估模型，涉及组织、制度、流程和技术四个方面的内容。
图 数据管理能力成熟度评估模型（DCMM）框架
DCMM从组织、制度、流程、技术等维度将企业数据管理能力成熟度划分为5个等级：初始级、受管理级、稳健级、量化管理级、优化级，用于评断一个组织数据管理能力程度。每个等级主要特征如图所示。此外，针对28个能力项，标准同样设定了每个能力项对应的5个等级，用于评定企业在数据管理能力项上的具体能力等级。
图 数据管理能力成熟度评估（DCMM）等级
四、数据治理新思维
通过对数据治理相关概念的辨析以及对主流数据管理模型的介绍，并按照梅宏院士主编的《数据治理之论》第四章内容我们总结了数据治理的“12345”框架体系，即一条主线、两个基点、三个维度、四大任务、五个支撑。
一条主线：推进数据要素市场培育。从国家层面来看就是完善要素市场化体制机制，加快培育数据要素市场。从组织层面来看就是推动数据在组织内部有序流通和开发利用。
两个基点（原则）：安全和发展。围绕一条主线开展数据治理要坚持安全和发展两个原则。安全，即守牢数据管理的安全底线，发展，即释放数据价值，促进组织数据价值实现、促进产业发展。
三个层次：数据治理包括组织个人、行业领域以及国家（政府）层次。国家通过法规政策对行业和组织指导监督，行业以协会等形式一方面向国家反馈组织企业组织需求、支撑国家政策落实，另一方面则对组织进行监督，并提供服务。组织则在国家和行业（协会等）指导和监督下做好内部数据治理工作，并向国家和行业贡献成功应用实践。
图 数据治理体系三个层次及相互关系（来源：《数据治理之论》）
四大任务：主要涵盖数据资产地位确立、数据管理体制机制建立健全、数据开放共享及有序开发利用推进以及加强数据安全和隐私保护。
五个支撑：包括国家法律法规制度体系支撑、数据治理相关标准规范体系支撑、数据治理工具支撑、场景应用支撑以及人才队伍支撑。
（二）数据治理一般原则
数据治理和其他管理和治理工作一样是一项系统工程，它需要平衡组织战略和运营的需要，同时还要考虑数据本身的独特性，因此，数据治理应遵循一定的一般原则。借鉴DAMA数据管理原则，我们归纳总结当前数据治理工作应把握的四项一般原则。
1.数据资产化管理价值原则。数据在使用过程中不同于传统金融资产或实物资产被消耗掉，它是一种具有独特属性的资产，资产就意味着有价值。我们要树立起按资产管理的方法去管理数据的理念，并制定一套科学合理方法来评估数据价值，度量低质量数据导致的损失以及高质量数据获得的收益。
2.数据管理与业务需求相适应原则。在数据治理过程中要充分理解数据管理和业务管理的关系，数据管理不只是数据部门的事情，数据管理与业务管理相辅相成，数据管理目标要和组织业务目标有机结合。
3.数据治理需要统筹规划原则。数据来自组织多个渠道，不同部门对相同数据的定义表述也可能存在差异，单个部门无法有效管理组织数据，做好数据管理需要各部门间相互协作，既需要一系列技术性技能，又需要非技术性技能和专长。因此，数据管理应是一个跨职能（部门）的工作，不应局限于个别部门和局部应用，更应从整个企业的视角进行统筹规划、组织实施。
4.数据全生命周期管理原则。数据有生命周期，数据采集、处理加工、利用以及销毁是一个闭环。在这个过程中，随着数据的使用和增强，通常会产生更多新的数据，组织中数据生命周期本身就变得非常复杂。因此，数据管理实践要考虑不断变化的数据生命周期。此外，不同类型的数据有不同的生存周期特征，这要求不同数据要有不同的管理要求，数据管理实践要满足不同类型的数据生命周期要求。
总之，数据治理是一项“一把手”工程，这是组织最高决策层要认识到的问题。同时，数据治理又是一件全员参与的系统工程，需要所有人参与到数据治理过程中。有效的数据管理既需要领导层承担责任，又需要多元主体共同推动来实施。
（三）以评促管、以评提质
如何加强组织数据管理能力？我们认为开展评估是促进数据治理能力提升的必要手段。评估，就是按照既定标准对组织机构的数据治理能力、数据质量情况进行考核评价，通过全方面的诊断检视问题，提出整改方案，促进数据治理能力、数据质量的持续提升。当前，我国开展的数据管理能力成熟度评估（DCMM）就是提升组织数据治理能力的重要抓手。
DCMM是针对一个组织数据管理、应用能力的评估框架模型。通过开展DCMM评估组织可以清楚地定义数据管理所处的发展阶段以及未来发展方向，有助于企业提高数据管理意识，掌握数据管理方法，提高自身数据管理能力。此外，DCMM评估也有利于大数据主管部门更好履行大数据行业管理职能，以DCMM标准向行业宣传推广国家大数据发展的战略部署、先进理念和典型经验。
