我的數(shù)據(jù)治理框架指南
在过去的10多年中,我有机会撰写或参与了超过100个不同行业中的数据治理策略和框架。虽然每个组织都面临着独特的挑战,但我发现一个特定的框架始终是一个有效的起点来实施数据治理。
尽早建立一个清晰的框架至关重要。它明确了数据治理的概念及其界限,有助于避免混淆,确立期望,并推动采用和实施。一个结构良好的框架提供了一个简单而可重复的视觉说明,你可以反复使用它来解释数据治理,并说明你将如何在整个组织中实施。
在这篇文章中,我将分解我个人框架的五个关键要素,提供一种实际可行的方法,适用于任何组织,无论其所在行业。
一个清晰的战略是任何成功数据治理项目的基础。它明确了治理工作的目标、方向和优先级,确保与业务目标保持一致并同步。没有明确的战略,数据治理计划将变得分散且缺乏主动性。
- 使命、愿景和总体战略。 这一部分定义了为何需要数据治理,它的目标是什么,以及将如何实施。使命阐述了治理的核心目的,比如保证数据的完整性和合规性,促进价值创造。愿景展望了长期的理想状态,描述了组织内数据治理的理想状态。总体策略概述了将治理融入业务运营的方法和原则。
- 目标和目标设定。 为了取得有意义的结果,数据治理必须与可衡量的目标挂钩。这包括设定具体的可量化目标,比如提升数据质量评分的百分比,减少合规风险,或增加元数据使用率。明确的目标确保了责任,并使组织能够跟踪进度,展示价值并不断改进。
为了有效实施数据治理,组织必须建立一组核心能力领域,以应对管理数据所需的政策、流程和结构。这些能力领域是治理的基础单元,确保从数据质量到安全的所有关键方面都得到涵盖。一套定义明确的能力确保治理工作既相互独立又全面覆盖(MECE),避免遗漏或重复。
- 政策、标准与合规性。 治理始于定义明确的政策和标准,这些政策和标准为组织内管理数据建立规则、指导方针和合规要求。政策定义了必须执行的内容——围绕数据访问、质量以及保护等主题制定期望,而标准则定义了这些期望将通过特定程序或阈值如何实施。至关重要的是,治理还必须包括通过监控、报告和审计机制来证明符合这些政策和标准的能力,确保问责制和法规一致。
- 数据治理。 将“数据治理”作为数据治理框架内的一个能力可能看起来有些奇怪,但它具有独特的基础性作用。这一能力定义并实施了整个治理模型中各角色、职责和问责制。它提供了支持所有其他能力的组织结构,明确谁对哪些决策和活动负责,如何分配所有权以及如何协调业务和IT的治理活动。这包括定义数据所有者、管理者(Stewards)、领域负责人、升级途径和治理论坛。
- 元数据及目录。 元数据——有关数据的数据——对于理解和治理信息资源至关重要。这一能力结合了元数据管理和数据目录与发现工具,提供了一个集中化的数据资产库存,包括业务定义、技术元数据和数据血统。元数据管理还涉及定义最低元数据标准,确定必须捕获和维护的元数据以及其存储位置。数据目录在此基础上构建,使元数据可搜索和可访问,使用户能够找到、理解和信任他们所使用的数据。这推动了透明度和数据民主化,使组织中更多的用户能够访问所需的数据。
- 数据架构。 本文讨论的是数据治理框架,而不是企业架构或解决方案架构框架。因此,这里的数据架构角色特别局限于与数据治理相交的方面。这包括确保通过变更项目、解决方案设计流程和架构治理机制,新的系统、数据流和流程在其生命周期的早期阶段嵌入适当的数据治理控制措施和考虑。这种对齐至关重要,因为数据治理的投资回报率在设计方案时实施比在系统构建和部署后修补治理控制要高得多。这样,数据架构成为企业内可持续、符合政策的数据管理的推动者。
- 数据质量管理。 高质量的数据是可靠分析、人工智能、监管报告和日常业务运营的基础。这一能力涵盖了确保数据适合其用途的各种活动,通常可以划分为几个不同的领域。首先,它从了解数据并清楚地阐述业务需求开始——需要哪些数据,达到什么级别的准确度、时效性或完整性,以及用于什么目的。一旦制定了这些需求,组织可以通过在运营流程中嵌入适当的数据质量控制措施来预防源头上的问题(例如,表单中的验证规则或数据管道中的自动化检查)。一个独立但密切相关的功能专注于数据质量本身的测量,使用定义的指标和分析技术来评估数据是否符合业务需求。此外,数据质量功能可以包括问题管理:一种有组织的过程,用于识别、记录、跟踪和解决数据问题。这使组织不仅能够应对数据问题,还能够分析根本原因并实施持久的改进,确保数据在长期内保持可信。
- 主数据和参考数据。 主数据和参考数据管理规范了核心业务数据实体(例如,客户、产品、供应商)以消除重复,改进一致性和实现单一数据源。在许多组织中,这一能力得到了主数据管理(MDM)平台的支持。MDM平台提供了集中工作流、黄金记录创建、数据匹配和跨系统同步。它在确保数据一致性、完整性和准确性方面发挥关键作用,特别是在企业范围内的报告和交易处理中。
- 数据安全。 数据安全确保敏感、关键和受监管的数据免受未经授权的访问、滥用或暴露,符合治理政策和数据分类方案。这包括实施和监控基于角色的访问控制、加密、令牌化、数据屏蔽、安全的数据传输协议和职责分离。有效的数据安全治理确保安全措施与批准的数据使用政策保持一致,并通过合规检查和风险评估进行常规测试和证明。
- 伦理及隐私。 从技术上讲,这个领域可以被视为政策、标准和合规的一部分,因为许多伦理和隐私要求最终是通过正式政策实现的。然而,由于其日益重要和可见性——特别是在人工智能、算法决策和监管审查增加的情况下——通常最好单独列出。这一能力专注于通过定义伦理原则、隐私实践、同意管理流程和个人数据保护策略来确保数据的负责任、公平和透明使用。鉴于数据驱动组织中信任和问责制的重要性,将伦理及隐私视为一个独立的能力有助于确保它得到所需的可见性、所有权和资源。
- 数据素养和文化。 治理不仅——也不应该是——仅仅关于控制。它也在于赋能人们有效且负责任地使用数据。这一能力通过向业务和技术用户提供必要的培训、知识和工具,使他们能够解释、信任和行动于数据,以促进组织内的数据驱动文化。它包括意识活动、教育资源、最佳实践和自助支持。
这些能力领域在我参与的每一次合作中都证明是不错的开始。但是每个组织都有自己的情况、运营模式、优先事项和历史,因此我常常花大量时间与客户组织一起调整该清单,使其更符合他们的情况。以下是该能力模型通常会调整的一些常见维度。
- 数据安全性和数据架构有时并未明确作为数据治理能力框架的一部分。在许多组织中,它们被视为IT或技术职能的责任,治理方面的考虑被认为已嵌入更广泛的架构和安全治理流程中。
- 数据素养能力有时会被重新命名或重新表述,称为变革管理、数据赋能、数据倡导或数据拥护。在所有这些情况下,其核心目的,即赋能用户并促进数据驱动文化,仍然非常相似。
- 伦理和隐私有时完全嵌入更广泛的“政策、标准和合规性”能力中,特别是在伦理和隐私原则已经在政策工具中正式确立的情况下。在这种情况下,重点是了解相关的监管要求(例如GDPR、HIPAA或与AI相关的法律),将其转化为可执行的政策和标准,并通过治理结构、培训和监督机制推动合规性。
- 一些组织表达了对将AI或分析赋能作为单独能力的兴趣,或者对它们进行治理(“AI治理”)。我个人认为,大多数使分析和AI可信所需的内容可以通过现有的能力来处理。然而,我合作过的少数组织选择将其视为单独的能力,当治理AI/ML模型是当前重点时尤其如此。
虽然数据治理的战略和能力范围在很大程度上是普遍的,但治理的实施在不同组织、行业和监管环境下可能会有很大差异。本部分侧重于治理在组织内部如何构建、融入和执行。它关乎你如何“做”治理——在实际操作中的治理执行方式。
这部分框架在我的个人数据治理观点中有些独特。大多数组织通过列出能力或支柱来定义治理,但没有进一步说明如何实施治理。我特意将其纳入核心框架,因为我认为如果没有明确的执行和采用的路径,治理可能会停留在理论层面。将实施直接融入框架中,强化了治理必须是可操作的、实际运作并嵌入日常运营的观念——而不仅仅是美好的愿望。
你可能对实现的思考有所不同,但我通常会强调两个关键组成部分:角色和范畴。定义角色(如数据所有者或管理者)有助于明确责任,并确保整个组织的一致性。定义范畴(如客户、产品或财务数据)有助于围绕业务逻辑构建治理结构。这些组成部分共同促进一种基于领域的治理方式——这意味着将治理责任嵌入那些最了解数据的业务领域中,并在具体场景中执行治理,而不是孤立地进行治理。
关键角色和职责:所有权和责任可以通过明确定义的角色来明确。虽然数据治理涉及许多角色,但以下是一些在各个数据领域中经常出现的重要角色包括:
- 领域所有者。 负责在其特定的业务领域(如客户数据、财务或产品)内监督治理工作。他们帮助确定优先事项,确保与业务目标保持一致,并对其领域内的治理成功负责。
- 数据所有者。 对特定数据(或数据集)的质量、安全性和生命周期负责。他们决定数据的使用、访问权限,以及关键治理要求。
- 数据管理员(Data Stewards)。 通常代表数据或领域所有者工作,负责日常数据治理工作中的一大部分,包括执行标准、维护元数据、支持数据质量倡议以及协调问题解决。
- 系统所有者。 负责存储、处理或共享数据的技术系统和平台。他们确保治理要求融入这些系统的架构、控制机制和访问层。
- 业务流程所有者。 确保治理政策和数据标准融入业务流程中,以确保这些标准被正确实施。他们帮助将治理嵌入到运营工作流和流程设计中。
治理可以应用于有意义的业务环境中,称为数据域。这些数据域根据数据在组织中的使用方式,定义了数据的逻辑分组。虽然特定的领域会因行业而异(因此,这一部分框架自然是定制的),以下示例展示了零售公司可能会如何划分其数据域:
- 顾客 — 关于购买或使用您的产品或服务的个人或组织的信息。
- 产品 — 关于提供的商品或服务的详情,包括结构和特点、定价和描述。
- 供应商 — 关于供货商的信息,包括合同和表现。
- 财务 — 收入、开支、预算和其他财务交易记录信息。
- 员工 — 包括职位、薪酬和人事历史的员工信息。
- 销售 — 购买、交易和创收活动的数据。
- 库存及供应链 — 跟踪库存水平、产品流动和交付过程。
- 市场营销及活动情况 — 记录营销活动、广告支出和目标策略。
- 合规及监管 — 用于满足法律、审计和监管义务的数据信息。
- 数字及网络分析 — 测量用户与数字平台和网站的互动情况及行为。
技术在使数据治理变得既实际又可扩展方面发挥着关键作用。虽然这些技术与数据治理的关键能力领域相匹配,但它们并不是一一对应的,因为很多能力是由更广泛的技術栈或集成解决方案支持的。此外,结构和部署这些技术的方式也会有很大差异,这取决于组织的规模、行业和数据成熟度水平。
说起来,在通常情况下,与数据治理相关的那些技术可以归类为以下几大类别。
-
数据管理平台。 这些平台使组织能够定义和管理数据的所有权、治理职责、工作流和审批,同时促进治理操作,例如问题记录、数据变更请求和确认。越来越多地,它们还支持基于工作流的问题管理,使组织能够跨团队分配、跟踪和解决数据治理问题。这些工具是使治理在各个领域变得可操作和可见的支柱。
-
数据质量。 确保高质量的数据需要专门的监控、分析、清洁和补救工具。这些解决方案可以识别不一致、缺失值和错误,使团队能够实时修复数据问题,并在系统之间执行数据质量标准。
-
数据目录与可观测性。 数据目录提供数据资产的集中清单,结合元数据、数据血缘和业务定义来增强数据发现和透明性。越来越多地,目录与数据可观测性工具结合使用,以实时监控数据的健康状况、新鲜度和行为。一些工具还提供跨整个数据环境的自动化数据扫描和分类。
-
主数据管理。 MDM平台对于管理核心业务实体(如客户、产品和供应商)至关重要。这些工具支持数据匹配、黄金记录创建、验证工作流和跨系统的主数据同步,确保企业范围内的数据一致性和唯一性。
- 数据安全解决方案。 这个类别包括管理访问控制、加密、屏蔽、令牌化和安全数据传输的工具。它还支持数据访问请求工作流,确保只有经过授权的用户才能根据治理政策和数据分类访问敏感或机密数据。
. 伦理、隐私与合规监控。 这些工具支持伦理数据使用的实施和监控,隐私法规(如GDPR、HIPAA)和内部政策的执行与监控。它们提供数据主体权利管理、同意跟踪、审计跟踪和使用监控能力,这对于建立信任和满足监管义务至关重要。
在创建这一部分的框架时,你可以用你实际使用的工具和平台来替换通用类别,例如,用Collibra 替代“数据 stewardship 平台”,用Informatica 数据质量 替代“数据质量工具”。这能提供一个更具组织特色的视角,展示特定技术如何支持关键功能。
为了数据治理有效运作,它需要清晰的协调、持续的监督和稳定的进展。这就是“数据治理的管理”的意义所在——确保整个框架中的其他部分真正得以落实。它为所有部分如何协同工作提供了结构和指导,并使人们对其行为负责。
政策和标准政策和标准是数据治理的基石。就像交通法规为道路制定规则一样,它们定义了数据治理的规则、期望和责任。框架中的其他部分都以此为基础。政策指明方向,标准让它落地。
- 一项 政策 规定了必须做的事情。它是一个清晰的规则,例如“必须保护客户数据。”
- 一项 标准 则说明了具体怎么做。它提供了具体细节,例如“加密客户数据,并保存3年。”
治理会议或小组提供了数据治理所需的监督、协调和决策的必要结构。通常来说,具体的会议或小组会根据组织的结构和治理需求而有所不同,但常见的类型有:
- 企业数据治理委员会。 一个中心机构,负责设定战略方向,解决跨职能问题,并确保治理与业务目标一致。
- 特定领域的数据治理论坛。 负责监督特定数据领域(如客户、财务、产品)治理的团队,确保该领域的政策得到落实,并将关键问题上报到企业层面。
- 区域或业务单元治理论坛。 在全球或分散化的组织中,数据治理可能按照地区、业务部门或分部划分,以满足地方需求、监管差异和运营需求。
- 特定能力的工作组。 某些组织建立专注于特定能力的数据治理小组,如数据质量、元数据管理、数据安全或数据伦理,以推动最佳实践和技术落地。
为了展示数据治理的有效性和影响力,组织必须跟踪关键绩效指标(KPIs),例如数据质量得分、合规率、问题解决时间以及元数据采用率。这些指标有助于证明投资的有效性、找出差距并促进持续改进。
变更管理要使治理真正扎根,你可以通过培训项目、沟通策略和互动活动来推动意识提升、采纳和行为转变。
结束一个强大的数据治理框架提供了清晰度和结构,并且提供了一种可重复、可扩展的方法来管理数据。虽然每家公司的治理之路都是独一无二的,但本文介绍的框架可以作为一个经过验证的起点——这样的起点可以针对任何行业、组织和数据成熟度进行调整。
关键是尽早建立,清晰地传达,并深入地嵌入。
好运啊!
本文仅代表我个人的观点,不代表ZS的官方立场。
共同學(xué)習(xí),寫下你的評論
評論加載中...
作者其他優(yōu)質(zhì)文章