数字化转型-4A架构之数据架构

4A架构系列文章

数字化转型-4A架构（业务架构、应用架构、数据架构、技术架构）
数字化转型-4A架构之业务架构
数字化转型-4A架构之应用架构
数字化转型-4A架构之数据架构
数字化转型-4A架构之技术架构

数据架构 Data Architecture（DA）

1. 定义

数据架构，是组织管理数据资产的科学之道，描述如何管理从收集到转换、分发和使用数据。它为数据及其在数据存储系统中流动的方式设定了蓝图。涵盖数据的收集、存储、使用及管理等环节，涉及数据模型、数据库系统设计及集成治理技术的实施。

2. 目的

数据架构的目标是支持业务需求、提高数据的质量和一致性，并促进数据的共享和集成。

3. 价值

通过梳理一个全面而清晰的数据架构蓝图，企业可以有效地管理和利用其数据资产，确保数据的一致性，以支持业务需求和决策过程。
实现精简数据冗余，打破企业数据孤岛，提升信息化水平，确保数据质量与一致性。
清晰准确的数据助力决策速度，满足国家政策要求，保障数据处理和存储遵循行业规范与法规。

一、如何绘制企业的数据架构（DA）图？

绘制企业的数据架构图一般分为如下四步：

数据需求分析
数据模型设计
数据治理
数据共享开放与入表

具体设计步骤：

1.上接业务，分析数据需求，识别数据类型，采集数据

2.数据模型设计，概念模型（识别业务域），逻辑模型（实体关系ER），物理模型（表字段）

3.数据治理，数据安全合规，数据质量管理

4.数据共享开放，支撑业务决策，业务创新

在这里插入图片描述

二、数据架构6大模块

新版本的数据架构中，数据架构的核心在于【数据声明、数据原则、数据模型、数据流动、数据管理和数据治理】这六大板块。
在这里插入图片描述

1、数据声明

架构工作声明是TOGAF架构开发方法（ADM）中的关键文档之一，用于详细描述架构开发的范围、方法、资源和计划。它定义了架构项目的基本框架和预期成果，数据申明是其中的一部分。

2、数据原则

架构原则是用于指导企业架构设计和实施的一组基本准则和指导方针。它们帮助确保架构的一致性、灵活性和可扩展性，使架构决策在不同的项目和团队中保持一致。架构原则通常由组织的高级管理层和架构师共同制定，并在整个组织中推广和遵循。

3、数据模型

定义数据元素、它们的属性以及数据元素之间的关系。输出物包括概念模型、逻辑模型、物理模型、数据目录等等。（1）概念模型概念模型是高层次的抽象模型，用于描述业务实体及其关系，主要面向业务用户和利益相关者。它通常不涉及技术细节，而是强调业务需求。

4、数据流动

描述数据在系统内和系统间的流动和传输方式。数据流动的主要输出物包括数据流转、数业映射等。
（1）数据流转
数据分布用于表示数据在系统间的流动过程，包括数据流图、数据映射文档、数据流规范、数据转换规则等。
（2）数业映射
数业映射是数据流动的基础，定义了数据实体存在于在哪些业务功能和应用程序中，帮助定义和管理数据需求，确保数据与业务功能的一致性和完整性，有效支持业务流程的执行和优化。

5、数据管理

数据管理是指对企业内所有数据资产的管理和控制，旨在确保数据的高质量、完整性、安全性、可用性和可访问性，以支持业务决策和运营。数据管理的主要输出物包括数据质量管理、元数据管理、数据安全管理、数据存储管理、数据集成管理及数据生命周期管理等等。

（1）数据质量管理
数据质量管理包括数据清洗、数据验证和数据质量监控，以确保数据的准确性和完整性。
（2）元数据管理
元数据管理涉及收集、存储和维护描述数据的数据（元数据），以便于数据发现和使用。
（3）数据安全管理
数据安全管理涉及保护数据免受未经授权的访问、使用和泄露，确保数据的机密性、完整性和可用性，
（4）数据存储管理
数据存储管理涉及设计和优化数据存储方案，确保数据的高效存储和访问。
（5）数据集成管理
数据集成管理涉及将来自不同源的数据集成到统一的数据平台，以支持业务分析和决策。
（6）数据生命周期管理
数据生命周期管理涉及数据从创建、使用、存储到归档和销毁的整个生命周期管理。

6、数据治理

数据治理涉及制定数据策略、建立数据管理组织结构和流程，以确保数据的一致性、完整性和使用合规性。数据治理的主要输出物包括数据策略、数据政策、数据组织及数据标准等等。

（1）数据策略
制定企业的数据战略，包括数据管理的总体目标和方向。
（2）数据政策
数据政策是指导数据管理和使用的高层次原则和规定，旨在确保数据的一致性、完整性、可用性和安全性。这些政策通常由企业的管理层制定和批准，并在整个组织中实施，
（3）数据标准
数据标准是关于如何定义、格式化和管理数据的详细规则和技术规范。数据标准确保在整个组织中一致地创建、管理和使用数据。包括有数据命名标准、数据格式标准、数据质量标准及元数据标准等，
（4）数据组织
明确数据管理的角色和职责，确保数据管理活动的有效执行

三、数据管理系统及数据架构的类型

1. 数据仓库

数据仓库将来自企业内不同关系数据源的数据聚合到单个集中的统一存储库中。提取后，数据流经 ETL 数据管道，经过各种数据转换，才能满足预定义数据模型的需求。一旦加载到数据仓库中，数据就可以支持不同的商业智能 (BI) 和数据科学应用程序。

2.数据集市

数据集市是一个有针对性的数据仓库版本，它包含一个较小的数据子集，这些数据对组织内的单个团队或选定用户组很重要且是必需的。由于数据集市包含较小的数据子集，因此在使用更广泛的数据仓库数据集时，数据集市使部门或业务线能够更快地发现更有针对性的洞察。最初创建数据集市的目的是应对组织在 20 世纪 90 年代建立数据仓库的困难。当时集成来自整个组织的数据需要进行大量手动编码，而且非常耗时。与集中式数据仓库相比，数据集市的范围更有限，使其实现起来更容易且更快速。

3. 数据湖

数据仓库存储已处理的数据，而数据湖存储原始数据，通常为 PB 级别。数据湖可以存储结构化和非结构化数据，这使其与其他数据存储库不同。这种灵活的存储需求对于数据科学家、数据工程师和开发人员尤其有用。最初创建数据湖的目的是应对数据仓库无法处理数量、速度和种类不断增加的大数据的情况。虽然数据湖比数据仓库慢，但它们的价格也更低廉，因为在采集之前几乎不需要数据准备。

4.数据结构

数据结构是一种架构，它侧重于数据提供者和数据使用者之间的数据价值链中的数据集成、数据工程和治理的自动化数据结构基于“活动元数据”的概念，使用知识图、语义、数据挖掘和机器学习 (AI) 技术来发现各种类型元数据（例如系统日志、社交等）中的模式。然后，将这种洞察应用于自动化并编排数据价值链。例如，它可以使数据使用者能够找到数据产品，然后自动向他们提供该数据产品。数据产品和数据使用者之间数据访问的增加减少了数据孤岛，并提供了更完整的组织数据视图。数据结构是一种具有巨大潜力的新兴技术，可用于增强客户概要分析、欺诈检测和预防性维护。根据 Gartner 的数据，数据结构使集成设计时间减少 30%，部署时间减少 30%，维护时间减少 70%。

5.数据网格

数据网格是一种去中心化的数据架构，按业务领域来组织数据。使用数据网格时，组织需要不再将数据视为流程的副产品，而是开始将其视为产品本身。数据生产者充当数据产品所有者。作为主题专家，数据生产者可以利用他们对数据主要使用者的理解为他们设计 API。这些 API 也可以从组织的其他部分访问，提供了更广泛的受管数据访问渠道。

数据湖、数据仓库等相对传统的存储系统可以作为多个去中心化的数据存储库来实现数据网格。数据网格还可以与数据结构一起使用，借助数据结构的自动化，可以更快地创建新的数据产品或执行全球治理。