系统架构图设计(行业领域架构)

物联网

  • 感知层:主要功能是感知和收集信息。感知层通过各种传感器、RFID标签等设备来识别物体、采集信息,并对这些信息进行初步处理。这一层的作用是实现对物理世界的感知和初步处理,为上层提供数据基础
  • 网络层:网络层负责处理和传输感知层收集到的信息。它利用互联网、传统电信网等作为信息传输的载体,将数据传输到数据中心或控制系统进行处理和存储。网络层的主要作用是实现数据的传输和融合,为应用层提供稳定可靠的数据服务。
  • 应用层:这是物联网的最顶层,直接与用户交互。应用层利用经过分析处理的感知数据,构建面向各行业实际应用的管理平台和运行平台,为用户提供特定的功能和服务。例如,在智能家居、智能交通、智能医疗等领域,应用层将物联网技术与具体行业需求相结合,实现便捷、高效的服务。

        这三层架构相互依存、相互支持。感知层提供数据基础,网络层负责数据传输和处理,而应用层则将物联网技术应用于具体行业,为用户提供丰富的功能和服务。这种分层架构使得物联网具有很好的可扩展性和灵活性,可以根据不同行业和用户需求进行定制化开发和应用

大数据

Lambda 架构

 lambda 架构主要由三个层次组成:批处理层、加速层、服务层

  • 批处理层(batch Layer)
    • 存储数据集,预计算查询函数,构件批视图
    • 离线处理,结果精确、全量,处理时延高
  • 加速层(Speed Layer)
    • 处理最近的增量数据流,不断更新实时视图
    • 实时处理,结果可能不准,非全量,处理时延低
  • 服务层(Serving Layer)
    • 合并批处理和实时视图中的结果数据集到最终数据集

  • Hadoop: Hadoop 是一个开源的分布式计算平台,由Apache软件基金会开发和支持。它允许分布式处理大规模数据集,主要应用于大数据的存储和计算。
    • HDFS: HDFS 是Hadoop 的存储系统,它能够横跨多个物理服务器存储大量数据。HDFS 采用主从架构,由一个主节点(NameNode)和多个数据节点(DataNode)组成。NameNode负责维护文件系统的命名空间和文件到数据块的映射,而DataNode 负责存储实际的数据并处理客户端的数据读写请求。
    • MapReduce:MapReduce 是Hadoop 的原生计算框架,用于大规模数据处理。MapReduce作业由Map任务和Reduce 任务组成,这些任务在Hadoop 集群上并行运行,处理存储在HDFS 中的数据。
    • Hive:Hive是一个建立在Hadoop之上的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表。它允许用户使用类似SQL的查询语言(HiveQL)来查询数据
    • Sqoop:Sqoop是一个用于在Hadoop和结构化数据存储(如关系数据库)之间传输大量数据的工具;它主要用于在Hadoop和关系数据库之间进行数据迁移
  • Spark:Apache Spark 是一个通用的、基于内存的分布式计算引擎,用于大规模数据处理。它的核心原理是将数据分散到多台计算机上并在这些计算机上并行执行计算任务,从而实现高效的数据处理和分析
    • Spark Streaming:spark streaming 是Spark 提供的流处理模块,它可以处理来自实时数据源的数据流,并将其转换为可供分析和存储的批处理数据
  • ImpalaImpala是一个开源的大数据查询引擎,由Cloudera开发,用于高性能、低延迟的交互式SQL查询处理。它可以直接在HDFS或HBase上执行查询,而无需数据转换或移动
  • Hbase:HBase是一个开源的、非关系型分布式数据库,它是Apache软件基金会的一个项目。它基于Google的BigTable模型,用于提供对大规模数据集的随机实时读/写访问
  • ETL:是一种数据处理过程,包括数据的抽取,转换,加载过程
  • Kafka:Kafka是一个开源流处理平台,主要用于构建实时的数据流和消息队列系统
  • Flume:Apache Flume是一个分布式、可靠且可用的服务,用于有效地收集、聚合和移动大量日志数据;它适用于日志数据的收集,可以将数据从各种源传输到中心数据存储(如HDFS)
  • Nginx:Nginx是一款轻量级的Web服务器/反向代理服务器

Kappa 架构

Kappa架构为两层架构分为实时层、服务层

  • 实时层
    • 处理输入数据,生成实时视图
  • 服务层
    • 使用实时视图中的结果数据集响应用户请求

ODS、DWD 和 DWS 是数据分层体系结构中的术语,它们代表不同类型的数据存储和处理层

  • ODS (Operational Data Store,操作数据存储):ODS 是一种数据存储系统,用于存储最近的、细粒度的、经过少量处理的业务数据;它通常用于日常运营报告和分析,数据在 ODS 中是面向事务的,反映了最新的业务操作状态;ODS 可以用于快速查询和实时决策支持,同时也可以作为数据仓库的数据源
  • DWD (Data Warehouse Detail,数据仓库明细层):DWD 是数据仓库中的一个层次,它存储了经过清洗、转换和集成的详细业务数据;这一层的数据通常是事务级别的,用于支持详细数据分析,也是构建更高层次汇总数据的基础;DWD 的设计目的是为了长期存储、历史分析和数据挖掘
  • DWS (Data Warehouse Summary,数据仓库汇总层):DWS 是数据仓库中的汇总数据层,它包含了从 DWD 中聚合而来的数据;这一层的数据通常是按照某些维度(如时间、地区、产品等)进行汇总的,用于快速生成报告和仪表盘。DWS 旨在提供高效的数据查询性能,特别是对于需要汇总数据的复杂查询

  • 计算集群CDH:CDH是由Cloudera提供的一个企业级大数据平台,它包括了Apache Hadoop及其众多相关开源项目。
  • ElasticSearch:ElasticSearch是一个高度可扩展的开源全文搜索和分析引擎,它允许你快速地存储、搜索和分析大量数据。
  • OpenTSDB:OpenTSDB(Time Series Database)是一个可扩展的监控解决方案,用于存储和服务器的时间序列数据,通常用于监控大规模系统。
  • Flink:Apache Flink 是一个开源流处理框架,用于在高吞吐量和低延迟的情况下处理有界和无界数据流。Flink 旨在提供高效、可靠、可伸缩的大数据处理解决方案,并且以其流处理能力而著称。

边缘计算

  • 边缘计算:将数据的处理、应用程序的运行以及一些功能服务的实现,由网络中心下放到网络边缘节点上
  • 云计算中心:云计算中心是指一种提供云计算服务的物理设施,它包含了大量的服务器和网络设备,用于存储、处理和分发大量数据。
  • 边缘数据中心:边缘数据中心是相对于传统集中式数据中心而言的,它位于网络的边缘,更靠近数据源和用户
  • 云边缘计算:云边缘计算是一种将云计算资源和能力扩展到网络边缘的架构,旨在将云计算中心的强大计算能力和边缘数据中心的低延迟特性结合起来
  • 边缘网关:边缘网关是位于云计算中心和边缘数据中心之间的设备,它负责连接各种终端设备和云资源
  • AIoT(人工智能物联网)盒子:是一种集成多种技术的智能设备,它结合了人工智能和物联网技术,广泛应用于各种行业和场景

嵌入式

  • RTOS:嵌入式RTOS是一种专门为嵌入式系统设计的操作系统,它能够提供实时计算能力,即系统必须确保在规定的时间内完成特定任务的处理
  • BSP:BSP是针对特定硬件平台(通常是嵌入式系统)的软件集合,它为操作系统提供了与硬件交互的接口。BSP的作用类似于PC上的硬件驱动程序,但通常更加复杂,因为它涉及到硬件初始化、配置和抽象。

宏内核架构

  • 宏内核:宏内核是一种传统的操作系统设计,在这种设计中,操作系统的所有核心功能都运行在单一的内核空间中,并且都享有内核态的权限。
  • 特点:
    • 集中式:所有的系统服务,如进程管理、文件系统、设备驱动和内存管理等,都集成在内核空间中。
    • 性能:由于所有的服务都在内核空间直接运行,宏内核通常可以实现较高的性能。
    • 简单性:相对于微内核,宏内核的结构相对简单,因为所有的服务都在同一个地址空间中运行。
    • 稳定性:宏内核的稳定性通常依赖于各个组件的稳定性和正确性,一旦某个组件出现问题,可能会影响到整个系统的稳定性。
  • 优点:
    • 效率高:由于所有服务都在内核空间直接运行,减少了用户空间和内核空间之间的切换,从而提高了效率。
    • 易于实现:宏内核的设计和实现通常比微内核简单。
  • 缺点:
    • 可扩展性差:增加新的系统服务通常需要修改内核代码,这可能涉及到复杂的内核修改过程。
    • 安全性问题:由于所有服务共享同一个地址空间,一个服务的故障可能会导致整个系统的崩溃。

微内核架构

  • 微内核:微内核是一种精简的操作系统设计,它只包含最基本的系统服务,如进程和线程管理、通信机制等,而将其他服务(如文件系统、设备驱动等)移到用户空间中运行。
  • 特点:
    • 模块化:微内核仅提供最基本的服务,其他服务作为独立的进程在用户空间运行。
    • 安全性:由于大部分服务在用户空间运行,即使服务崩溃,也不会影响到内核本身。
    • 可扩展性:添加或修改服务不需要修改内核,只需要在用户空间进行,这使得系统更加灵活和可扩展。
  • 优点:
    • 更高的安全性:由于用户空间的服务崩溃不会影响内核,系统的安全性得到了提升。
    • 更好的可扩展性:可以轻松添加或更新系统服务,而不需要重新编译内核。
  • 缺点:
    • 性能开销:微内核设计通常会导致更多的用户空间和内核空间之间的切换,这可能会带来性能开销。
    • 复杂性:微内核的通信机制比宏内核复杂,这可能导致实现上的困难。

信息系统

  • 战略系统:战略系统是指支持企业或组织的长期战略目标和决策的系统。这些系统通常涉及高级管理层的决策支持和战略规划。
    • 应用:企业资源规划系统(ERP)、战略管理信息系统、大数据分析平台
  • 业务系统:业务系统是指直接支持企业日常运营和管理的系统。这些系统通常与组织的核心业务流程紧密相关。
    • 应用:客户关系管理(CRM)系统、供应链管理(SCM)系统、人力资源管理(HRM)系统
  • 应用系统:应用系统是指为特定用户或部门提供特定功能的软件系统。这些系统通常是业务系统的组成部分,或者是为特定任务设计的。
    • 应用:邮件管理系统、财务会计软件、数据库管理系统
  • 企业信息基础设施:指根据企业当前业务和可预见的发展趋势,及对信息采集、处理、存储和流通的要求,构筑由信息设备、通信网络、数据库、系统软件和支持性软件等组成的环境
    • 技术基础设施:计算机、网络、系统软件、支持性软件、数据交换协议
    • 信息资源设施:数据与信息本身、数据交换的形式与标准、信息处理方法
    • 管理基础设施:组织结构、人员的分工、管理方法与规章制度

TOGAF

  • TOGAF:开放式企业架构框架标准,为标准、方法论和企业架构专业人员之间的沟通提供一致性保障。
    • 架构能力框架:架构能力框架是指在企业内部建立和维护有效的企业架构实践所需的一套组织结构、流程、角色、技能和工具。
    • 架构开发方法:架构开发方法(ADM)是TOGAF的核心,它提供了一套企业架构的开发和实施流程。
    • 架构内容框架:架构内容框架定义了企业架构文档的结构和内容,确保了架构工作的连贯性和一致性。
    • 企业连续体及各种工具:企业连续体是一个概念,它描述了企业架构中不同类型的架构资产的范围和成熟度。
    • ADM 指南和技术:ADM指南和技术提供了在执行ADM各个阶段时使用的具体方法和技巧。
    • TOGAF 参考模型:TOGAF参考模型是一套预定义的架构模型,用于帮助企业架构师在设计和实施企业架构时保持一致性。

通信系统

  • 信息系统架构一般分为三个层次:接入层、汇聚层、核心层
  • 接入层:
    • 通常将网络中直接面向用户连接或访问网络的部分称为接入层,目的是允许终端用户连接到网络,主要解决相邻用户之间的互访需求,并且为这些访问提供足够的带宽。
    • 接入层还应当适当负责一些用户管理功能(如地址认证、用户认证、计费管理等),以及用户信息收集工作(如用户的Ip地址、MAC 地址、访问日志等)
  • 汇聚层:
    • 是核心层和接入层的分界面,完成网络访问策略控制、数据包处理、过滤、寻址,以及其他数据处理的任务。汇聚层交换机是多台接入层交换机的汇聚点,它必须能够处理来自接入层设备的所有通信量,并提供到核心层的上行链路,因此,汇聚层与核心层比较具有更高的性能、更少的接口和更高的交换速率
  • 核心层:
    • 网络主干部分称为核心层,核心层的主要目的是在于通过告诉转发通信,提供优化,可靠的骨干传输结构。因此,核心层交换机应拥有更高的可靠性,性能和吞吐量。在纯粹的数据分层设计中,核心层只完成数据交换的特殊任务
    • 需要根据网络需求的地理距离、信息流量和数据负载的轻重来选择核心层技术,常用的技术包括ATM、100Base-Fx和千兆以太网等。在主干网中,考虑到高可用性的需求,通常会使用双星(树)结构,即采用两台同样的交换机,与汇聚层交换机分别连接,并使用链路聚合技术实现双机互联。
    • 核心层的设备采用双机冗余热备份是非常必要的,也可以使用负载均衡功能来改善网络性能。

安全体系架构

系统安全架构

  • 信息安全体系架构,具体可从以下5个方面展开安全体系的架构设计工作
    • 物理安全(前提):包括环境安全、设备安全、媒体安全
    • 系统安全(基础):包括网络结构安全、操作系统安全、应用系统安全
    • 网络安全(关键):包括访问控制、通信保密、入侵检测、网络安全扫描、防病毒
    • 应用安全:包括资源共享、信息存储
    • 安全管理:包括健全的体制,管理平台,人员安全防范意识

网络安全架构

  • OSI(开放式系统互联)安全体系架构:是国际标准化组织(ISO)为了在开放系统中提供安全服务而定义的一套框架。这个架构在OSI参考模型的基础上增加了安全相关的层次和组件。OSI安全体系架构通常与OSI模型的前七个层次相对应,并增加了安全服务、安全机制等方面的内容。

区块链

        区块链是一种基于去中心化、分布式账本技术的数据存储和传输方式,以链式数据结构为基础,通过密码学算法保证数据传输和访问的安全。

数字孪生

  • 本质:数字孪生是一个虚拟模型,用于表示物理对象、系统或过程
  • 功能:它基于物理对象和实时数据,进行状态检测、分析和预测
  • 实现:数字孪生通过数据和模型的集成,实现物理和虚拟之间的交互和反馈
  • 应用:数字孪生的应用领域广泛,包括工业制造、智慧城市、医疗保健等

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/58448.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

sublime Text中设置编码为GBK

要在sublime Text中设置编码为GBK,请按照以下步骤操作 1.打开Sublime Text编辑器, 2.点击菜单栏中的“Preferences”(首选项)选项,找打Package Control选项。 3.点击Package Control,随后搜索Install Package并点击,如下图 4.再…

【python GUI编码入门-03】掌握Tkinter如何高效绑定键盘和鼠标事件

哈喽,大家好,我是木头左! 本文将深入探讨Tkinter中的高级特性之一——如何高效地绑定键盘和鼠标事件,以提升你的应用程序的用户体验和交互性。 一、基础回顾:什么是事件绑定? 在开始深入之前,让先简单回顾一下什么是事件绑定。在GUI编程中,事件是指用户与应用程序交互…

筛选Excel数据

要筛选Excel数据,可以使用Python中的pandas库来实现。下面是一个简单的例子: import pandas as pd# 读取Excel文件 df pd.read_excel(data.xlsx)# 筛选数据 filtered_data df[df[列名] > 10] # 根据某一列的值进行筛选# 保存筛选后的数据到新的Ex…

为什么数据库连接很消耗资源?

1背景 开发应用程序久了,总想刨根问底,尤其对一些有公共答案的问题。大家都能解释,但是追根究底,都解释不清。凡是都有为什么,而且用数字说明问题是最直观的。 本文主要想探究一下连接数据库的细节,尤其是…

目标检测:YOLOv11(Ultralytics)环境配置,适合0基础纯小白,超详细

目录 1.前言 2. 查看电脑状况 3. 安装所需软件 3.1 Anaconda3安装 3.2 Pycharm安装 4. 安装环境 4.1 安装cuda及cudnn 4.1.1 下载及安装cuda 4.1.2 cudnn安装 4.2 创建虚拟环境 4.3 安装GPU版本 4.3.1 安装pytorch(GPU版) 4.3.2 安装ultral…

PostgreSQL 约束

PostgreSQL 约束 介绍 PostgreSQL 是一种功能强大的开源对象关系数据库系统,它提供了多种约束来确保数据的完整性和一致性。约束是数据库规则,用于限制表中数据的类型和操作。在 PostgreSQL 中,约束可以分为几种类型,包括主键约…

telnet远程登陆服务能否用来传输文件(附安装xinetd教程)

通过 telnet 登录到远程服务器之后,你无法直接使用 telnet 发送文件。telnet 协议本身是一个文本协议,主要用于远程登录,不支持文件传输功能。要发送文件,你需要使用其他工具,如 scp 或 sftp。 使用 scp 发送文件 sc…

链表(数据结构)

一. 单链表 1.1 概念与结构 再上一篇中我们讲到顺序表,但是顺序表也是有很多的问题,像申请的空间过多过少或者增容该才能不浪费空间,今天我们就来认识一个新的知识,叫做链表,链表也是线性表的一种,链表是…

(done) 什么 RPC 协议? remote procedure call 远程调用协议

来源:https://www.bilibili.com/video/BV1Qv4y127B4/?spm_id_from333.337.search-card.all.click&vd_source7a1a0bc74158c6993c7355c5490fc600 可以理解为,调用远程服务器上的一个方法/函数/服务的方式,同时隐藏网络细节 一个 python3 …

Docker本地安装Minio对象存储

Docker本地安装Minio对象存储 1. 什么是 MinIO? MinIO 是一个开源的对象存储服务器。这意味着它允许你在互联网上存储大量数据,比如文件、图片、视频等,而不需要依赖传统的文件系统。MinIO 的特点在于它非常灵活、易于使用,同时…

数据结构算法学习方法经验总结

DSA:Data Structures, Algorithms, and Problem-Solving Techniques 三大核心支柱 一次学习一个主题,按照如下顺序学习 如何开始学习新的主题 学习资源 https://www.youtube.com/playlist?listPLDN4rrl48XKpZkf03iYFl-O29szjTrs_O (Algorithms) https://ww…

CSRF 攻击 与 SameSite 属性

1. CSRF 攻击介绍 当用户登录银行网站A(例如 bank.com)时,其浏览器会存储认证信息。恶意网站B(例如 attacker.com)可能会包含一个自动提交的请求,模拟用户在银行网站A上的操作,如转账。如果用户…

GSCoolink基石 GSV6127E HDMI2.0/Type-C/DP1.4 转MIPI 可替代CH7515和CS5511

GSCoolink基石 GSV6127E HDMI2.0/Type-C/DP1.4 转MIPI 可替代CH7515和CS5511,适用于PC一体机。 Gscoolink GSV6127E是一款高性能、低功耗的Type-C/DisplayPort 1.4到MIPI CSI-2/LVDS/TTL转换器。使用双端口MIPI接口,可以使用MIPI接口传输真正的4K60 444…

【Linux】Zookeeper 部署

Zookeeper 搭建方式 单机模式:Zookeeper只运行在一台服务器上,适合测试环境伪集群模式:就是在一台物理机上运行多个Zookeeper 实例;集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算…

Java程序设计:spring boot(13)——全局异常与事务控制

1 Spring Boot 事务支持 在使⽤ Jdbc 作为数据库访问技术时,Spring Boot框架定义了基于jdbc的PlatformTransaction Manager 接⼝的实现 DataSourceTransactionManager,并在 Spring Boot 应⽤ 启动时⾃动进⾏配置。如果使⽤ jpa 的话 Spring Boot 同样提供…

00 硬件、嵌入式硬件知识-目录篇

写一下想说的话: 博主本双非、研究生顶2; 做了一两年的fpga,看到师兄师姐的offer情况,结合一下想去的城市,以及个人兴趣 自身情况等等,遂转纯硬件、嵌入式硬件。 本专栏旨在记录博主备战秋招不到一年的时间…

vue2和vue3在html中引用组件component方式不一样

我的vue版本是&#xff1a;20.17.0 一、在HTML中&#xff0c;引用组件格式区别。 vue2引用组件可以是file.vue格式&#xff0c;需要导入&#xff1a;<script src"https://unpkg.com/http-vue-loader"></script>才可以识别vue格式。 vue3引用组件格式是…

Python字典到JSON字符串的转换

在Python中&#xff0c;字典是一种非常常见的数据结构。它可以轻松地转换为JSON字符串&#xff0c;从而实现了将Python对象序列化为JSON格式的目的。本文将详细介绍如何将Python字典转换为JSON字符串。 1. Python字典的基本概念 在Python中&#xff0c;字典是一种无序的键值对…

量子容错计算

基本思想 容错量子计算的基本想法是&#xff0c;在合理编码后的量子态上直接量子计算&#xff0c;以至于不完全需要解码操作。假设有一个简单的量子电路&#xff0c;但不幸的是噪声影响着这个电路的每一个元件&#xff0c;包括量子态的制备、量子逻辑门、对输出的测量&#x…

Redis 哨兵 总结

前言 相关系列 《Redis & 目录》《Redis & 哨兵 & 源码》《Redis & 哨兵 & 总结》《Redis & 哨兵 & 问题》 参考文献 《Redis的主从复制和哨兵机制详解》《Redis中的哨兵&#xff08;Sentinel&#xff09;》《【Redis实现系列】Sentinel自动故…