北方银行 - HDFS 现代化快速案例研究

故事很重要,客户故事是最好的。他们提供令人瞠目结舌的统计数据或克服巨大障碍的那些是获得最佳头条新闻的那些。它们也是最难发表的。我们知道,因为我们将与您分享一些我们正在孜孜不倦地努力出版的内容 - 但现在它们将保持匿名。话虽如此,如果您想联系我们,我们可以让您看看幕后。

让我们开始吧。

北方银行

我们与加拿大所有主要银行都有业务往来。真正的全球性机构并不多,所以你猜对的机会很大。与其他主要金融机构一样,它们有监管义务从每次客户互动中生成和存储电子记录。大数据分析使这些机构不仅能够存储用于监管目的的数据,还可以积极利用这些信息来生成业务见解并增加价值。机器学习和人工智能 (ML/AI) 技术正在推动现代数据密集型工作负载不仅可以进行历史数据分析,还可以执行实时分析以推动即时决策。实时分析用例包括欺诈检测、交易监控、客户细分、个性化营销和风险管理。

当这家银行开始遇到性能和稳定性问题时,他们将其过时的企业数据仓库(Cloudera/Hadoop)迁移到了MinIO - 随着数据在Hadoop环境中的增长,应用程序开始遇到性能问题和停机时间。他们希望云运营模式没有与公有云相关的成本和失控。与数据增长相关的挑战以及对基础设施进行现代化改造的需求为基于 Kubernetes 的现代云原生架构提供了路线图。该银行希望实现干净的实施和最短的上市时间。这意味着MinIO。

存储基础架构支持多个业务部门,包括:

  • 加拿大银行业分析

  • 国际银行分析

  • 数据支持与架构

它们在不同的数据中心运行两个 MinIO 部署。两者之间的数据使用主动-主动复制进行复制,从而使 MinIO 具有高可用性。鉴于银行财务数据的关键性,MinIO 对象存储实现必须支持无限扩展和站点级容灾能力。为了实现这一目标,MinIO 团队帮助部署了双站点双站点双主动复制策略。该银行能够根据需要增加每个站点的集群规模,只需向部署中添加新的服务器池即可。通过主动-主动站点级复制,银行的 MinIO 实施不仅可以在单个站点内承受多个磁盘、服务器甚至机架故障,而且给定地理位置内的整个站点都可能遇到故障,而不会出现任何应用程序停机或数据丢失例如:

集群一:

集群二:

本地对象存储的主要用例之一是企业文件处理,目前已经迁移了一百多个项目以利用 MinIO 对象存储。该银行利用 MinIO 进行机器学习模型训练和服务:

MinIO 集群的可扩展性和可用性:

在多个数据中心之间同步数据是任何提供站点级容灾能力的对象存储的关键功能。主动-主动复制提供快速热-热故障转移和多地理恢复能力。多站点复制建立在双向主动-主动框架之上,并保留了关键功能,例如复制删除操作、删除标记、现有对象和副本元数据更改。

结果

升级到基于 Kubernetes 的现代基础架构的好处立竿见影。自实施 MinIO 以来,该银行已将存储占用空间减少了 50% 以上,同时将存储容量翻了一番。在此过程中,该银行将成本降低了近 60%,并将关键机器学习任务的性能提高了 30%。

MinIO 还为银行未来的云原生成功奠定了基础。这位平台工程师表示:“不断发展的数据需求(例如我们的数据需求)需要可扩展性和强大的存储位置,而 MinIO 满足了这些需求。此外,数据中心之间的延迟也减少了;可以根据需要进行扩展,同时提供元数据以改进对此类数据的理解。这也为我们提供了与我们希望在不久的将来迁移到的云平台非常相似的存储环境。

其中一位云工程师也指出:“MinIO 帮助我们的数据分析工作负载实现了现代化,使其具有高度可扩展性,并增加了我们组织内对云原生技术的采用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/32971.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

爬取同样内容,xpath方法会比bs4要慢很多吗?

点击上方“Python爬虫与数据挖掘”,进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 红豆生南国,春来发几枝。 大家好,我是Python进阶者。 一、前言 前几天在Python白银交流群【沐子山树】问了一个Python网络爬虫的…

ARM32开发--WDGT看门狗

知不足而奋进 望远山而前行 目录 文章目录 前言 目标 内容 什么是看门狗 ARM中的看门狗 独立看门狗定时器 窗口看门狗定时器 独立看门狗FWDGT 初始化配置 喂狗 完整代码 窗口看门狗WWDGT 初始化配置 喂狗 完整代码 注意 总结 前言 嵌入式系统在如今的科技发…

JSON序列化与反序列化

目录 JSON序列化 查看JSON文件,设置数据模板类 ​编辑 Newtonsoft.Json下载 运行结果展示 JSON反序列化 序列化是将对象或数据结构转换为可以存储或传输的格式(如JSON字符串)的过程,而反序列化则是将这个格式的数据转换回原…

Web渗透:文件上传-后端过滤

在上一篇文件上传的内容中笔者阐述了文件上传漏洞产生的相关原理以及使用了一个pikachu靶场的例子进行演示,在这个例子中涉及到了前端代码对于文件上传漏洞的相关防护,以及站在攻击者的角度我们要如何绕过前端的防护成功进行攻击;但是事实上对…

Linux下手动查杀木马与Rootkit的实战指南

模拟木马程序的自动运行 黑客可以通过多种方式让木马程序自动运行,包括: 计划任务 (crontab):通过设置定时任务来周期性地执行木马脚本。开机启动:在系统的启动脚本中添加木马程序,确保系统启动时木马也随之运行。替…

力扣-2663

题目 如果一个字符串满足以下条件,则称其为 美丽字符串 : 它由英语小写字母表的前 k 个字母组成。它不包含任何长度为 2 或更长的回文子字符串。 给你一个长度为 n 的美丽字符串 s 和一个正整数 k 。 请你找出并返回一个长度为 n 的美丽字符串&#…

JAVA+Netty简单实现Nginx反向代理网关功能【设计实践】

背景 本文实现一个类似于nginx或gateway的反向代理网关,实现思路是访客通过网络请求反向代理服务,代理服务连接到真实服务,维护访客和真实服务的数据交互。 这个实现和之前的内网穿透项目思路相似,只不过内网穿透是由客户端主动…

用python写一个AI Agent对接企业微信上下游协同的案例

要实现一个AI Agent对接企业微信上下游协同,我们可以使用Python编写一个企业微信机器人,用于接收和处理来自企业微信的消息。在此示例中,我们将使用wechatpy库来实现企业微信机器人,并使用requests库实现与上下游系统的通信。 首…

很冷门但真的有趣的IOS应用

Tuesday Tuesday纪念日小组件是一款功能丰富的倒数日和桌面小组件工具APP。此外,Tuesday软件还具有超萌小清新的风格,界面设计清新可爱,适合各种场景使用。用户可以通过小组件实现各种趣味功能,满足不同心情需求。 SideNotes Si…

查看显卡使用情况

查看 NVIDIA 显卡的使用情况,你可以使用命令行工具 nvidia-smi。这是一个非常有用的命令,可以提供关于你的 NVIDIA GPU 的详细信息,包括 GPU 的使用率、显存使用情况、GPU 时钟频率、电源使用情况、温度以及正在运行的进程等。 以下是一些基…

吴恩达机器学习 第三课 week2 推荐算法(上)

目录 01 学习目标 02 推荐算法 2.1 定义 2.2 应用 2.3 算法 03 协同过滤推荐算法 04 电影推荐系统 4.1 问题描述 4.2 算法实现 05 总结 01 学习目标 (1)了解推荐算法 (2)掌握协同过滤推荐算法(Collabo…

2025秋招NLP算法面试真题(一)-史上最全Transformer面试题

史上最全Transformer面试题 Transformer为何使用多头注意力机制?(为什么不使用一个头)Transformer为什么Q和K使用不同的权重矩阵生成,为何不能使用同一个值进行自身的点乘? (注意和第一个问题的区别&#…

查找和排序

目录 一、查找 1.1查找的基本概念 1.2顺序查找 1.3折半查找(二分查找) 1.4散列表的查找 1.4.1基本概念 1.4.2散列函数的构造方法 1.4.3解决冲突的方法 二、排序 2.1排序的基本概念 2.2插入排序 2.2.1直接插入排序: 2.2.2希尔排序…

linux 简单使用 sftp 和 lftp命令

目录 一. 环境准备二. sftp命令连接到SFTP服务器三. lftp命令3.1 连接FTP和SFTP服务器3.2 将文件从sftp服务器下载到本地指定目录 四. 通过WinSCP命令行从SFTP服务器获取文件到Windows 一. 环境准备 ⏹在安卓手机上下载个MiXplorer,用作SFTP和FTP服务器 官网: htt…

第12天:前端集成与Django后端 - 用户认证与状态管理

第12天:前端集成与Django后端 - 用户认证与状态管理 目标 整合Django后端与Vue.js前端,实现用户认证和应用状态管理。 任务概览 设置Django后端用户认证。创建Vue.js前端应用。使用Vuex进行状态管理。实现前端与后端的用户认证流程。 详细步骤 1. …

windows无法启动redis-server

Warning: no config file specified, using the default config. In order to specify a config file use D:\Code_enve\Redis\redis-server.exe /path/to/redis.conf Creating Server TCP listening socket *:6379: bind: No such file or directory以上是问题的报错信息&…

AIGC-Animate Anyone阿里的图像到视频 角色合成的框架-论文解读

Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation 论文:https://arxiv.org/pdf/2311.17117 网页:https://humanaigc.github.io/animate-anyone/ MOTIVATION 角色动画的目标是将静态图像转换成逼真的视频,这在在线零…

vue.js获取body高度

在mounted生命周期钩子中获取: export default {mounted() {this.bodyHeight document.body.offsetHeight;},data() {return {bodyHeight: 0};} }; export default {data() {return {bodyHeight: 0};},mounted() {this.bodyHeight window.innerHeight;} };expor…

如何高效地为pip换源:详细操作指南

在Python开发中,pip是我们不可或缺的包管理工具。然而,默认的官方源下载速度较慢,尤其是在国内使用时可能会遇到网络问题。为了提高下载速度,我们可以通过更换国内的镜像源来解决这一问题。本文将详细介绍如何高效地为pip换源&…

计网:网络应用层【Email应用/SMTP协议】

Email应用与SMTP协议 Email应用层的构成 客户端服务器协议 用户代理 用于读写邮件消息;与服务器交互,收发邮件消息 常见的客户端:Outlook,Foxmail(这两个是需要下载的客户端),Web客户端&…