2018年下半年试题四:论NoSQL数据库手艺及其应用

news/2025/11/6 10:18:56/文章来源:https://www.cnblogs.com/yxysuanfa/p/19195614

论文库链接:系统架构设计师论文


论文题目

随着互联网web2.0网站的兴起,传统关系数据库在应对web2.0 网站,特定是超大规模和高并发的web2.0纯动态SNS网站上已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了相当迅速的发展。

NOSQL(Not on SQL)的产生就是为了解)决大规模数据集合及多种数据类型带来的挑战,尤其是大数据应用难题。目前NOSQL数据库并没有一个统一的架构,根据其所采用的数据模型可能分为4类:键值(Key-alue)存储数据库、列存储数据库、文档型数据库和图(Graph)数据库。

请围绕"NOSQL数据库技术及其应用”论题,依次从以下三个方面进行论述

1.概要叙述你参与管理和开发的软件项目以及你在其中所担任的关键工作。

2.详细论述常见的NOSQL数据库工艺及其所包含的主要内容,并说明NOSQL数据库的主要适用场景。

3.结合你具体参与管理和开发的实际项目,说明具体采用哪种NOSQL数据库技巧,并说明架构设计过程及其应用效果。

论文参考

论软件系统架构评估及其应用

摘要

2024年1月,我作为体系架构设计师参与了某公司OA架构的设计与改良,该项目的目标是解决之前框架采用传统关系数据库在应对新型网站时暴露出了很多难以克服的问题:近段时间网站上涌现了很多不同数据类型,传统的关系数据库已经显得捉襟见肘,迫切需要从技术方面进行解除。在经过团队对工艺进行严格选型后,最终确定采用NoSQL解决大规模材料集合及多种数据类型带来的挑战。本文以该方案为例,主要论述非关系型数据库NoSQL在该项目的具体应用:键值存储数据库、列存储数据库、文档型数据库和图数据库在OA系统中的应用。最终于2024年6月成功上线并获得了同事和用户的一致好评,同时也希望OA系统能够继续为公司创造价值。

正文

2024年1月,我作为系统架构设计师参与了某公司OA系统的设计与改良,之前系统采用传统关系数据库在应对web2.0网站时暴露出了很多难以克服的问题:近段时间网站上涌现了很多不同数据类型,传统的关系数据库已经显得捉襟见肘,迫切需要采用新技巧方面对OA环境进行改良。在经过团队对科技进行严格选型后,最终确定采用非关系型数据库NoSQL解决大规模数据集合及多种数据类型带来的挑战,尤其是大信息应用难题。通过对OA系统数据库进行改良设计,使传输到体系的数据类型不再受约束,不论接收到什么类型的数据该系统都能够顺利运行,提高了平台的可用性。解决了技术难题后,经过编程工作人员的不懈努力,最终于2024年6月成功上线并获得了同事和用户的一致好评,同时也非常感谢单位领导给予我这次宝贵的机会,让我在启用非关系数据库NoSQL解决问题上更加娴熟。

常见的NoSQL数据库工艺有键值(Key-Value)存储数据库、列存储数据库、文档型数据库和图(Graph)数据库。键值(Key-Value)存储数据库指根据键值对数据进行存储的数据库,如身份证作为公民的唯一标识,可利用这一特点将关于人物的相关信息根据身份证号进行存储。列存储数据库指利用xlsx、xml等表格内容将信息进行存储,要求处理大量的表格信息。文档型数据库指运用docx、txt等文本数据将信息进行存储,需要对文本内容进行处理。图(Graph)数据库指将jpg、png等图形数据进行处理,从图形中找出物体的矢量图,根据其特征进行存储,如人脸识别系统。NoSQL数据库主要适用于需要处理超大规模数据集合、而且对并发管理要求很高的大型环境。如:双十一期间需要抢红包的购物体系、春运期间需要抢票的购票系统、需要处理各种数据并得出思考结论的大数据分析系统等。

在我参与管理和开发的OA系统中,采用了键值(Key-Value)存储数据库、列存储数据库、文档型数据库和图(Graph)数据库等数据库技术。下文将对这几种NoSQL数据库技术的架构设计过程及其应用效果进行具体阐述。

键值(Key-Value)存储数据库在OA系统中的应用。这一类数据库核心会使用到一个哈希表,这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署。不过如果DBA只对部分值进行查询或更新的时候,Kevvalue就显得效率低下了。例如:Tokyo Cabinet/Tyrant, Redis, Voldemort. Oracle BDB。针对公司人员数据信息存储管理模块,我们采用了键值存储数据库进行存储,根据身份证号唯一标识的特征,先将公司所有员工的身份证号进行收集,再按照员工进入公司的先后顺序编排工号,把身份证号与工号进行唯一绑定,之后对工号进行处理即可,可以有效防止身份证号信息泄露问题,便于有效管理公司员工信息。即便公司在短时间内需要对员工信息进行完善也可以高效地开展维护,确保材料的及时性。根据身份证号对工作人员进行管理的方法管用地减轻了维护信息数据的负担。

列存储数据库和文档型数据库在OA架构中的应用。列存储数据库这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在,但是它们的特点是指向了多个列。这些列是由列家族来安排的。如:Cassandra,HBase,Riak。文档型数据库的灵感是来自于Lotus Notes的办公软件,而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档,半结构化的文档以特定的格式存储,比如JSON。针对公司项目资料数据存储模块,我们采用了列存储数据库和文档型数据库,先将项目资料根据任务重要性、立项时间顺序等对其进行编号,将建设内容、项目资金、设计公司、监理公司等信息进行补充完善。关于项目合同的数据存储方面,我们采用了文档性数据库进行存储,将纸质版项目合同电子化后存储在相应数据库中,同时做好备份存储,方便日后审计时能够快捷高效地查找项目资料相关信息。当公司需要存储大量的项目资料时,列存数据库和文档型数据库也可以帮助其进行存储,将可能存在关联的数据进行同类存储。当管理人员得对其中数据进行检索时,行根据关键字对大量数据进行查找,并高效从中找到有用信息,提高工作效率。

图(Graph)数据库在OA系统中的应用。图形结构的数据库同其他行列以及刚性结构的SQL数据库不同,它是使用灵活的图形模型,并且能够扩展到多个服务器上。NOSQL数据库没有标准的査询语言(SQL),因此进行数据库査询要求制定数据模型。许多NOSQL数据库都有REST式的数据接口或者查询API。如:Ne04J,InfoGrid,Infinite Graph。针对公司员工上下班考勤打卡模块,我们采用了图数据库,员工在入职时就将人脸信息录入人脸识别设备,再将该设备收集到的人脸信息实时传输到OA系统中,确保信息的一致性。假设员工在上下班时发生迟到早退现象,OA系统就可以第一时间对该员工行为做出响应,及时将信息发送给本人,经确认后按照公司相关规定对该行为进行处理。当公司有大量工作人员进入公司时也可以及时地对其人脸信息进行录入,避免人工记忆混乱造成不必要地麻烦,有效地提高了工作效率。该模块可能实用地提高员工的时间观念,养成良好的按时上下班习惯,利于公司业绩地提高。

从2024年1月立项开始,经过近半年时间的辛勤付出,于6月成功上线并得到同事的一致好评,实属不易。期间,大家利用键值(Key-Value)存储数据库、列存储数据库、文档型数据库和图(Graph)数据库等科技将传统的关系型数据库改造成了NoSQL数据库,解决了OA系统大规模数据集合及多种数据类型带来的挑战,尤其是大数据应用难题。通过这次经历,我也认识到了作为体系架构设计师,技术经验的不足将有可能直接导致系统在应对超大规模和高并发挑战时发生崩溃现象,对系统的使用造成消极影响。因而我在今后也将汲取本次项目的实战经验,梳理之前项目建设存在的挑战,并在以后OA框架建设过程中,要严谨细致地对技术进行选型,避免因技术选型失误造成系统问题,导致严重后果。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/957493.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ASP.NET Core 文件上传:深入理解 Buffering 和 Streaming 模式

https://learn.microsoft.com/en-us/aspnet/core/mvc/models/file-uploads?view=aspnetcore-9.0https://www.cnblogs.com/lindexi/p/19192031在 ASP.NET Core 中处理文件上传时,框架提供了两种核心方法:Buffering(…

2025年靠谱的蒸发冷冷水机厂家推荐及选择参考

2025年靠谱的蒸发冷冷水机厂家推荐及选择参考 随着工业制造技术的不断发展,蒸发冷冷水机在塑料成型、化工、食品加工、医药等行业中的应用越来越广泛。选择一家技术先进、质量可靠的蒸发冷冷水机厂家,不仅能提高生产…

2025年比较好的药用PE袋用户口碑最好的厂家榜

2025年比较好的药用PE袋用户口碑最好的厂家榜 在医药包装领域,药用PE袋因其优异的防潮、防尘、耐腐蚀性能,成为药品包装的重要选择。随着行业标准的不断提高,用户对PE袋的质量、安全性和供应商的服务能力提出了更高…

2025年比较好的普通天鹅绒厂家最新推荐排行榜

2025年比较好的普通天鹅绒厂家最新推荐排行榜 天鹅绒作为一种兼具质感与实用性的面料,广泛应用于服装、家纺、装饰等领域。随着消费者对品质要求的提升,选择一家可靠的天鹅绒供应商至关重要。本文基于产能规模、产品…

基于MATLAB的声呐图像特征提取与显示

一、预处理阶段噪声抑制高斯滤波:消除高斯噪声,保留边缘信息 filtered_img = imgaussfilt(gray_img, 1.5);中值滤波:去除椒盐噪声 filtered_img = medfilt2(gray_img, [3 3]);自适应滤波:处理非均匀噪声 filtered_…

2025年造雪机厂家新推荐排行榜,造雪机加工厂哪家合作案例多

2025年冰雪旅游与游乐行业持续升温,造雪机作为滑雪场、冰雪乐园的核心设备,其性能稳定性、气候适应性、雪质可控性直接决定场地运营效率与游客体验。然而当前市场中,造雪机厂家数量繁杂且实力分化显著:部分厂家设备…

2025年评价高的包装袋厂家选购指南与推荐

2025年评价高的包装袋厂家选购指南与推荐 在工业生产和物流运输领域,包装袋的质量直接影响产品的安全性和运输效率。2025年,随着环保要求提升和技术进步,高性能、定制化的包装袋需求持续增长。本文精选5家行业领先…

2025 年 11 月展厅设计公司权威推荐榜:企业展厅/数字展厅/科技展馆/全屋定制展厅设计制作,专业策划与创意呈现口碑之选

在当今商业环境中,展厅设计已成为企业品牌传播与产品展示的重要载体。随着数字技术的快速发展,企业展厅、数字展厅、科技展馆等各类展示空间的设计要求日益提高,不仅需要具备视觉冲击力,更要通过创新的展示手段传达…

2025年热门的太空梭游乐设施用户口碑最好的厂家榜

2025年热门的太空梭游乐设施用户口碑最好的厂家榜 随着主题公园和游乐场的快速发展,太空梭类游乐设施因其刺激性和科技感成为游客的热门选择。2025年,各大游乐设备制造商纷纷推出创新产品,以满足市场需求。本文将介…

2025 年脱硫塔厂家最新推荐排行榜:严格筛选制造商,含协会测评数据与选购指南脱硫/生物除臭/酸雾净化/一体化污水处理设备气体脱硫塔公司推荐

引言 在环保要求持续升级的当下,脱硫塔作为工业烟气治理核心设备,其品质直接影响企业环保达标与运营成本。为解决市场上厂家良莠不齐、企业选购难的问题,行业协会联合专业机构开展了脱硫塔生产厂家测评工作,测评覆…

2025 年 11 月预制舱厂家推荐排行榜,光伏预制舱,10KV/35KV/110KV高压预制舱,一二次综合预制舱,储能预制舱,风电光伏升压预制舱公司精选

行业背景与发展趋势预制舱作为一种模块化、标准化的电气设备集成解决方案,近年来在新能源、电力系统等领域展现出强大的应用价值。随着光伏发电、风电等清洁能源装机容量的快速提升,以及电网升级改造需求的持续释放,…

2025年知名的液流式绞纱染色机厂家选购指南与推荐

2025年知名的液流式绞纱染色机厂家选购指南与推荐 随着纺织行业的快速发展,液流式绞纱染色机作为高效、节能的染色设备,在市场上需求日益增长。2025年,国内外众多染整设备制造商纷纷推出新型液流式绞纱染色机,以满…

2025 年最新推荐一体化泵站源头厂家排行榜:聚焦优质预制 / 提升 / 智能泵站品牌HMPP 一体化泵站/玻璃钢一体化泵站公司推荐

引言 随着环保政策持续收紧,市政排水、工业废水处理等领域对一体化泵站的需求呈爆发式增长,但行业乱象也随之凸显。部分厂家缺乏核心技术,生产的泵站在耐腐蚀性、结构强度和智能化水平上不达标,无法适应复杂工况;…

2025 年 11 月电缆分支箱厂家推荐排行榜,电缆分接箱/电缆对接箱/35KV高压电缆分支箱/10KV欧式电缆分支箱/10KV光伏电缆分支箱公司推荐

行业背景与发展趋势电缆分支箱作为电力配网系统中的关键设备,在电力分配、电缆连接和保护方面发挥着不可替代的作用。随着我国电力基础设施建设的持续推进和智能电网的快速发展,电缆分支箱市场需求呈现稳步增长态势。…

2025年比较好的赛事旗帜定制热门厂家推荐榜单

2025年比较好的赛事旗帜定制热门厂家推荐榜单 在赛事、庆典、企业活动等场合,旗帜作为视觉标识的核心载体,不仅能传递品牌形象,还能增强现场氛围。随着定制化需求的增长,选择一家专业、可靠的旗帜定制厂家至关重要…

2025 年 11 月开窗器厂家推荐排行榜,开窗器链条,开窗器机芯,开窗器配件,优质开窗器公司推荐

行业背景与发展现状随着建筑智能化水平的不断提升,开窗器作为建筑通风系统的重要组成部分,其市场需求持续增长。开窗器链条、开窗器机芯、开窗器配件等关键部件的质量直接影响着整个系统的运行效率和可靠性。在当前的…

2025 年最新推荐石墨粉生产厂家口碑榜单:甄选行业优质厂家解析产品品质与服务能力润滑石墨粉/土状石墨粉/高碳石墨粉公司推荐

引言 石墨粉作为高熔点、强自润滑性与导电性的工业基础原料,广泛应用于电池、半导体、钢铁、耐材、冶金等关键领域,其品质与供应稳定性直接决定下游企业生产效率与产品质量。当前市场中厂家数量繁杂、产品规格混乱、…

2025年知名的粉末TAIC交联剂厂家推荐及选择指南

2025年知名的粉末TAIC交联剂厂家推荐及选择指南 在聚合物材料工业中,交联剂TAIC(三烯丙基异氰脲酸酯)是提升高分子材料性能的关键助剂,广泛应用于橡胶、塑料、涂料等领域。随着市场需求的增长,选择一家可靠的TAI…

2025年热门的闭式循环真空机组厂家最新权威实力榜

2025年热门的闭式循环真空机组厂家最新权威实力榜闭式循环真空机组作为现代工业生产中不可或缺的关键设备,在半导体制造、医药生产、化工工艺等高科技领域发挥着重要作用。随着中国制造业向高端化、智能化方向发展,市…

2025 年锅炉生产厂家最新推荐排行榜:聚焦实力企业,解析优质锅炉及配件选购方向锅炉耐磨陶瓷弯头/锅炉落煤管下渣管/锅炉空预器套管公司推荐

引言 在工业生产中,锅炉及配套配件是保障能源转换效率与生产稳定的关键设备,广泛应用于电力、冶金、化工、纸业等多个核心领域。当前市场上锅炉生产厂家数量激增,但产品质量、技术水平与服务能力差距悬殊,部分厂家…