江西建设厅网站证书查询,网站维护是谁做的,做仿制网站,网站开发工程师 上海长期以来#xff0c;数据库一直充当着记录系统#xff0c;它们以可靠且持久的方式存储和管理关键数据#xff0c;也赢得了大多数公司的信赖。 但时代在变。许多新兴趋势正在影响当今数据的存储和管理方式#xff0c;不得不让一些技术决策者们重新考虑数据存储究竟还有哪些…长期以来数据库一直充当着记录系统它们以可靠且持久的方式存储和管理关键数据也赢得了大多数公司的信赖。 但时代在变。许多新兴趋势正在影响当今数据的存储和管理方式不得不让一些技术决策者们重新考虑数据存储究竟还有哪些创新途径。或许关系型数据库开始变得不合时宜了。 本篇文章为诸君提供了一种“跳出框框”的记录系统的新玩法——为什么组织需要以不同的方式思考数据存储、使用 Kafka 作为记录系统的好处以及有哪些好的实现思路等希望对诸君有所启发。 1、用Kafka替代关系数据库 KOR Financial是一家金融服务初创公司他们为何会选择Kafka而不是依赖关系数据库来存储数据呢该公司的首席技术官Andreas曾在Pivotal Software和VMware任职主导过全球范围内的应用程序转型架构实践他的这一决策有什么玄机 先说结果使用Kafka方案能够“经济高效、安全地存储数十甚至数百PB的数据并且保留数十年。”Andreas称“采用这种方法不仅为数据架构提供了巨大的灵活性和可扩展性而且还实现了精益和敏捷的运营。” 2、打破定式数据库没有为规模设计 时代变了身处数字化转型时代数据驱动决策要求企业具备现代灵活的数据架构。而要实现这样的架构成功的关键就在于数据存储能否做到强大、可靠和灵活。 诚然也看到了近二十年来大数据、分布式系统、云计算和实时数据处理的兴起但传统的数据库就成了掣肘的瓶颈已无法跟上每秒生成数据的速度和数量。 首先这是因为数据库并不是为规模而设计的。它们固有的僵化结构只会阻碍企业数据架构所需的灵活性。 作为服务全球企业金融贸易存储库以及互补模块化服务的运营商数据的处理级别堪比炼狱。KOR Financial创新式地采取了数据流优先的方法这也是它区别于竞争对手的地方。“的目标彻底改变衍生品市场和全球监管机构对交易报告、数据管理和合规性的思考方式。” 以Kafka为架构核心是一个思考方式上“质”的变化因为这种架构能够捕获事件而不仅仅是状态。“将数据存储在Kafka而不是数据库中并将其用作记录系统就可以实现跟踪所有这些事件、处理它们并根据现在或将来的用例创建数据的物化视图。” 虽然其他贸易存储库和中介服务提供商经常使用Oracle Exadata 等数据库来满足其数据存储需求但它可能非常昂贵并带来数据管理挑战。虽然它允许执行 SQL 查询但挑战在于管理大型SQL数据库并确保这些系统内的数据一致性。 从事全球强制贸易报告业务意味着要为多个管辖区提供服务每个管辖区都有自己独特的数据模型和解释。如果将所有数据合并到单个架构或模型中统一管理的任务就会变得越来越复杂。如果没有数据的历史概览模式演变就具有挑战性因为它是在特定版本的状态中具体化的这进一步加剧了数据管理的困境。 另外在处理大量数据时传统数据库的可扩展性受到限制。相比之下将Confluence Cloud用于Kafka及其无限存储就可以允许用户在Kafka中存储任意数量的数据只要需要就可以存储任意长时间而只需为所使用的存储付费。 虽然分区数量是一个考虑因素但可以放入 Confluence Cloud 中的数据量是无限的并且存储空间会根据需要自动增长并且保留时间不受限制。 它使技术人员能够完全抽象出数据在底层的存储方式并提供一种经济高效的方式来保存所有数据。更好地是这使企业能够以一种不受限制的方式扩展自身的运维并以想要的任何表示方式来解释事件自由度很高。 3、会整活的Kafka重播事件、回放数据 使用Kafka作为记录系统的显着优势之一在于它能够回放数据这是传统数据库所缺乏的原生功能。对于金融场景来说来说此功能与“存储事件与状态”的偏好非常契合这对于准确计算交易状态至关重要。 “我们收到一大堆delta增量我们称之为提交或消息它们在给定的时间点对贸易状态有贡献。每个传入的消息或事件都会修改交易并更改其当前状态。如果在我们的流处理逻辑过程中发生任何错误都可能导致不正确的状态输出。” 如果该信息直接存储在固定表示或传统数据库中则导致该状态的事件就会丢失。即使对这些事件的解释不正确也无法重新审视导致该解释的背景。 然而通过在不可变且仅追加的日志中保留事件的历史顺序Kafka 提供了重播这些事件的能力。 鉴于业务的监管要求必须以不可变的方式存储所有内容。需要捕获并保留最初收到的所有数据。虽然大多数数据库包括SQL都允许修改但 Kafka 在设计上禁止对其不可变日志进行任何更改。 使用 Kafka 作为记录系统并拥有无限存储意味着可以回到过去分析事情是如何展开的更改的解释管理时间点历史更正并创建替代表示而不会影响当前的操作工作负载。 这种灵活性提供了显着的优势尤其是在高度监管的市场中运营时能及时有效地纠正错误这一点至关重要。 4、灵活性征服一切  使用 Kafka 作为记录系统为的数据架构带来了显著的灵活性。可以针对每个用例建立特定的视图并使用与这些需求精确一致的专用数据库或技术然后读取包含这些事件来源的 Kafka 主题。 以客户数据管理为例。可以使用专门为该用例设计的图数据库而无需围绕图数据库构建整个系统因为它只是基于 Kafka 的视图或投影。 这种方法允许根据用例使用不同的数据库而无需将它们指定为的记录系统。相反它们充当数据的表示使能够保持灵活性。否则就将被插入数据库、数据湖或数据仓库这些都是僵化的不允许将数据转换为针对特定用例优化的表示形式。 从初创公司的角度来看这种灵活性也使能够避免过早地被锁定在某个特定的技术方向。KOR成立于2021年遵循将决策推迟到最后一个负责时刻的架构最佳实践可以推迟对特定技术选择的承诺直到它是必要的并且符合的要求。这种方法意味着可以随着业务需求的发展而调整和发展的技术环境并实现未来的可扩展性和灵活性。 除了灵活性之外模式注册表Schema Registry的使用还确保了数据的一致性因此开发者就可以知道数据的来源和与之相关的模式。Confluence Cloud 还允许通过架构注册表设置明确的演进策略。例如如果将所有数据放入数据湖中那么管理该数据的所有不同版本、不同模式和不同表示就会变得更加困难。 5、切换技术的背后事件驱动思维 放弃数据库而采用 Kafka 作为存储数据的记录系统看起来是一件非常新鲜的做法。 并不是所有公司上来就能接受这种做法Andreas认为这需要公司培育“事件驱动模型”的文化并且这种思维转变还应该扩展到通过流处理开发应用程序的方式不然就会引起兼容性不匹配的问题。 这样做的目的是帮助团队成员意识到他们正在处理不可变的数据如果他们编写了某些内容他们就不能直接进去更改它。 Andreas还建议道要实现以Kafka为核心的架构可以从理解“流处理和事件作为证明系统的重要性”的团队开始。通过展示该团队内的优势他们可以充当其他团队的大使鼓励采用事件作为最终真相并采用以状态作为最终表示的流处理。 6、写在最后Kafka可以取代数据库吗 早在2017年Apache Kafka和Confluent的共同创始人Jay Kreps就明确表示过“ 可以在Apache Kafka中存储数据 ”。 而且数据可以在Kafka中想保存多久就保存多久。《纽约时报》的Apache Kafka发布是用Kafka永远存储数据的著名例子。Kafka被用来存储《纽约时报》曾经发布的所有文章并取代了他们基于API的方式。 那么Kafka可以取代数据库吗显然并不现实即便文中提到了许多传统数据库的“不合时宜”之处比如“数据库并不是为规模设计的”等观点但也仅限于金融等强实时性场景中的方案。 不过倡导的打破传统数据库的思维定式去重新设计底层架构的方法值得反思和借鉴。 7、相关领域拓展 近10年间甚至连传统企业都开始大面积数字化时我们发现开发内部工具的过程中大量的页面、场景、组件等在不断重复这种重复造轮子的工作浪费工程师的大量时间。 针对这类问题低代码把某些重复出现的场景、流程具象化成一个个组件、api、数据库接口避免了重复造轮子。极大的提高了程序员的生产效率。 推荐一款程序员都应该知道的软件JNPF快速开发平台采用业内领先的SpringBoot微服务架构、支持SpringCloud模式完善了平台的扩增基础满足了系统快速开发、灵活拓展、无缝集成和高性能应用等综合能力采用前后端分离模式前端和后端的开发人员可分工合作负责不同板块省事又便捷。体验官网https://www.jnpfsoft.com/?csdn 还没有了解低代码这项技术可以赶紧体验学习