网站死链排查,站长检测工具,上海装修公司排名十强,微信h5制作软件作者#xff1a;来自 Elastic Michael Calizo, Tim Lee 在 Elastic#xff0c;我们大多数成功的客户实施都是从单一用例开始的#xff0c;旨在满足特定的业务需求。Elastic 最初被采用通常是因为开发人员欣赏它提供的功能。然而#xff0c;由于其灵活性和可定制性#xff…作者来自 Elastic Michael Calizo, Tim Lee 在 Elastic我们大多数成功的客户实施都是从单一用例开始的旨在满足特定的业务需求。Elastic 最初被采用通常是因为开发人员欣赏它提供的功能。然而由于其灵活性和可定制性客户倾向于扩大其采用范围以满足各种需求例如日志记录和应用程序性能监控、SIEM 和安全操作甚至利用 Elastic 中已有数据的更复杂的搜索用例。 在当今的 IT 环境中仅仅存储数据日志、跟踪、指标和文档是不够的。组织需要一种解决方案使其团队能够快速有效地访问和利用这些数据。效率是数据管理的关键因为每一点存储的数据都会产生硬件、许可、维护和管理成本。 在这篇博客中我们将分析拥有大量数据的组织如何优化跨不同层级的存储方式以节省成本并从数据中获得更多价值。 挑战高效且可扩展的数据管理 组织喜欢 Elastic因为它的速度、可扩展性、可定制性和功能性。正因为如此他们经常会发现 Elastic 的新用例。当大量数据被提取而不考虑如何存储、管理和使用数据时这就会成为一个挑战这可能会导致数据管理出现瓶颈。随着数据的增长他们当前的设置难以满足新的需求达到硬件和许可证的极限。 如果你的组织遇到这些问题解决方案比你预期的更易于管理。 解决方案业务驱动的数据策略 克服这一挑战的方法是定义符合业务目标的数据策略。不要根据任意要求收集和保留数据而是问自己以下问题 需要收集哪些数据来推动业务目标这些数据使用的频率是多少这些数据是否有到期日期在此日期之后不再有价值这些数据是否有合规性要求 根据上述问题的答案组织可以创建业务驱动的数据策略来优化数据的存储和使用方式从而最大限度地利用其对 Elastic 的现有投资。 案例研究 为了展示采用此策略的好处让我们来探讨一个经历过此过程的客户的案例研究。 此客户通常每天处理 5TB 的数据平均每秒处理 250,000 个事件。但是有时数据量会增加到每天 7TB 和每秒 350,000 个事件。Elastic 为该客户实施的重点是提取大量安全数据并将其提供给安全运营中心 (security operations center - SOC) 团队以搜索有关网络事件和欺诈调查的信息。 此实施非常成功以至于客户添加了新的用例需要更长的数据保留时间和更快的搜索功能这些搜索功能来自更广泛的数据源。他们的目标是以下业务成果 日志优化通过优化数据层组织可以增强日志管理实践确保在适当的时间内保留正确的日志提高运营效率和合规性。提高 license 用率高效的存储分层意味着更好的 license 利用率使组织能够充分利用其现有资源并避免不必要的 license 成本。提高业务效率更有效地从日志中获取见解的能力可以提高业务效率从而实现更快的决策和更明智的战略规划。加入新的用例借助优化的数据层组织可以轻松加入新的用例扩展其数据分析能力而无需大量基础设施投资。清晰的数据策略优化的数据分层有助于制定清晰的数据策略确保数据可靠、易于访问和有效治理为数据驱动的决策奠定基础。 数据分层 数据分层是一个复杂而微妙的话题值得专门写一篇博客来阐述。但是为了定义数据策略可以将不同的数据层简化为三个主要用途摄取、搜索和存储。 摄取hot tier - 热层以最小的延迟尽快摄取数据。搜索hot and warm tier - 热层和温层快速搜索数据并处理大型数据集。存储cold and frozen tier -  冷层和冻结层根据需要存储数据并执行低频临时搜索。 数据增长和保留 了解数据保留要求的范围对于合规性和高效数据管理至关重要。不同的法规需要不同的保留期限 SOX 保留要求7 年HIPAA 数据保留要求6 年PCI DDS 数据保留要求1 年Basel II 数据保留要求3-7 年GDPR 员工记录 工资3 年税务记录6 年姓名、地址3 年公平劳动标准法2-3 年 旧架构与新架构 旧架构 旧架构有两个数据中心采用四层存储实现可满足各种数据处理需求。此实现需要更多硬件、许可证和运营管理开销。 客户保留所有日志 90 天无论数据如何使用。 7 天热层2 天暖层10 天冷层剩余天数为冻结层也即 71 天 客户在热层和温层hot and warm中使用相同的硬件。温层仅用于强制合并可搜索快照的索引。温层和冷层的 CPU 和存储利用率都很低。冻结层很窄导致历史搜索速度很慢。 新架构 在审查了数据的使用方式后发现了以下结果 大多数高容量数据仅在提取后的前 24 小时内被搜索。24 小时后数据的主要用途是安全调查这需要临时搜索。一些选定的索引需要保留更长时间才能生成报告。由于新的合规性要求数据需要保留长达一年。 迁移到热/冷/冻结架构 热层节点具有足够的容量来执行强制合并活动从而允许移除温层warm tier。大多数数据可以在 36 小时后从热层直接转换到冻结层。需要本地存储以用于报告用例的数据可以保存在冷层中。热层也可以减少因为需要保留的数据更少。扩展冻结层会增加可用于搜索的缓存量从而提高搜索性能。此外它允许将数据保存一年而不仅仅是 90 天。 存储优化 更好的存储密度冷层可以利用可搜索的快照作为副本。冻结层将所有数据存储在快照存储库中并仅将查询结果缓存在其本地缓存中。更少的数据复制需要更少的节点从而降低硬件和许可证利用率。所有层都使用相同的存储要求允许轻松整合和重用硬件。这些变化释放了 20-30 个节点和许可证这些节点和许可证被重新用于构建其他用例。 新架构旨在整合日志记录和安全工作负载的硬件配置文件可能引入第三个区域以提高弹性。它还专注于存储优化包括更好的存储密度和减少数据复制从而减少所需的节点并优化许可证利用率。该架构允许整合硬件配置文件。 重新架构的好处 改进的数据保留策略更高效的存储分层策略可以实现更好的数据保留这对于安全性和合规性目的尤为重要。简化平台管理整合硬件配置文件并减少所需的节点数量可以简化平台管理降低运营开销。减少硬件占用空间优化计算资源和存储密度可以减少硬件占用空间节省空间和能源。增强投资回报率通过优化存储层组织可以获得更好的投资回报充分利用现有基础设施。 新架构的优点包括管理更简单、许可证和硬件利用率更高、数据保留时间更长、部署规模更小从而加快升级速度并提高基础设施弹性。但是潜在的缺点可能是由于更多数据存储在冻结层中导致某些需要快速存储和高 IOPS 的用例的搜索性能变慢。 实施策略 分层数据策略允许组织优化近期数据的性能同时高效存储大量数据。通过利用分片分配意识组织可以定义每个层的特征并根据数据策略安排索引的迁移。这可确保在任何给定时间将数据存储在最合适的硬件层上从而平衡性能和成本考虑因素。 示例存储层和内存比率 在规划 Elastic 增长时内存与存储比率是一个至关重要的考虑因素。以下是 Elastic 客户可用的四个存储层 热层针对提取和搜索性能进行了优化通常使用高速 SSD内存与存储比率约为 1:30温层针对存储容量进行了优化使用 SSD 或 HDD内存与存储比率约为 1:160冷层针对存储容量进行了优化使用可搜索快照作为副本尽管存储比率与热层相同但删除本地副本会使存储需求减半。冻结层针对存档目的进行了优化使用廉价的快照存储和本地磁盘缓存来提供超过 1:1,000 的内存与存储比率 不同存储配置的高层成本分析 在我们的分析中我们评估了各种存储配置的总拥有成本 (total cost of ownership - TCO)以优化另一个客户的 Elastic 实施。以下是这些配置及其相关成本的详细分类 自我管理的 ES 集群每日 1TB 摄取总保留 365 天 ConfigurationRetention daysNodesHardware costSnapshot storage costTotal cost (TCO)Hot-warm7 hot, 358 warm4 hot, 60 warm$44,954$7,665$52,619Hot-warm-cold7 hot, 90 warm, 268 cold4 hot, 15 warm, 23 cold$28,231$7,665$36,795Hot-warm-frozen7 hot, 90 warm, 268 frozen4 hot, 15 warm, 3 frozen$17,051$7,665$22,204Hot-frozen7 hot, 358 frozen4 hot, 4 frozen$6,198$7,665$12,066 容量规划注意事项 在规划每个层的容量时根据其特定要求独立确定其大小至关重要。这涉及了解每个层的存储和性能需求并确保它们得到充分配置。此外组织必须考虑总体容量要求以及不同层如何相互作用以确保平衡高效的存储策略。 最后的想法 优化存储分层不仅仅是为了节省成本它还使组织能够发展并适应新的挑战和机遇。 通过使用数据策略原则应对平台优化挑战组织可以促进新的用例提高数据可靠性并增强其整体数据策略。查看我们的文档了解你的组织如何使用数据分层构建弹性且高效的 Elastic 实施。 本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。 原文Elastic data tiering strategy: Optimizing for a resilient and efficient implementation | Elastic Blog