北京城建十建设工程有限公司网站,php按步骤做网站,联合实验室 网站建设方案,海南做网站的公司有哪些Elasticsearch 是一个开源的、基于 Lucene 的分布式搜索和分析引擎#xff0c;设计用于云计算环境中#xff0c;能够实现实时的、可扩展的搜索、分析和探索全文和结构化数据。它具有高度的可扩展性#xff0c;可以在短时间内搜索和分析大量数据。 Elasticsearch 不仅仅是一个… Elasticsearch 是一个开源的、基于 Lucene 的分布式搜索和分析引擎设计用于云计算环境中能够实现实时的、可扩展的搜索、分析和探索全文和结构化数据。它具有高度的可扩展性可以在短时间内搜索和分析大量数据。 Elasticsearch 不仅仅是一个全文搜索引擎它还提供了分布式的多用户能力实时的分析以及对复杂搜索语句的处理能力使其在众多场景下如企业搜索日志和事件数据分析等都有广泛的应用。 本文将向你详细介绍什么是倒排索引、以及 Elasticsearch 数据存储、数据更新和数据删除的原理 文章目录 1、倒排索引1.1、为什么需要倒排索引1.2、为什么叫倒排索引1.3、倒排索引的结构 2、数据存储原理2.1、数据存储过程2.2、创建倒排索引的过程2.3、分词2.4、生成词项2.5、分词器2.6、创建倒排列表2.7、数据压缩 3、数据更新原理3.1、数据更新过程3.2、更新倒排列表3.3、版本控制3.4、数据复制 4、数据删除原理4.1、数据删除原理4.2、删除数据的恢复 1、倒排索引 1.1、为什么需要倒排索引 倒排索引也是索引。索引初衷都是为了快速检索到你要的数据。 每种数据库都有自己要解决的问题或者说擅长的领域对应的就有自己的数据结构而不同的使用场景和数据结构需要用不同的索引才能起到最大化加快查询的目的。 对 Mysql 来说是 B 树对 Elasticsearch 和 Lucene 来说是倒排索引。 Elasticsearch 是建立在全文搜索引擎库 Lucene 基础上的搜索引擎它隐藏了 Lucene 的复杂性取而代之的提供一套简单一致的 RESTful API不过掩盖不了它底层也是 Lucene 的事实。Elasticsearch 的倒排索引其实就是 Lucene 的倒排索引。 1.2、为什么叫倒排索引 “倒排索引”Inverted Index的概念是从正向索引Forward Index中衍生出来的。 在正向索引中我们从文档出发记录下每个文档中出现的词项这样就可以知道每个文档包含哪些词项。而在倒排索引中我们从词项出发记录下每个词项出现在哪些文档中这样就可以知道每个词项被哪些文档包含。 正向索引document - to - words 倒排索引word - to - documents因此“倒排索引可以看作是正向索引的逆操作所以被称为倒排”。在全文搜索中倒排索引是非常重要的数据结构因为它可以让我们快速找到包含特定词项的所有文档。 1.3、倒排索引的结构 倒排索引作为一种数据结构用于存储一种映射关系即从词项到出现该词项的文档的映射。它是全文搜索引擎的核心组成部分如 Elasticsearch、Lucene 等。 在倒排索引中每个唯一的词项都有一个相关的倒排列表这个列表中包含了所有包含该词项的文档的 ID。这样当我们搜索一个词项时搜索引擎只需要查找倒排索引就可以快速找到所有包含这个词项的文档。 例如假设我们有以下三个文档 1. 文档1I love coding 2. 文档2I love reading 3. 文档3I love both对这些文档建立倒排索引后我们会得到以下的映射关系 - I文档1文档2文档3 - love文档1文档2文档3 - coding文档1 - reading文档2 - both文档3所以当我们搜索love时搜索引擎会在倒排索引中找到love然后返回所有包含love的文档即文档1文档2 和文档3。 2、数据存储原理 2.1、数据存储过程 创建或更新倒排索引是 Elasticsearch 数据存储过程的核心部分之一Elasticsearch 的数据存储过程也确实包括创建倒排索引的过程但并不仅限于此。 Elasticsearch 的数据存储过程主要包括以下多个步骤 接收数据Elasticsearch 首先接收到用户通过 HTTP 请求发送的数据数据通常是 JSON 格式的文档。分配文档 ID如果用户没有指定文档 IDElasticsearch 会为新文档自动生成一个唯一的 ID。选择分片Elasticsearch 会根据文档ID和索引的分片策略选择一个分片来存储这个文档。创建和更新倒排索引Elasticsearch 会对文档的内容进行分词生成词项并为这些词项创建或更新倒排索引。这样新的文档就可以被搜索到了。存储文档Elasticsearch 会将文档的原始内容和元数据如版本号、修改时间等存储在分片中。原始内容存储在 _source 字段中用于在获取文档时使用。复制文档为了提高数据的可用性和搜索性能Elasticsearch 会将文档复制到其他节点的副本分片中。确认写入当文档被成功写入主分片和所有副本分片后Elasticsearch 会向用户发送一个确认响应。 本篇接下来内容我们将重点关注在创建和更新倒排索引的过程之中我们将详细研究的是创建倒排索引的过程这是因为倒排索引是 Elasticsearch 实现快速全文搜索的关键数据结构。 2.2、创建倒排索引的过程 创建倒排索引的过程主要包括以下步骤 分词这是第一步将一段文本分解成一个个的词项Tokens。这个过程由分词器Tokenizer完成可以根据不同的语言和需求选择不同的分词器。 生成词项对分词后的结果进行处理生成最终的词项。这个过程可能包括转换为小写、去除停用词、词干提取等操作。 创建倒排列表对于每个词项都创建一个倒排列表记录包含这个词项的所有文档的 ID。 更新倒排索引将新的倒排列表添加到倒排索引中。如果倒排索引中已经存在这个词项就将新的文档 ID 添加到对应的倒排列表中。 以上就是创建倒排索引的主要步骤。需要注意的是这个过程在每次插入新的文档或者更新已有的文档时都会进行。 2.3、分词 分词是将一段文本分解成一个个的词项Tokens的过程。这是全文搜索和文本分析的第一步因为只有将文本分解成词项才能对其进行进一步的处理和分析。 分词的过程通常由分词器Tokenizer完成分词器可以根据不同的语言和需求采用不同的分词策略。 分词策略决定了如何将文本分解成词项。以下是一些常见的分词策略 空格分词这是最简单的分词策略只是简单地将文本按空格分解成词项。这种方式简单快速但可能无法处理复杂的语言特性。 基于语法的分词这种分词策略会考虑语言的语法规则例如英语的复数形式、过去式等。这种方式可以提高搜索的准确性但处理起来更复杂。 基于词典的分词这种分词策略会使用一个词典来分解文本可以处理一些特殊的词组和短语。这种方式可以提高搜索的相关性但需要一个高质量的词典。 N-gram 分词这种分词策略会将文本分解成连续的 n 个字符的序列。这种方式可以处理任何语言但可能会生成大量的词项影响搜索的效率和准确性。 在 Elasticsearch 中可以通过配置分词器来控制分词的策略以适应不同的语言和搜索需求。 2.4、生成词项 生成词项是分词过程的一部分它是将分词后的结果进行处理生成最终用于创建倒排索引的词项。 在生成词项的过程中可能会进行以下一些操作 转换为小写为了使搜索不区分大小写通常会将所有的词项转换为小写。 去除停用词停用词是一些常见的、没有太多实际意义的词如英语中的 “the”、“is”、“at” 等。去除停用词可以减少倒排索引的大小提高搜索的效率。 词干提取词干提取是将词项转换为其基本形式或词干的过程。例如英语中的 “running”、“runs”、“ran” 都会被转换为 “run”。这样可以使搜索不受词形变化的影响。 词形还原词形还原是将词项转换为其原始形式的过程。例如英语中的 “better” 会被转换为 “good”。这样可以使搜索更准确。 以上就是生成词项的一些常见操作。需要注意的是这些操作的具体实现可能会依赖于特定的语言和分词器。 2.5、分词器 在 Elasticsearch 中生成词项的设置主要通过配置分词器Analyzer来实现。分词器由一个分词器Tokenizer和多个过滤器Filter组成分词器负责将文本分解成词项过滤器负责对词项进行处理。 以下是一个简单的分词器配置示例 {settings: {analysis: {analyzer: {my_analyzer: {tokenizer: standard,filter: [lowercase, my_stemmer]}},filter: {my_stemmer: {type: stemmer,name: english}}}} }在这个示例中我们定义了一个名为 “my_analyzer” 的分词器它使用 “standard” 分词器和两个过滤器 “lowercase” 和 “my_stemmer”。 “lowercase” 过滤器会将所有词项转换为小写 “my_stemmer” 过滤器会对英语词项进行词干提取。 你可以根据需要选择不同的分词器和过滤器以实现不同的生成词项策略。例如如果你不想启用词干提取可以去掉 “my_stemmer” 过滤器如果你想启用词形还原可以添加一个词形还原过滤器。 需要注意的是Elasticsearch 的分词器和过滤器都是插件形式提供的不同的插件支持不同的语言和功能。在使用前你需要确保你的 Elasticsearch 安装了相应的插件。 2.6、创建倒排列表 创建倒排列表是创建倒排索引过程的一部分。对于每个词项都会创建一个倒排列表记录包含这个词项的所有文档的 ID。 以下是创建倒排列表的基本步骤 初始化倒排列表对于一个新的词项首先创建一个空的倒排列表。添加文档 ID当一个文档被分词并生成词项后将这个文档的 ID 添加到对应词项的倒排列表中。排序为了提高搜索效率倒排列表通常会按照文档 ID 的顺序进行排序。压缩为了节省存储空间倒排列表通常会进行压缩。常见的压缩方法包括变长编码、游程编码等。 2.7、数据压缩 对于 Elasticsearch 的压缩问题假设有这样一个数组 [73, 300, 302, 332, 343, 372]如何把它进行尽可能的压缩 Elasticsearch 中的数据压缩主要通过以下三个步骤实现 增量编码Delta-encode只记录元素与元素之间的增量例如数组 [73, 300, 302, 332, 343, 372] 经过增量编码后变为 [73, 227, 2, 30, 11, 29]。 分割成块Split into blocks在 Lucene 中每个块包含 256 个文档 ID这样可以保证每个块增量编码后每个元素都不会超过 2561 byte。例如我们可以将上述数组分割为两个块[73, 227, 2] 和 [30, 11, 29]。 按需分配空间Bit packing根据每个块中最大元素的大小按需分配空间。例如对于第一个块 [73, 227, 2]最大元素是 227需要 8 bits所以为这个块的每个元素分配 8 bits 的空间。对于第二个块 [30, 11, 29]最大元素是 30只需要 5 bits所以为这个块的每个元素分配 5 bits 的空间。 这三个步骤共同组成了一种编码技术称为 Frame Of ReferenceFOR。 这种技术可以有效地压缩数据降低存储空间的需求。 3、数据更新原理 3.1、数据更新过程 Elasticsearch 的数据更新是不是就是 Elasticsearch 更新倒排列表Elasticsearch 的数据更新过程确实包括更新倒排索引但并不仅限于此。 当一个已存在的文档在 Elasticsearch 中被更新时以下步骤会被执行 版本控制Elasticsearch 会检查更新请求中的版本信息如果版本信息与当前文档的版本不匹配更新操作会被拒绝。删除旧文档Elasticsearch 会将旧文档标记为删除但不会立即从磁盘中删除。插入新文档Elasticsearch 会将新文档插入到索引中这包括存储新文档的原始内容和元数据以及更新倒排索引。复制更新为了提高数据的可用性和搜索性能Elasticsearch 会将更新操作复制到其他节点的副本分片中。确认更新当更新操作被成功应用到主分片和所有副本分片后Elasticsearch 会向用户发送一个确认响应。 所以虽然更新倒排索引是 Elasticsearch 数据更新过程的重要部分但并不是全部。Elasticsearch 还会进行一些其他处理如版本控制、数据复制等。 3.2、更新倒排列表 更新倒排列表是在插入新的文档或更新已有文档时对应词项的倒排列表需要进行更新。 以下是更新倒排列表的基本步骤 查找词项首先根据词项查找对应的倒排列表。添加文档 ID如果是插入新的文档将新文档的 ID 添加到倒排列表中。删除文档 ID如果是更新已有的文档首先从倒排列表中删除旧文档的 ID然后添加新文档的 ID。排序为了提高搜索效率每次更新后都需要重新对倒排列表进行排序。压缩为了节省存储空间每次更新后都需要重新对倒排列表进行压缩。 3.3、版本控制 在 Elasticsearch 中版本控制主要有以下两个目的 确保数据一致性在分布式系统中同一份数据可能会被多个节点同时操作如果没有合适的控制机制就可能导致数据不一致。通过版本控制Elasticsearch 可以确保即使在并发操作的情况下数据的一致性也能得到保证。防止更新丢失在并发更新的情况下如果没有版本控制较晚发出的更新请求可能会覆盖较早发出的更新请求的结果导致更新丢失。通过版本控制Elasticsearch 可以确保每个更新请求都会被正确地应用防止更新丢失。 在 Elasticsearch 中每个文档都有一个与之关联的版本号。当一个文档被更新时Elasticsearch 会检查更新请求中的版本号只有当版本号匹配时才会执行更新操作。这样就可以防止由于并发更新导致的数据不一致和更新丢失。 以下是版本控制的基本步骤 检查版本号当接收到一个更新请求时Elasticsearch 会检查请求中的版本号。如果请求中的版本号与当前文档的版本号不匹配Elasticsearch 会拒绝这个更新请求。 更新文档如果版本号匹配Elasticsearch 会进行更新操作包括更新倒排列表、存储新的文档内容和元数据等。 更新版本号完成更新操作后Elasticsearch 会将文档的版本号加一。新的版本号会被存储在文档的元数据中也会被返回给用户。 复制更新为了保持数据的一致性Elasticsearch 会将包含新的版本号的更新操作复制到所有的副本分片。 3.4、数据复制 在 Elasticsearch 中为了提高数据的可用性和搜索性能每个文档都会被复制到一个或多个副本分片中。因此当更新倒排列表时也需要将这个更新操作复制到所有的副本分片。 以下是数据复制的基本步骤 发送复制请求当主分片完成了更新操作后它会将这个更新操作以请求的形式发送给所有的副本分片。 应用更新操作副本分片收到复制请求后会按照相同的步骤应用这个更新操作包括更新倒排列表、存储新的文档内容和元数据等。 确认更新副本分片完成更新操作后会向主分片发送一个确认响应。 等待所有确认主分片会等待所有副本分片的确认响应。当所有副本分片都确认更新操作成功后主分片才会向用户发送一个确认响应。 以上就是 Elasticsearch 更新倒排列表时的数据复制过程。需要注意的是这个过程可能会受到网络条件、副本分片的状态、集群的配置等因素的影响。 4、数据删除原理 4.1、数据删除原理 在 Elasticsearch 中数据的删除并不是立即从磁盘中移除数据而是通过标记的方式来实现的。 以下是 Elasticsearch 数据删除的基本步骤 标记删除当接收到一个删除请求时Elasticsearch 不会立即删除数据而是将对应的文档标记为已删除。更新倒排索引虽然文档被标记为已删除但是它的词项仍然存在于倒排索引中。因此Elasticsearch 会更新倒排索引将已删除文档的词项从倒排索引中移除。复制删除为了保持数据的一致性Elasticsearch 会将删除操作复制到所有的副本分片。确认删除当删除操作被成功应用到主分片和所有副本分片后Elasticsearch 会向用户发送一个确认响应。物理删除被标记为已删除的文档在一段时间后会在后台的合并Segment Merging过程中被物理删除。 以上就是 Elasticsearch 数据删除的基本原理。需要注意的是这个过程可能会受到网络条件、副本分片的状态、集群的配置等因素的影响。 4.2、删除数据的恢复 在 Elasticsearch 中一旦数据被删除就无法直接恢复。这是因为 Elasticsearch 的删除操作是不可逆的一旦一个文档被标记为已删除就无法取消这个标记。 然而你可以通过以下方式来尽可能地恢复被删除的数据 备份和恢复如果你有定期备份 Elasticsearch 数据你可以从备份中恢复被删除的数据。Elasticsearch 提供了 Snapshot 和 Restore 功能可以用来备份和恢复整个集群的数据。 重新索引如果被删除的数据仍然存在于原始数据源中你可以重新索引这些数据。这需要你有一个完整的数据源并且知道如何从数据源中提取和索引数据。 使用软删除在某些情况下你可能希望保留被删除的数据以便于以后恢复。这时你可以使用软删除Soft Delete功能。软删除并不会真正删除数据而是将数据标记为已删除。你可以在需要时取消这个标记从而恢复数据。 需要注意的是以上方法都有一定的限制并不能保证100%恢复被删除的数据。因此最好的策略还是定期备份数据以防止数据丢失。