Elasticsearch卸数和导入数据:使用ESM工具卸数以及导入数据到ES

发布时间:2026/7/24 13:37:00
Elasticsearch卸数和导入数据:使用ESM工具卸数以及导入数据到ES 导入数据到ES命令如下./migrator-linux-amd64-i./dump03.json-n elastic:dd333-w 12--sliced_scroll_size60-b 10--buffer_count50000-d http://16.1.2.99:9200你执行的这条命令是使用ESM (Elasticsearch Migration Tool)工具将本地dump03.json文件中的数据迁移到你指定的 Elasticsearch 集群中。migrator-linux-amd64是 ESM 工具在 Linux 系统下的可执行文件。ESM 是一个开源工具常用于 Elasticsearch 集群间的数据迁移也支持从本地文件导入数据。下面我们来逐一看下每个参数的作用命令参数详解-i ./dump03.json指定输入文件。这是 ESM 之前用-o命令导出的数据文件命令会读取它来进行迁移。-n elastic:dd333目标集群的认证信息。格式为用户名:密码用于访问你指定的 Elasticsearch 集群。-w 12工作进程数。代表同时运行 12 个并发任务来迁移数据数值越高迁移速度越快但也会消耗更多系统资源。--sliced_scroll_size60切片滚动大小。这是针对 Elasticsearch 5.0 以上版本的优化参数通过将数据分成多个切片并行读取来提升效率。官方建议该值大于 1你设置的 60 是一个常用的值。-b 10批量操作的大小。指每次_bulkAPI 请求发送的文档数量。--buffer_count50000缓冲区文档数量。指内存中缓冲的最大文档数达到此数值后会触发一次批量写入用于平衡内存使用和写入效率。-d http://16.1.2.99:9200目标集群地址。指定数据要迁移到的 Elasticsearch 集群的 IP 和端口。补充说明关于 ESM 工具数据量限制ESM 非常适合一次性、大规模的数据迁移。但与之前提到的 ES|QL 不同ESM 没有 10,000 行的硬性限制能够处理更大的数据集。性能影响数据迁移会消耗源端和目标端集群的资源。官方建议在业务低峰期进行操作并监控集群的 CPU 和内存指标。版本兼容ESM 的一个主要优势是支持不同版本Elasticsearch 之间的数据迁移。总的来说你正通过 ESM 工具利用 12 个并发进程以每次 10 条、缓冲区 50000 条的方式将本地dump03.json文件中的数据高效地导入到http://16.1.2.99:9200这个 Elasticsearch 集群中。从es中卸数查看命令如下./esm-s http://11.23.71:9200-x arm_ipt_system_2026-melastic:dd333-o./dump02.json--refresh这个命令是使用ESM (Elasticsearch Migration Tool)将Elasticsearch索引中的数据导出并保存到本地文件的。下面为你逐一解释命令中每个参数的含义./esm: 执行当前目录下的 ESM 工具程序。-s http://11.23.71:9200: 指定源SourceElasticsearch 服务器的地址。-x arm_ipt_system_2026: 指定要操作的索引Index名称。注意ESM通常一次只能处理一个索引。-m elastic:dd333: 为源 Elasticsearch 提供认证Auth信息格式为用户名:密码。-o./dump02.json: 指定输出文件Output file的路径和名称。数据会被导出到这个文件中。--refresh: 在迁移或导出操作完成后刷新Refresh索引使新数据对搜索可见。总结来说这个命令的作用是使用密码dd333以用户elastic的身份连接到地址为http://11.23.71:9200的 Elasticsearch 服务器将名为arm_ipt_system_2026的索引中的所有数据导出并保存到当前目录下的dump02.json文件中。操作完成后会刷新索引。导出的dump02.json文件之后可以通过 ESM 的-i参数导入到其他 Elasticsearch 集群中。