国内外创意网站欣赏,wordpress apache 伪静态,做网站那个公司比较好,wordpress博客页修改一、安装和下载 es官网下载地址 官方介绍:Logstash是开源的服务器端数据处理管道#xff0c;能够同时从多个来源采集数据#xff0c;转换数据#xff0c;然后将数据发送到您最喜欢的“存储库”中。(我们的存储库当然是 Elasticsearch。) 下载和ES一样的版本(很重要,必须这…一、安装和下载 es官网下载地址 官方介绍:Logstash是开源的服务器端数据处理管道能够同时从多个来源采集数据转换数据然后将数据发送到您最喜欢的“存储库”中。(我们的存储库当然是 Elasticsearch。) 下载和ES一样的版本(很重要,必须这么做) 解压到指定目录 二、启动与配置 测试启动命令 bin/logstash -e input {stdin {}}output { stdout {} } 1.准备下面内容 可以直接抄作业,自己手写的,亲测可用,暂时定时更新,后续会更新配置信息: jdbc.conf input {stdin {}jdbc {# 配置数据库信息jdbc_connection_string jdbc:mysql://172.18.8.61:3306/chengqu_eplatform?useunicodetruecharacterEncodingUTF-8serverlimezoneAsia/shanghai# 驱动包jdbc_driver_class com.mysql.cj.jdbc.Driver# 用户名jdbc_user ****# 密码jdbc_password ****# 是否需要分页jdbc_paging_enabled true# 分页大小jdbc_page_size 50000# 时区jdbc_default_timezone Asia/Shanghai# 执行 sql 语句文件位置statement_filepath /home/local/escolony/logstash-7.4.2/jdbc.sql# 定时字段 各字段含义(由左至右)分、吋、天、月、年全部为*默认含义为每分钟都更新schedule * * * * *# 是否将 sql 中 column 名称转小写(是否转驼峰)lowercase_column_names false} }filter {json {source messageremove_field [message]} }output {elasticsearch {# 输出位置hosts [127.0.0.1:9200]# port 9200# protocol http# 索引名称index shop# 文档 id%{id}意思是取査询出来的id的值并将其映射到shop的id字段中# 文档 id,%{goodsId}如果是别名意思是取查询出来的goodsId的值并将其映射到shop的 id字段中document_id %{id}# cluster logstash-elasticsearch}stdout {codec json_lines} }jdbc.sql select * from goods 把准备好的mysql驱动包放到/logstash-7.4.2/logstash-core/lib/jars/,另外两个文件放到/logstash-7.4.2/下面 执行之前,测试启动(加-t),检查配置文件是否编写正确(注意中英文,大小写,空格啥的,配置文件要求很高,不能出错) bin/logstash -f /home/local/escolony/logstash-7.4.2/jdbc.conf -t 2.创建新的索引 curl -X PUT http://localhost:9200/shop -H Content-Type:application/json -d{settings: {number_of_shards: 5,number_of_replicas: 1} } 3.分词 curl -XPOST http://localhost:9200/shop/_mapping -H Content-Type:application/json -d{properties:{t_name:{type: text,analyzer:ik_max_word,search_analyzer:ik_max_word}} } 三、关联mysql导入数据 1.连接mysql导数据 测试成功后,建立索引完成(也可以先建),现在就可以从mysql里面导数据了 实际使用中,一般打开了logstash以后就不要动了,每分钟会去数据库取数据,除非你的sql语句发生变化,不然开着不用管就行 启动logstash bin/logstash -f /home/local/escolony/logstash-7.4.2/jdbc.conf 获取数据成功 刷新下索引,就有了 写在最后 注意配置文件,要求很高,不能出错,需要的命令我都粘上面了,后续会改为实时更新 下一节开始用代码操作ES