做废塑料生意那个网站最专业,wordpress主题 线条,湖南建设网站,什么网站可以做miR的差异表达图1.场景分析 现有需求需要将elasticsearch的备份至hdfs存储#xff0c;根据以上需求#xff0c;使用logstash按照天级别进行数据的同步 2.重难点 数据采集存在时间漂移问题#xff0c;数据保存时使用的是采集时间而不是数据生成时间采用webhdfs无法对文件大小进行设置解决… 1.场景分析 现有需求需要将elasticsearch的备份至hdfs存储根据以上需求使用logstash按照天级别进行数据的同步 2.重难点 数据采集存在时间漂移问题数据保存时使用的是采集时间而不是数据生成时间采用webhdfs无法对文件大小进行设置解决timestamp时区问题 3.问题解决 3.1 安装webhdfs插件 ./bin/logstash-plugin install logstash-output-webhdfs3.2 logstash配置 input{elasticsearch{hosts xxxx:9200index xxxx#自定义查询query {query: {range: {create_time:{gte: 1704668760000,lte: 1704668820000}}}}size 10000scroll 5mslices 1user xxxpassword xxxx} } filter {date { #增加timestamp并将记录产生时间赋值给timestamp时间处理默认是按照timestamp的时间match [create_time,UNIX_MS]timezone Asia/Shanghaitarget timestamp}#增加一个timestamp对timestamp时间增加8小时ruby { code event.set(timestamp, event.get(timestamp).time.localtime 8*60*60) } #将timestamp赋值给timestampruby { code event.set(timestamp,event.get(timestamp)) }#设置导入到hdfs的文件数量需要增加一个字段当然也可以用时间来控制文件数量但是只有固定的几个数字此处按照3个文件控制ruby { code event.set(sync_bucket, event.get(created)%3) }#删除上处增加的临时字段timestamp mutate { remove_field [timestamp] } } output {webhdfs {#高可哟集群需要配置standbystandby_host xxxstandby_port 9870host xxxxport 9870path /hadoop/test/part_day%{YYYYMMdd}/logstash-%{sync_bucket}.log#按照时间控制文件生成数量a是上下午的意思#path /hadoop/dm_dw/on/ods/ods_cc_es_initLogPro_di/part_day%{YYYYMMdd}/logstash-%{a}.loguser hadoopcompression gzipidle_flush_time 60codec jsonlines}}logstash时间处理官网https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html#plugins-filters-date-match 比较不错的logstash介绍网站https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/get_start/full_config.html