宁波网站搭建,微信商城购物有保障吗,微信朋友圈推广,华东建设发展设计有限公司网站搜集日志#xff1b;日志处理器#xff1b;索引平台#xff1b;提供视图化界面#xff1b;客户端登录 日志收集者#xff1a;负责监控微服务的日志#xff0c;并记录 日志存储者#xff1a;接收日志#xff0c;写入 日志harbor#xff1a;负责去连接多个日志收集者日志处理器索引平台提供视图化界面客户端登录 日志收集者负责监控微服务的日志并记录 日志存储者接收日志写入 日志harbor负责去连接多个日志收集者将日志传输给存储者 1.ELK概述 ELK简介 ELK平台是一套完整的日志集中处理解决方案将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用 完成更强大的用户对日志的查询、排序、统计需求 ElasticSearch ●ElasticSearch是基于Lucene一个全文检索引擎的架构开发的分布式存储检索引擎用来存储各类日志。 Elasticsearch 是用 Java 开发的可通过 RESTful Web 接口让用户可以通过浏览器与Elasticsearch 通信 restful api get 获取下载搜索(文档、日志) post 创建 put 更新 delete 删除 es是一个实时的、分布式的可扩展的搜索引擎 Elasticsearch是一个实时的、分布式的可扩展的搜索引擎允许进行全文、结构化搜索它通常用于索引和搜索大容量的日志数据也可用于搜索许多不同类型的文档。 es 提供了一个分布式的存储搜索引擎用来存储各类日志 kiabana kiabana通常与 Elasticsearch 一起部署Kibana 是 Elasticsearch 的一个功能强大的数据可视化 DashboardKibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据可以用来汇总、分析和搜索重要数据。 Kibana 提供图形化的 web 界面汇总、分析和搜索重要数据 Logstash 作为数据收集引擎。它支持动态的从各种数据源搜集数据并对数据进行过滤、分析、丰富、统一格式等操作然后存储到用户指定的位置,一般会发送给 Elasticsearch。 Logstash 由 Ruby 语言编写运行在 Java 虚拟机JVM上是一款强大的数据处理工具 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能常用于日志处理。 数据收集引擎对数据进行(传输、格式处理、格式化数据输入和加工)过滤、统一格式然后发送给es input数据采集  filter数据过滤  output(数据输出) #可以添加的其它组件 Filebeat 轻量级的开源日志文件数据搜集器通常在需要采集数据的客户端安装 Filebeat并指定目录与日志格式Filebeat 就能快速收集数据并发送给 logstash 或是直接发给 Elasticsearch 存储性能上相比运行于 JVM 上的 logstash 优势明显是对它的替代。常应用于 EFLK 架构当中。 轻量级的开源日志文件数据收集器能快速收集数据发送给logstash或es应用于ELFK中 filebeat 结合 logstash 带来好处 1通过 Logstash 具有基于磁盘的自适应缓冲系统该系统将吸收传入的吞吐量从而减轻 Elasticsearch 持续写入数据的压力 2从其他数据源例如数据库S3对象存储或消息传递队列中提取 3将数据发送到多个目的地例如S3HDFSHadoop分布式文件系统或写入文件 4使用条件数据流逻辑组成更复杂的处理管道 缓存/消息队列redis、kafka、RabbitMQ等 可以对高并发日志数据进行流量削峰和缓冲这样的缓冲可以一定程度的保护数据不丢失还可以对整个架构进行应用解耦 Fluentd 是一个流行的开源数据收集器。由于 logstash 太重量级的缺点Logstash 性能低、资源消耗比较多等问题随后就有 Fluentd 的出现。相比较 logstashFluentd 更易用、资源消耗更少、性能更高在数据处理上更高效可靠受到企业欢迎成为 logstash 的一种替代方案常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。 在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据然后将数据传递到 Elasticsearch 集群在该集群中对其进行索引和存储。 fluentd开源的数据收集器比logstash易用资源消耗少性能高数据处理高效可靠应用于EFK架构k8s也常用EFK来收集日志 2.为什么要用ELK 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷性能安全性从而及时采取措施纠正错误。 往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理例如开源的syslog将所有服务器上的日志收集汇总。集中化管理日志后日志的统计和检索又成为一件比较麻烦的事情一般我们使用 grep、awk和wc等Linux命令能实现检索和统计但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。 一般大型系统是一个分布式部署的架构不同的服务模块部署在不同的服务器上问题出现时大部分情况需要根据问题暴露的关键信息定位到具体的服务器和服务模块构建一套集中式日志系统可以提高定位问题的效率。 单台机器使用grep、awk等工具就能实现简单的分析 百台机器就需要使用elk来集中式检索提高定位问题的效率 思路查看日志时执行一次错误(报错)的地方再看日志方便定位 企业了解业务架构数据流向 3.完整日志系统基本特征 收集能够采集多种来源的日志数据 传输能够稳定的把日志数据解析过滤并传输到存储系统 存储存储日志数据 分析支持 UI 分析 警告能够提供错误报告监控机制 总结logstash作为日志搜集器从数据源采集数据并对数据进行过滤格式化处理然后交由Elasticsearch存储kibana对日志进行可视化处理 input 数据采集 output 数据输出 filter 数据过滤 ELK工作原理 ELK 集群部署 es吃资源至少要2核4G npm工具用来打包前端的包 后端打包用 java -jar 启动微服务名称.jar/war 环境准备 Node1节点2C/4Gnode1/192.168.67.11 Elasticsearch Kibana Node2节点2C/4Gnode2/192.168.67.12 Elasticsearch Apache节点apache/192.168.67.10 Logstash Apachesystemctl stop firewalld setenforce 0 Elasticsearch部署在Node1、Node2节点上操作 做主机映射node1、2都做 echo 192.168.67.11 node1 /etc/hosts echo 192.168.67.12 node2 /etc/hosts 查看java版本 建议使用jdk java -version 部署Elasticsearch软件 1安装elasticsearch.rpm包 #上传安装包到/opt#解压 rpm -ivh elasticsearch-5.5.0.rpm 2加载服务 systemctl daemon-reload systemctl enable elasticsearch.service 3修改elasticsearch主配置文件 #先备份再改留后路 cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml --17--取消注释指定集群名字 cluster.name: my-elk-cluster --23--取消注释指定节点名字Node1节点为node1Node2节点为node2 node.name: node1 --33--取消注释指定数据存放路径 path.data: /data/elk_data --37--取消注释指定日志存放路径 path.logs: /var/log/elasticsearch/ --43--取消注释改为在启动的时候不锁定内存 bootstrap.memory_lock: false --55--取消注释设置监听地址0.0.0.0代表所有地址 network.host: 0.0.0.0 --59--取消注释ES 服务的默认监听端口为9200 http.port: 9200 --68--取消注释集群发现通过单播实现指定要发现的节点 node1、node2 discovery.zen.ping.unicast.hosts: [node1, node2] 集群名 节点名  数据存放路径 日志存放路径 不锁定内存 监听地址 端口 指定发现节点 查看一下修改的内容 grep -v ^# /etc/elasticsearch/elasticsearch.yml 4创建数据存放路径并授权 #创建目录 mkdir -p /data/elk_data #修改属主和属组进行授权 chown elasticsearch:elasticsearch /data/elk_data/ 5启动elasticsearch并查看是否成功开启 systemctl start elasticsearch.service netstat -antp | grep 9200 6查看节点信息 浏览器访问 http://192.168.67.11:9200 http://192.168.67.12:9200 查看节点 Node1、Node2 的信息 浏览器访问 http://192.168.67.11:9200/_cluster/health?pretty http://192.168.67.12:9200/_cluster/health?pretty 查看群集的健康情况可以看到 status 值为 green绿色 表示节点健康运行 绿色健康  数据和副本 全都没有问题 红色数据都不完整 黄色数据完整但副本有问题 #使用上述方式查看群集的状态对用户并不友好可以通过安装 Elasticsearch-head 插件可以更方便地管理群集。   安装 Elasticsearch-head 插件node1上做就行 Elasticsearch 在 5.0 版本后Elasticsearch-head 插件需要作为独立服务进行安装需要使用npm工具NodeJS的包管理工具安装。  安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。node是一个基于 Chrome V8 引擎的 JavaScript 运行环境。phantomjs是一个基于 webkit 的JavaScriptAPI可以理解为一个隐形的浏览器任何基于 webkit 浏览器做的事情它都可以做到 #解压jar包本次实验用不到 java -jar weifuwu.jar/war   1编译安装 node 安装编译环境 yum install gcc gcc-c make -y #上传软件包 node-v8.2.1.tar.gz 到/opt [rootnode1 opt]# rz -E rz waiting to receive. [rootnode1 opt]# ls elasticsearch-5.5.0.rpm node-v8.2.1.tar.gz rh解压node cd /opt tar zxvf node-v8.2.1.tar.gz 编译安装 cd node-v8.2.1/ ./configure #多用几个核加快编译速度看自己电脑来 make -j 4 make install 2安装 phantomjs前端的框架 上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt [rootnode1 ~]# cd /opt/ [rootnode1 opt]# rz -E rz waiting to receive. [rootnode1 opt]# ls elasticsearch-5.5.0.rpm node-v8.2.1.tar.gz rh node-v8.2.1 phantomjs-2.1.1-linux-x86_64.tar.bz2 解压 tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/-z有gzip属性的 -j有bz2属性的 -v显示所有过程 复制phantomjs文件到 /usr/local/bin下 cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin 3安装 Elasticsearch-head 数据可视化工具 #上传软件包 elasticsearch-head.tar.gz 到/opt [rootnode1 opt]# rz -E rz waiting to receive. [rootnode1 opt]# ls elasticsearch-5.5.0.rpm node-v8.2.1 phantomjs-2.1.1-linux-x86_64.tar.bz2 elasticsearch-head.tar.gz node-v8.2.1.tar.gz rh 解包安装 tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/ cd /usr/local/src/elasticsearch-head/ npm install 4修改 Elasticsearch 主配置文件 ---G o 末尾添加以下内容--- #开启跨域访问支持默认为 false http.cors.enabled: true #指定跨域访问允许的域名地址为所有 http.cors.allow-origin: * 重启es服务 systemctl restart elasticsearch 5启动 elasticsearch-head 服务 #必须在解压后的 elasticsearch-head 目录下启动服务进程会读取该目录下的 gruntfile.js 文件否则可能启动失败。 #到 elasticsearch-head 目录下启动服务 cd /usr/local/src/elasticsearch-head/ npm run start 回车即可退出 查看elasticsearch-head 监听的端口 netstat -natp |grep 9100 6通过 Elasticsearch-head 查看 Elasticsearch 信息 浏览器访问 http://192.168.67.11:9100/ 访问地址并连接群集。如果看到群集健康值为 green 绿色代表群集很健康。 #localhost该为本机地址 7插入索引 #通过命令插入一个测试索引索引为 index-demo类型为 test。 输出结果如下 curl -X PUT node1:9200/index-demo1/test/1?prettypretty -H content-Type: application/json -d {user:monor1,mesg:hello world} 浏览器访问 http://192.168.67.11:9100/ 查看索引信息可以看见索引默认被分片5个并且有一个副本。 点击“数据浏览”会发现在node1上创建的索引为 index-demo类型为 test 的相关信息  ELK Logstash 部署在 Apache 节点上操作 环境准备 #更改主机名 hostnamectl set-hostname apache bashsystemctl stop firewalld setenforce 0 安装Apahce服务httpd #安装epel源 yum -y install epel #安装httpd yum -y install httpd #查看状态 systemctl status httpd 安装Java环境 yum -y install java java -version 安装logstash #上传软件包 logstash-5.5.1.rpm 到/opt目录下 [rootapache ~]# cd /opt/ [rootapache opt]# ls rh [rootapache opt]# rz -E rz waiting to receive. [rootapache opt]# ls logstash-5.5.1.rpm rh 解压 cd /opt/ rpm -ivh logstash-5.5.1.rpm 开启服务并设置开机自启动 systemctl start logstash.service systemctl enable logstash.service 设置软连接 ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ 测试 Logstash Logstash 命令常用选项 -f通过这个选项可以指定 Logstash 的配置文件根据配置文件配置 Logstash 的输入和输出流。 -e从命令行中获取输入、输出后面跟着字符串该字符串可以被当作 Logstash 的配置如果是空则默认使用 stdin 作为输入stdout 作为输出 -t测试配置文件是否正确然后退出 定义输入和输出流 #输入采用标准输入输出采用标准输出类似管道 logstash -e input { stdin{} } output { stdout{} } #键入内容标准输入 www.baidu.com #输出结果标准输出 2024-04-10T15:34:34.188Z apache www.baidu.com  #键入内容标准输入 www.sina.com.cn #输出结果标准输出 2024-04-10T15:34:47.996Z apache www.sina.com.cn 执行 ctrlc 退出 #使用 rubydebug 输出详细格式显示codec 为一种编解码器 logstash -e input { stdin{} } output { stdout{ codecrubydebug } } www.baidu.com #使用 Logstash 将信息写入 Elasticsearch 中 logstash -e input { stdin{} } output { elasticsearch { hosts[192.168.67.11:9200] } }输入 输出 www.baidu.com www.sina.com.cn www.google.com //结果不在标准输出显示而是发送至 Elasticsearch 中 可浏览器访问 http://192.168.67.11:9100/ 查看索引信息和数据浏览。 http://192.168.67.11:9100/ 定义 logstash配置文件 Logstash 配置文件基本由三部分组成input、output 以及 filter可选根据需要选择使用。 input表示从数据源采集数据常见的数据源如Kafka、日志文件等 filter表示数据处理层包括对数据进行格式化处理、数据类型转换、数据过滤等支持正则表达式 output表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch #格式如下 input {...} filter {...} output {...} #在每个部分中也可以指定多个访问方式 例如若要指定两个日志来源文件则格式如下 input {file { path /var/log/messages type syslog}file { path /var/log/httpd/access.log type apache} } #修改 Logstash 配置文件让其收集系统日志/var/log/messages并将其输出到 elasticsearch 中 日志文件 让 Logstash 可以读取日志 chmod r /var/log/messages修改 Logstash 配置文件 vim /etc/logstash/conf.d/system.confinput {file {#指定要收集的日志的位置path /var/log/messages#自定义日志类型标识type system#表示从 开始处 收集start_position beginning} }output {#输出到 elasticsearchelasticsearch {#指定 elasticsearch 服务器的地址和端口hosts [192.168.67.11:9200]#指定输出到 elasticsearch 的索引格式index system-%{YYYY.MM.dd}} } 重启logstash systemctl restart logstash  浏览器访问 浏览器访问 http://192.168.67.11:9100/ 查看索引信息 http://192.168.67.11:9100/ 后续浏览器的图片是复制别人的IP地址和原先不一样你用原来的就好 ELK Kiabana 部署在 Node1 节点上操作 Node1节点2C/4Gnode1/192.168.67.11 Elasticsearch Kibana Node2节点2C/4Gnode2/192.168.67.12 Elasticsearch Apache节点apache/192.168.67.10 Logstash Apache1安装 Kiabana #上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录 [rootnode1 opt]# rz -E rz waiting to receive. [rootnode1 opt]# ls elasticsearch-5.5.0.rpm node-v8.2.1 rh elasticsearch-head.tar.gz node-v8.2.1.tar.gz kibana-5.5.1-x86_64.rpm phantomjs-2.1.1-linux-x86_64.tar.bz2解压 cd /opt/ rpm -ivh kibana-5.5.1-x86_64.rpm rpm 默认安装到/etc/ 目录下 -i install  安装 2设置 Kibana 的主配置文件 先备份再修改 修改kinaba.yml 配置文件 vim /etc/kibana/kibana.yml--2--取消注释Kiabana 服务的默认监听端口为5601 server.port: 5601 --7--取消注释设置 Kiabana 的监听地址0.0.0.0代表所有地址 server.host: 0.0.0.0 --21--取消注释设置和 Elasticsearch 建立连接的地址和端口 elasticsearch.url: http://192.168.67.11:9200  --30--取消注释设置在 elasticsearch 中添加.kibana索引 kibana.index: .kibana 监听端口 监听地址 和es建立连接 es中添加索引 过滤查看kibana.yml 刚才修改的内容 grep -v ^# /etc/kibana/kibana.yml | grep -nv ^$-v 取反 -n 显示行号 ^# 以# 号开头的行 ^$ 空行 3启动 Kibana 服务 #开启服务 systemctl start kibana.service #设置开机自启 systemctl enable kibana.service 查看5601端口状态 netstat -antp | grep 5601 4验证 Kibana 浏览器访问 http://192.168.67.11:5601 第一次登录需要添加一个 Elasticsearch 索引Index name or pattern //输入system-*            #在索引名中输入之前配置的 Output 前缀“system” 单击 “create” 按钮创建单击 “Discover” 按钮可查看图表信息及日志信息。 数据展示可以分类显示在“Available Fields”中的“host”然后单击 “add”按钮可以看到按照“host”筛选后的结果 5将apache的日志添加到es并通过kibana显示 将 Apache 服务器的日志访问的、错误的添加到 Elasticsearch 并通过 Kibana 显示 vim /etc/logstash/conf.d/apache_log.confinput {file {path /etc/httpd/logs/access_logtype accessstart_position beginning}file {path /etc/httpd/logs/error_logtype errorstart_position beginning} } output {if [type] access {elasticsearch {hosts [192.168.67.11:9200]index apache_access-%{YYYY.MM.dd}}}if [type] error {elasticsearch {hosts [192.168.67.11:9200]index apache_error-%{YYYY.MM.dd}}} }启动 cd /etc/logstash/conf.d/ /usr/share/logstash/bin/logstash -f apache_log.conf 浏览器访问 浏览器访问 http://192.168.67.11:9100 查看索引是否创建 http://192.168.67.11:9100 可以看到只有error的索引并没有access的索引我们需要访问一次apache后才会生成access的索引 访问apache http://192.168.67.10/ 浏览器访问 http://192.168.67.11:5601 登录 Kibana 点击点击Index Patterns 单击按钮添加索引; 在索引名中输入之前配置的 Output 前缀 apache_access-*并单击“Create”按钮; 注意如果你没访问过apache那么就不会生成access索引也就无法通过kibana查看 在用相同的方法添加 apache_error-*索引 选择“Discover”选项卡在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引 可以查看相应的图表及日志信息。