elk 日志管理_具有ELK的APIGEE API网关日志管理（弹性搜索，Logstash和Kibana）

elk 日志管理

在本文中，我们将看到如何使用 Elastic Search ， Logstash 和 Kibana 管理APIGEE API网关生成的日志 。下图突出显示了日志数据如何流经ELK堆栈以进行数据可视化和监视。

作为API网关的一部分，我们将使用MessageLogging策略在代理流，目标流和根据需要发布客户端流的情况下捕获API代理日志。从今天开始，MessageLogging策略支持syslog和基于文件的日志记录（仅适用于本地安装）。以下是MessageLogging策略配置，用于将日志发送到syslog服务器。

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<MessageLogging async="false" continueOnError="false" enabled="true" name="TestEnv-Message-Logging"><DisplayName>TestEnv Message Logging</DisplayName><Syslog><Message>{messageId}|{apiproxy.name}|{response.status.code}|{target.received.start.timestamp}|{target.received.end.timestamp}|{environment.name}|{client.received.start.timestamp}|{client.sent.end.timestamp}</Message><Host>127.0.0.1</Host><Port>514</Port></Syslog>
</MessageLogging>

现在，我们将看到logstash配置，以将数据从syslog提取到logstash。这里我没有给出设置ELK的步骤，因为那超出了范围。

input {file {path => "/Users/sjana/Documents/POC/ELK/APIGEE_LOG.log"start_position => "beginning"sincedb_path => "/dev/null"}
}
filter {csv {separator => "|"columns => ["MessageId","API_PROXY_NAME","RESPONSE_STATUS_CODE","TARGET_RECEIVED_START_TIME","TARGET_RECEIVED_END_TIME","ENVIRONMENT_NAME","CLIENT_RECEIVED_START_TIME","CLEINT_SENT_END_TIME"]remove_field => "message"}
}
output {elasticsearch {hosts => "http://localhost:9200"index => "apiproxies-log"}stdout {}
}

将syslog数据成功摄取到Logstash后，我们可以根据索引中的可用字段配置可视化。以下是为API代理响应状态代码创建的示例可视化。