Linux grep技巧 结合awk查询

目录

  • 一. 前提
    • 1.1 数据准备
    • 1.2 数据说明
  • 二. 查询
    • 2.1 统计每个加盟店搜索的次数

一. 前提

1.1 数据准备

⏹file1.log

140 2024/07/08 12:35:01.547 c1server2	5485	[ERROR]	SPLREQUEST	seqNo=11459,eventController=PMT.payinfoforprc.test.search,oldest_data_search=2
110	2024/07/08 12:34:56.457 c1server1	5892	[INFO]	MYCODE2005	测试方法被调用。(method=selectSvc_Test_Id param cpId=16xx2 status=OK)	userid=adminUser
150 2024/07/08 12:35:02.231 c1server3	5634	[INFO]	SPLREQUEST	seqNo=11460,eventController=PMT.payinfoforprc.test.search,oldest_data_search=1
120	2024/07/08 12:34:57.235 c1server1	5675	[INFO]	MYCODE2005	测试方法被调用。(method=selectSvc_Test_Id param cpId=16xx2 status=OK)	userid=adminUser
160 2024/07/08 12:36:22.534 c1server3	2564	[WARN]	SPLREQUEST	seqNo=11461,eventController=PMT.payinfoforprc.test.search,oldest_data_search=1
130	2024/07/08 12:34:58.546 c1server2	6354	[INFO]	MYCODE2005	测试方法被调用。(method=selectSvc_Test_Id param cpId=16xx2 status=OK)	userid=adminUser
110 2024/07/08 12:34:56.456 c1server1	5892	[INFO]	SPLREQUEST	seqNo=11456,eventController=PMT.payinfoforprc.test.search,oldest_data_search=1
140	2024/07/08 12:35:01.548 c1server2	5485	[ERROR]	MYCODE2005	测试方法被调用。(method=selectSvc_Test_Id param cpId=45xx2 status=OK)	userid=adminUser
120 2024/07/08 12:34:57.234 c1server1	5675	[INFO]	SPLREQUEST	seqNo=11457,eventController=PMT.payinfoforprc.test.search,oldest_data_search=2
150	2024/07/08 12:35:02.232 c1server3	5634	[INFO]	MYCODE2005	测试方法被调用。(method=selectSvc_Test_Id param cpId=45xx2 status=OK)	userid=adminUser
130 2024/07/08 12:34:58.545 c1server2	6354	[INFO]	SPLREQUEST	seqNo=11458,eventController=PMT.payinfoforprc.test.search,oldest_data_search=1
160	2024/07/08 12:36:22.535 c1server3	2564	[WARN]	MYCODE2005	测试方法被调用。(method=selectSvc_Test_Id param cpId=45xx2 status=OK)	userid=adminUser

⏹file2.log

210 2024/07/08 12:34:56.456 c1server1	5892	[INFO]	SPLREQUEST	seqNo=21456,eventController=PMT.payinfoforprc.test.search,oldest_data_search=1
240	2024/07/08 12:35:01.548 c1server2	5485	[ERROR]	MYCODE2005	测试方法被调用。(method=selectSvc_Test_Id param cpId=89xx2 status=OK)	userid=adminUser
260 2024/07/08 12:34:57.234 c1server1	5675	[INFO]	SPLREQUEST	seqNo=21457,eventController=PMT.payinfoforprc.test.search,oldest_data_search=2
210	2024/07/08 12:35:02.232 c1server3	5634	[INFO]	MYCODE2005	测试方法被调用。(method=selectSvc_Test_Id param cpId=16xx2 status=OK)	userid=adminUser
240 2024/07/08 12:34:58.545 c1server2	6354	[INFO]	SPLREQUEST	seqNo=21458,eventController=PMT.payinfoforprc.test.search,oldest_data_search=1
260	2024/07/08 12:36:22.535 c1server3	2564	[WARN]	MYCODE2005	测试方法被调用。(method=selectSvc_Test_Id param cpId=89xx2 status=OK)	userid=adminUser

1.2 数据说明

  • 第一列用户存储线程号，一个完整的用户请求要分为很多步骤，每一个步骤的线程号都是相同的
    但是由于多个用户同时访问服务器，因此一个请求所产生的各个步骤的日志并不是连续打印，而是错落间隔在日志的各部分中
    我们可以通过线程号，来将一个请求的完整内容抽取出来
  • 第二列存储时间
  • 第三列存储服务器名称，一个系统可能有多个服务器
  • eventController：功能的名称
  • cpId：加盟店ID

二. 查询

  • 查询PMT.payinfoforprc.test.search功能
  • 然后通过oldest_data_search=1进一步过滤
  • 然后通过awk '{print $1}'获取出第一列(awk默认通过空格分列)
    • ./file1.log:150
    • ./file1.log:160
  • 再通过awk -F ":" '{print "^"$2 " " $1}'构造查询key
    • ^150 ./file1.log
    • ^160 ./file1.log
  • 再通过xargs -L 1 grep -a 命令，从前面的命令中读取一行输入，并将其作为参数传递给下一个命令grep -a 构造查询命令
    • grep -a ^150 ./file1.log
    • grep -a ^160 ./file1.log
  • 最后再从查询的结果中，通过grep -E "SPLREQUEST|MYCODE2005"进一步筛选
grep -a "PMT.payinfoforprc.test.search" ./file*.log | \
grep -a "oldest_data_search=1" | \
awk '{print $1}' | \
awk -F ":" '{print "^"$2 " " $1}' | \
xargs -L 1 grep -a | \
grep -E "SPLREQUEST|MYCODE2005"

2.1 统计每个加盟店搜索的次数

⏹完整命令

  • cpId=[^ ]*
    • 查询不为空的cpId
  • awk '{$1=$1; print $0}'
    • 清除行中的多余空格。通过重新格式化行
    • awk 会用单个空格替换多个连续的空格
grep -a "PMT.payinfoforprc.test.search" ./file*.log | \
grep -a "oldest_data_search=1" | \
awk '{print $1}' | \
awk -F ":" '{print "^"$2 " " $1}' | \
xargs -L 1 grep -a | \
grep -E "MYCODE2005" | \
grep -o -e "param cpId=[^ ]*" | \
uniq -c | \
awk '{$1=$1; print $0}' | \
sort
  • 查询拆解1
$ grep -a "PMT.payinfoforprc.test.search" ./file*.log | \
> grep -a "oldest_data_search=1" | \
> awk '{print $1}'./file1.log:150
./file1.log:160
./file1.log:110
./file1.log:130
./file2.log:210
./file2.log:240
  • 查询拆解2
$ grep -a "PMT.payinfoforprc.test.search" ./file*.log | \
> grep -a "oldest_data_search=1" | \
> awk '{print $1}' | \
> awk -F ":" '{print "^"$2 " " $1}'^150 ./file1.log
^160 ./file1.log
^110 ./file1.log
^130 ./file1.log
^210 ./file2.log
^240 ./file2.log
  • 查询拆解3
    ※为方便打印展示效果，将grep -a替换为echo 'grep -a'
$ grep -a "PMT.payinfoforprc.test.search" ./file*.log | \
> grep -a "oldest_data_search=1" | \
> awk '{print $1}' | \
> awk -F ":" '{print "^"$2 " " $1}' | \
> xargs -L 1 echo 'grep -a'grep -a ^150 ./file1.log
grep -a ^160 ./file1.log
grep -a ^110 ./file1.log
grep -a ^130 ./file1.log
grep -a ^210 ./file2.log
grep -a ^240 ./file2.log
  • 查询拆解4
$ grep -a "PMT.payinfoforprc.test.search" ./file*.log | \
> grep -a "oldest_data_search=1" | \
> awk '{print $1}' | \
> awk -F ":" '{print "^"$2 " " $1}' | \
> xargs -L 1 grep -a | \
> grep -E "MYCODE2005"150     2024/07/08 12:35:02.232 c1server3       5634    [INFO]  MYCODE2005      测试方法被调用。(method=selectSvc_Test_Id param cpId=45xx2 status=OK)    userid=adminUser
160     2024/07/08 12:36:22.535 c1server3       2564    [WARN]  MYCODE2005      测试方法被调用。(method=selectSvc_Test_Id param cpId=45xx2 status=OK)    userid=adminUser
110     2024/07/08 12:34:56.457 c1server1       5892    [INFO]  MYCODE2005      测试方法被调用。(method=selectSvc_Test_Id param cpId=16xx2 status=OK)    userid=adminUser
130     2024/07/08 12:34:58.546 c1server2       6354    [INFO]  MYCODE2005      测试方法被调用。(method=selectSvc_Test_Id param cpId=16xx2 status=OK)    userid=adminUser
210     2024/07/08 12:35:02.232 c1server3       5634    [INFO]  MYCODE2005      测试方法被调用。(method=selectSvc_Test_Id param cpId=16xx2 status=OK)    userid=adminUser
240     2024/07/08 12:35:01.548 c1server2       5485    [ERROR] MYCODE2005      测试方法被调用。(method=selectSvc_Test_Id param cpId=89xx2 status=OK)    userid=adminUser
  • 查询拆解5
$ grep -a "PMT.payinfoforprc.test.search" ./file*.log | \
> grep -a "oldest_data_search=1" | \
> awk '{print $1}' | \
> awk -F ":" '{print "^"$2 " " $1}' | \
> xargs -L 1 grep -a | \
> grep -E "MYCODE2005" | \
> grep -o -e "param cpId=[^ ]*"param cpId=45xx2
param cpId=45xx2
param cpId=16xx2
param cpId=16xx2
param cpId=16xx2
param cpId=89xx2
  • 查询拆解6
$ grep -a "PMT.payinfoforprc.test.search" ./file*.log | \
> grep -a "oldest_data_search=1" | \
> awk '{print $1}' | \
> awk -F ":" '{print "^"$2 " " $1}' | \
> xargs -L 1 grep -a | \
> grep -E "MYCODE2005" | \
> grep -o -e "param cpId=[^ ]*" | \
> uniq -c2 param cpId=45xx23 param cpId=16xx21 param cpId=89xx2
  • 查询拆解7
$ grep -a "PMT.payinfoforprc.test.search" ./file*.log | \
> grep -a "oldest_data_search=1" | \
> awk '{print $1}' | \
> awk -F ":" '{print "^"$2 " " $1}' | \
> xargs -L 1 grep -a | \
> grep -E "MYCODE2005" | \
> grep -o -e "param cpId=[^ ]*" | \
> uniq -c | \
> awk '{$1=$1; print $0}'2 param cpId=45xx2
3 param cpId=16xx2
1 param cpId=89xx2

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/43960.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

FPGA 项目菜单功能比较

FPGA 项目菜单功能比较

为了帮助您更好地理解每个FPGA功能模块的实用场合、区别和特点，以下是详细的比较： 功能模块实用场合区别特点FPGA I/O自动控制系统、数据采集系统直接与FPGA板卡上的物理端口交互，配置和使用外部I/O设备灵活配置输入输出端口，支持…
阅读更多...
Navicat 17 新特性 | 原生支持 Linux ARM 平台以及银河麒麟和统信操作系统

Navicat 17 新特性 | 原生支持 Linux ARM 平台以及银河麒麟和统信操作系统

随着 Navicat 17 的发布，引起了业界的广泛共鸣与热烈讨论。此前，我们深入探讨了Navicat 17的多项新特性，涵盖《模型设计：引领创新，优化升级》，《高效的查询与配置》以及《用户界面交互：流畅体验…
阅读更多...
Day62 单调栈part01

Day62 单调栈part01

LC739每日温度(未掌握) 暴力解法：两层for循环，时间复杂度O(n^2)，会超时未掌握原因分析：只想到了从栈顶到栈底是递减的情况，忽略了从栈顶到栈底是递增的情况 因为需要找到一个元素右边第一个更大元素，只有…
阅读更多...
寂静孤独的404页面源码

寂静孤独的404页面源码

寂静孤独的404页面源码，灯光闪烁动态效果，源码由HTMLCSSJS组成，记事本打开源码文件可以进行内容文字之类的修改，双击html文件可以本地运行效果，也可以上传到服务器里面，重定向这个界面 寂静孤独的404页面源…
阅读更多...
【深度学习】PyTorch深度学习笔记01-Overview

【深度学习】PyTorch深度学习笔记01-Overview

参考学习：B站视频【《PyTorch深度学习实践》完结合集】-刘二大人 ------------------------------------------------------------------------------------------------------- 1. 基于规则的深度学习 2. 经典的机器学习——手动提取一些简单的特征 3. 表示学习…
阅读更多...
js 回调函数如何追加参数

js 回调函数如何追加参数

先来点逼格的，使用高阶函数如何处理。 // 原始的回调函数 function originalCallback(a, b) {console.log(a, b); // 输出: 10, 20 }// 高阶函数，用于追加参数并调用原始回调函数 function appendArgs(callback, ...additionalArgs) {return function(.…
阅读更多...
深入理解 LXC (Linux Containers)

深入理解 LXC (Linux Containers)

目录 引言LXC 的定义LXC 的架构LXC 的工作原理LXC 的应用场景LXC 在 CentOS 上的常见命令实验场景模拟总结 1. 引言 在现代 IT 基础设施中，容器技术已经成为一种重要的应用和部署方式。与虚拟机相比，容器具有更高的效率、更轻量的特性和更快的启动速度…
阅读更多...
AI应用观：从“卷模型”到“卷应用”的时代跨越

AI应用观：从“卷模型”到“卷应用”的时代跨越

在2024年世界人工智能大会的舞台上，百度创始人李彦宏的发言如同一股清流，为当前如火如荼的人工智能领域注入了深刻的思考。他提出的“大家不要卷模型，要卷应用”的观点，不仅是对当前AI技术发展趋势的精准洞察，更是对未…
阅读更多...
【PB案例学习笔记】-30动态打开窗口

【PB案例学习笔记】-30动态打开窗口

写在前面 这是PB案例学习笔记系列文章的第30篇，该系列文章适合具有一定PB基础的读者。 通过一个个由浅入深的编程实战案例学习，提高编程技巧，以保证小伙伴们能应付公司的各种开发需求。 文章中设计到的源码，小凡都上传到了gite…
阅读更多...
Mosh｜内连接、外连接、左连接、右连接(未完）

Mosh｜内连接、外连接、左连接、右连接(未完）

下图取自菜鸟教程，侵权删～ 一、内连接：Inner Joins 模版：SELECT * FROM A JOIN B ON 条件 含义：返回A与B的交集，列为AB列之和 练习：将order_items表和products表连接，返回产品id和…
阅读更多...
Linux C++ 046-设计模式之策略模式

Linux C++ 046-设计模式之策略模式

Linux C 046-设计模式之策略模式 本节关键字：Linux、C、设计模式、策略模式 相关库函数： 概念 策略模式定义了一系列的算法，并将每一个算法封装起来，而且使它们还可以相互替换。策略模式让算法独立于使用它的客户而独立变化。&…
阅读更多...
【普中】基于51单片机的矩阵电子密码锁LCD1602液晶显示 proteus仿真+程序+设计报告+讲解视频

【普中】基于51单片机的矩阵电子密码锁LCD1602液晶显示 proteus仿真+程序+设计报告+讲解视频

【普中】基于51单片机的矩阵电子密码锁LCD1602液晶显示设计 1.主要功能：讲解视频：2.仿真3. 程序代码4. 设计报告5. 设计资料内容清单&&下载链接资料下载链接： 【普中】基于51单片机的矩阵电子密码锁LCD1602液晶显示设计 ( proteus仿真…
阅读更多...
debian或Ubuntu中开启ssh允许root远程ssh登录的方法

debian或Ubuntu中开启ssh允许root远程ssh登录的方法

debian或Ubuntu中开启ssh允许root远程ssh登录的方法 前因： 因开发需要，需要设置开发板的ssh远程连接。 操作步骤如下： 安装openssh-server sudo apt install openssh-server设置root用户密码： sudo passwd root允许root用户…
阅读更多...
Java继承练习(4) (2024.7.9)

Java继承练习(4) (2024.7.9)

人类 package Work20240709;public class Person {String name;String gender;int age;String nationality;public Person() {}public Person(String name, String gender, int age, String nationality) {this.name name;this.gender gender;this.age age;this.nationalit…
阅读更多...
Androidstudio开发，天气预报APP

Androidstudio开发，天气预报APP

1.项目功能思维导图 2. 项目涉及到的技术点 数据来源：和风天气API使用okhttp网络请求框架获取api数据使用gson库解析json数据使用RecyclerViewadapter实现未来7天列表展示和天气指数使用PopupMenu 实现弹出选项框使用动画定时器实现欢迎页倒计时和logo动画使用Text…
阅读更多...
使用 Vue 3 实现打字机效果

使用 Vue 3 实现打字机效果

在现代前端开发中，添加一些视觉效果可以提升用户体验。其中，打字机效果是一种常见且吸引人的效果，可以用于展示动态文本。本文将介绍如何在 Vue 3 中实现打字机效果。 实现步骤 1. 创建自定义指令 我们首先创建一个自定义指令 v-typewriter…
阅读更多...
SVN 标签的使用与优势

SVN 标签的使用与优势

SVN 标签的使用与优势 1. 引言 在软件开发过程中，版本控制是一个至关重要的环节。它帮助开发团队跟踪代码的变化，协作开发，并管理项目的不同版本。Subversion（SVN）作为一种流行的版本控制系统，提供了强大的标签功能，以支持软件开发的不同阶段。本文将详细介绍SVN标签的…
阅读更多...
web 网络安全

web 网络安全

Web网络安全是网络安全的一个重要分支，专注于保护Web应用程序、服务和网站免受各种网络威胁。学习Web网络安全涉及多个层面的知识和技能，以下是一些主要的学习领域： 一、XSS攻击 全称:：Cross Site Script （跨站脚本&a…
阅读更多...
从零手写实现 nginx-25-directive map 条件判断指令

从零手写实现 nginx-25-directive map 条件判断指令

前言 大家好，我是老马。很高兴遇到你。 我们为 java 开发者实现了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何处理的，可以参考我的另一个项目： 手写从零实现简易版 tomcat minicat 手写 nginx 系列 …
阅读更多...
在vue3中，手写父子关联，勾选子级父级关联，取消只取消当前子级，父节点不动

在vue3中，手写父子关联，勾选子级父级关联，取消只取消当前子级，父节点不动

树形控件选择子级勾选父级，以及所有子级， 取消勾选仅取消子级 在项目中，可能会遇到这种场景，比如权限配置的时候，页面权限和菜单权限以tree的形式来配置，而且不用半选，菜单在页面的下面&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023