- 当前位置：首页 >应用开发 >用 awk + grep + sed 搞定日志处理神器组合拳
用 awk + grep + sed 搞定日志处理神器组合拳
发布时间：2025-11-05 09:24:24 来源：云智核 作者：应用开发
今天分享一下三剑客：grep,定日sed，awk。志处
一、理神Linux三剑客简介
Linux三剑客指的器组是grep、sed和awk这三个强大的合拳文本处理工具。
grep偏向于文本搜索，定日sed专注于文本编辑操作，志处awk则提供更精细的理神过滤处理功能。
它们各自具有独特的器组功能和优势，能够满足不同的合拳文本处理需求。掌握这些工具的定日使用，可以极大提高工作和学习的志处效率。
二、理神grep：搜索之剑详解
1. grep简介grep 是器组一个强大的命令行工具，用于在文本文件中搜索指定的合拳模式。它能使用特定模式匹配（包括正则表达式）搜索文本，并默认输出匹配行。
需要注意的是，grep会将匹配到的整行输出，而awk可以指定某一行某一列进行输出。服务器租用
主要应用场景有：日志分析和文本处理，grep可以从日志文件中找出错误信息或特定事件，也用于从大量文本文件中提取特定信息
2. 工作原理grep进行文本搜索时主要进行以下三步：
输入处理：grep 从指定的文件或标准输入中逐行读取数据，检查每行是否与用户提供的模式匹配。模式匹配：grep 采用正则表达式进行模式匹配，根据规则检查每一行是否符合条件。输出结果：当某行匹配成功时，grep 会将该行输出3. 语法和可选项(1) 基本语法
复制grep [options] pattern [file...]1. options：可选参数，用来控制搜索的方式、输出格式等，下面会进行详细讲解pattern：必填项，是要搜索的模式或正则表达式，用于匹配文件中的内容file： 是要搜索的文件名或目录，可以是多个(2) 可选项参数
选项
描述
-E
使用扩展正则表达式，grep -E 等同于egrep
-i
忽略大小写
-r
递归搜索某个目录下所有文件
-v
反向匹配，输出不匹配的行
-n
显示行号
-c
显示匹配行的总数，而不是打印匹配行。
-A n
输出匹配的后n行
-B n
输出匹配的免费信息发布网前n行
-C n
打印匹配前后的n行
-L
列出未包含匹配项的文件名
-o
只显示匹配到的字符串本身，而不是整个行
-w
精确匹配整词，防止匹配到包含该单词的部分词汇
4. 实战操作（1）-i选项：忽略大小写
复制# 打印处日志文件中所有包含error字符的，不论大小写 grep -i error /var/log/message1.2.（2）-r选项：递归查询
复制# 输出/etc/nginx/conf.d目录所有关于www字符的行，常用查找域名或端口信息 grep -ir /etc/nginx/conf.d1.2.（3）-E选项：支持扩展正则表达式 （4）-v选项：反向匹配
复制# 过滤某个文件的所有空行和带#号注释的行 grep -Ev ^#|^$ /etc/nginx.conf1.2.（4）-n选项：显示行号
复制# 找出包含root和ssh字符的行号 grep -En root|ssh /etc/passwd1.2.（5）-l选项：查找文件名
复制# 查找文件包含root字符的文件名 grep -l root *1.2.（6）-A选项：查找后面几个字符
（7）-B选线：查找前面几个字符
（8）-C选择：查找前后几个字符
复制# 查找有错误的后面3行信息 grep -iA 3 error /var/log/messages # 查找有错误的前面3行信息 grep -iB 3 error /var/log/messages # 查找有错误的上下3行信息 grep -iC 3 error /var/log/messages1.2.3.4.5.6.三、sed：编辑之剑详解
1. sed简介sed是编辑之剑：一个流编辑器，它允许用户在文件中进行文本替换、删除、添加等操作。sed支持基础和扩展的正则表达式，并提供了丰富的文本处理功能，如替换命令、地址定界等。sed的强大之处在于它可以非交互式地编辑文件或标准输入，使其成为自动化文本处理的亿华云理想选择。
应用场景有：批量替换，文本处理，通过sed命令可以快速替换文件中的特定字符串，如配置文件的修改；在shell脚本中结合其他命令如grep、awk等，实现复杂的文本处理任务
2. 工作原理sed的工作流程包括读取、执行和显示三个主要过程。
它会从输入流中读取一行内容并存储到临时缓冲区（模式空间），然后根据设定的命令在模式空间中执行编辑操作，最后将处理后的内容输出到标准输出
3. 语法、选项和动作介绍（1）基本语法
复制sed [option] sed command file1.（2）常用选项
选项
描述
-n
只打印匹配处理的行，不修改文件
-e
允许多个编辑命令同时执行
-f
从脚本文件中读取并执行sed命令
-i
直接修改文件内容
-r
支持扩展正则表达式
（3）常用动作
动作
描述
p
打印模式空间的内容
a
在当前行后追加内容
i
在当前行前插入内容
c
用新文本替换模式空间中的内容
d
删除模式空间中的内容
s
替换内容
4. 实战操作sed可以做增删改查操作，接下来分别演示。
复制/etc/passwd文件到/opt下，以/opt/passwd来做测试操作
复制cp /etc/passwd /opt/passwd1.（1）增加操作
主要有两个动作指令：a是追加内容到指定行后面，i是插入内容到指定行前面
复制# 在第2行后面追加内容 # 注意：这样只是打印出来，并没有修改文件里面的内容，如果要修改，需加-i参数 sed 1a 123 /opt/passwd # 在第一行前面插入内容，加-i后文件真实改变 sed -i 1i 456 /opt/passwd # 在最后一行后面追加内容 sed $a 789 /opt/passwd1.2.3.4.5.6.7.8.9.（2）删除操作
复制# 删除第一行 sed 1d /opt/passwd # 删除2-4行 sed 2,4d /opt/passwd # 将匹配的行进行删除 sed /\/bin\/bash/d /opt/passwd # 删除以root开头的行 sed /^root/d /opt/passwd # 删除文中的空行和注释 sed -e /^#/d -e /^$/d /opt/passwd1.2.3.4.5.6.7.8.9.10.11.12.13.14.（3）更改操作
s是用于替换操作的，日常中最为常用，配合g使用，可以替换全部匹配到的内容
复制# 替换常用模板，也可以将#改为/ sed -i s#目标内容#替换内容#g file # 常用于修改selinux的命令 sed -i sy#=enforcing#=disabled#g /etc/selinux/config # 将nologin替换成login sed s/nologin/login/g /opt/passwd # 以mail开头的行，将该行所有的mail替换为gmail sed /^mail/{s#mail#gmail#g} /opt/passwd1.2.3.4.5.6.7.8.9.10.11.（4）查找操作
复制# 只打印第三行内容 sed -n 3p /opt/passwd1.2.四、awk：过滤之剑
1. awk简介awk是一个编程语言工具，主要用于处理数据和生成报告。它能够按行和列分析文本文件，并对符合条件的数据执行操作，数据可以来自标准输入也可以是管道或文件。awk特别适合于处理结构化的文本数据，如日志文件、CSV文件等
2. 工作原理awk的工作原理可以分为三个主要部分：BEGIN块、主循环体和END块。
BEGIN块中的代码在处理任何输入行之前执行，且只执行一次。它通常用于初始化变量或打印表头信息；
主循环体是awk的核心部分，逐行读取输入文件并对每行进行处理。它会按指定的分隔符（默认为空格或制表符）将每行分割成字段，并存入内建变量中；
END块中的代码在所有输入行处理完毕后执行，且只执行一次。常用于输出最终结果或总结信息
注意：在使用awk时不一定要每个部分都出现，根据实际处理需求来使用哪个部分。
具体的工作流程分为以下三步：
读（Read）：从文件、管道或标准输入中读入一行然后把它存放到内存中执行（Execute）：对每一行数据，根据 AWK 命令按顺序执行。默认情况是处理每一行数据，也可以指定模式重复（Repeat）：一直重复上述两个过程直到文件结束3. 语法参数（1）基础语法 awk指令是由模式，动作，或者模式和动作的组合组成。
复制awk [options] pattern {action} file1.（2）可选项
选项
描述
-F <分隔符>
用于指定输入字段的分隔符，默认是空格，可以使用逗号，冒号等
-v <变量名>=<值>
用于定义一个变量并赋值
-f <脚本文件>
用于从指定的脚本文件中读取awk命令，适用于awk指令较复杂场景
-r <扩展正则表达式>
用于启用扩展正则表达式模式匹配功能
-s
用于禁用自动换行功能，使得awk在输出时不会自动换行
-c <命令>
用于执行单个awk命令而不是从文件读取
（3）内置变量
变量
描述
NF
表示当前记录的字段数量
NR
表示已读的记录数（即行号）
FS
表示输入字段分隔符，默认为空格或制表符
OFS
表示输出字段分隔符
RS
表示输入记录分隔符，默认为换行符
$0
当前处理的行的整行内容
$n
当前处理行的第n个字段（第n列）
4. 实战操作awk操作也是用/opt/passwd文件演示
（1）输出全文内容并附带行号
复制awk {print NR,$0} /opt/passwd1.（2）只打印第五行
复制awk NR==2{print}1.（3）以： 为分隔符，打印第一列
复制awk -F ":" {print $1} /opt/passwd1.（4）以： 为分隔符，打印第2列和最后一列
复制awk -F ":" {print $2,$NF} /opt/passwd1.（5）打印以：和/ 为分隔符且包含root的行的列数
复制awk -F ":/" /root/{print NF} /opt/passwd1.（6）打印以：为分隔符包含root的行数和整行内容
复制awk -F ":/" /root/{print NR,$0} /opt/passwd1.（7）格式化定制
复制[root@localhost ~]# awk -F ":" {print "第"NR"行有"NF"列"} /opt/passwd 第1行有1列 第2行有7列 第3行有7列 第4行有7列1.2.3.4.5.生产环境BEGIN和END部分并不怎么常用，就不展开举例了
五、总结
Linux三剑客是任何Linux用户或系统管理员必须掌握的工具。无论是简单的文本搜索、数据提取还是复杂的文本处理任务，这些工具都能提供强大的支持。
- 上一篇：首先安装VNC复制代码代码如下:# apt-get install vnc4server 复制代码代码如下:root@node1:~/.vnc# vncpasswd 复制代码代码如下:root@node1:~# vncserver :1 复制代码代码如下:root@node1:~# ps -ef | grep vnc 复制代码代码如下:vncserver -geometry 1280×800 -alwaysshared :1 复制代码代码如下:vim .vnc/xstartup(假设你此时在用户根目录下) 复制代码代码如下:vncserver -kill :1其中，:1表示的创建远程桌面时的桌面号。修改分辨率：复制代码代码如下:vncserver -geometry 1280×800客户端连接客户端安装vncview，然后连接。输入IP的时候，输入 IP:NO，即ip地址加会话号，刚才开户的是1，比如这里就输入 1.1.1.1：1然后输入完密码，就可以连接了因为没有桌面环境，所以，我们需要安装一个，这里使用Xface
- 下一篇：中兴努比亚Z17的全面评测（性能强劲，拍照出色，续航能力优秀）
- EOS600D——摄影的新选择（一款出色的入门级单反相机）
- OpenStack如何管理项目和用户
- 人工智能威胁分析增强风险管理
- NSA为企业应用零信任定义了七个支柱要素
- 如何解决电脑打开提示安全证书错误问题（了解安全证书错误及解决方法）
- Linux系统里如何彻底的清空屏幕？
- Oracle RMAN备份恢复实战：应对数据丢失的巨大挑战！
- 机器人攻击仍然是2024年的最大威胁
- 今天，我们将向你展示如何在你的 Ubuntu 个人电脑或 Ubuntu 服务器中，直接通过 Ubuntu 官方软件仓库来配置本地软件仓库。在你的电脑中创建一个本地软件仓库有着许多的好处。假如你有许多电脑需要安装软件 、安全升级和修复补丁，那么配置一个本地软件仓库是一个做这些事情的高效方法。因为，所有需要安装的软件包都可以通过快速的局域网连接从你的本地服务器中下载，这样可以节省你的网络带宽，降低互联网接入的年度开支 ...你可以使用多种工具在你的本地个人电脑或服务器中配置一个 Ubuntu 的本地软件仓库，但在本教程中，我们将为你介绍 APT-Mirror。这里，我们将把默认的镜像包镜像到我们本地的服务器或个人电脑中，并且在你的本地或外置硬盘中，我们至少需要 120 GB 或更多的可用空间才行。 我们可以通过配置一个 HTTP 或 FTP 服务器来与本地系统客户端共享这个软件仓库。我们需要安装 Apache 网络服务器和 APT-Mirror 来使得我们的工作得以开始。下面是配置一个可工作的本地软件仓库的步骤：1. 安装需要的软件包我们需要从 Ubuntu 的公共软件包仓库中取得所有的软件包，然后在我们本地的 Ubuntu 服务器硬盘中保存它们。首先我们安装一个Web 服务器来承载我们的本地软件仓库。这里我们将安装 Apache Web 服务器，但你可以安装任何你中意的 Web 服务器。对于 http 协议，Web 服务器是必须的。假如你需要配置 ftp 协议 及 rsync 协议，你还可以再分别额外安装 FTP 服务器，如 proftpd, vsftpd 等等 和 Rsync 。复制代码代码如下:$ sudo apt-get install apache2然后我们需要安装 apt-mirror:复制代码代码如下:$ sudo apt-get install apt-mirror 注: 正如我先前提到的，我们需要至少 120 GB 的可用空间来使得所有的软件包被镜像或下载。2. 配置 APT-Mirror现在，在你的硬盘上创建一个目录来保存所有的软件包。例如，我们创建一个名为 /linoxide的目录，我们将在这个目录中保存所有的软件包：复制代码代码如下:$ sudo mkdir /linoxide现在，打开文件 /etc/apt/mirror.list :复制代码代码如下:$ sudo nano /etc/apt/mirror.list复制下面的命令行配置到 mirror.list文件中并按照你的需求进行修改：复制代码代码如下: ############# config ################## # set base_path /linoxide # # set mirror_path $base_path/mirror # set skel_path $base_path/skel # set var_path $base_path/var # set cleanscript $var_path/clean.sh # set defaultarch # set postmirror_script $var_path/postmirror.sh # set run_postmirror 0 set nthreads 20 set _tilde 0 # ############# end config ############## deb http://archive.ubuntu.com/ubuntu trusty main restricted universe multiverse deb http://archive.ubuntu.com/ubuntu trusty-security main restricted universe multiverse deb http://archive.ubuntu.com/ubuntu trusty-updates main restricted universe multiverse #deb http://archive.ubuntu.com/ubuntu trusty-proposed main restricted universe multiverse #deb http://archive.ubuntu.com/ubuntu trusty-backports main restricted universe multiverse deb-src http://archive.ubuntu.com/ubuntu trusty main restricted universe multiverse deb-src http://archive.ubuntu.com/ubuntu trusty-security main restricted universe multiverse deb-src http://archive.ubuntu.com/ubuntu trusty-updates main restricted universe multiverse #deb-src http://archive.ubuntu.com/ubuntu trusty-proposed main restricted universe multiverse #deb-src http://archive.ubuntu.com/ubuntu trusty-backports main restricted universe multiverse clean http://archive.ubuntu.com/ubuntu 注: 你可以将上面的官方镜像服务器网址更改为离你最近的服务器的网址，可以通过访问 Ubuntu Mirror Server来找到这些服务器地址。假如你并不太在意镜像完成的时间，你可以沿用默认的官方镜像服务器网址。这里，我们将要镜像最新和最大的 Ubuntu LTS 发行版 --- 即 Ubuntu 14.04 LTS (Trusty Tahr) --- 的软件包仓库，所以在上面的配置中发行版本号为 trusty 。假如我们需要镜像 Saucy 或其他的 Ubuntu 发行版本，请修改上面的 trusy 为相应的代号。现在，我们必须运行 apt-mirror 来下载或镜像官方仓库中的所有软件包。复制代码代码如下:sudo apt-mirror从 Ubuntu 服务器中下载所有的软件包所花费的时间取决于你和镜像服务器之间的网络连接速率和性能。这里我中断了下载，因为我已经下载好了 ...3.配置网络服务器为了使得其他的电脑能够访问这个软件仓库，你需要一个Web服务器。你也可以通过 ftp 来完成这件事，但我选择使用一个Web服务器因为在上面的步骤 1 中我提及到使用Web服务器。因此，我们现在要对 Apache 服务器进行配置:我们将为我们本地的软件仓库目录 建立一个到 Apache 托管目录 --- 即 /var/www/ubuntu --- 的符号链接。复制代码代码如下:$ sudo ln -s /linoxide /var/www/ubuntu $ sudo service apache2 start上面的命令将允许我们从本地主机(localhost) --- 即 http://127.0.0.1(默认情况下) --- 浏览我们的镜像软件仓库。4. 配置客户端最后，我们需要在其他的电脑中添加软件源，来使得它们可以从我们的电脑中取得软件包或软件仓库。为达到此目的，我们需要编辑 /etc/apt/sources.list 文件并添加下面的命令：复制代码代码如下: $ sudo nano /etc/apt/sources.list添加下面的一行到/etc/apt/sources.list中并保存。复制代码代码如下: deb http://192.168.0.100/ubuntu/ trusty main restricted universe注: 这里的 192.168.0.100 是我们的服务器电脑的局域网 IP 地址，你需要替换为你的服务器电脑的局域网 IP 地址复制代码代码如下:$ sudo apt-get update最终，我们完成了任务。现在，你可以使用sudo apt-get install packagename 命令来从你的本地 Ubuntu 软件仓库中安装所需的软件包，这将会是高速的且消耗很少的带宽。
- Openshift 安装使用教程
随便看看
- Copyright © 2025 Powered by 用 awk + grep + sed 搞定日志处理神器组合拳,云智核 滇ICP备2023006006号-28sitemap