Linux三剑客awk命令篇二:命令操作符
10年积累的成都网站制作、网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站设计制作后付款的网站建设流程,更有吉安免费网站建设让你可以放心的选择与我们合作。
关于awk的原理等基本知识请参考上篇:
Linux三剑客awk命令篇一:原理及基本命令
补充
1、语法格式:
(1) Awk完整语法
awk 'BEGIN{commands} pattern{commands}END{commands} ' file
BEGIN{commands}:处理数据前执行的命令。
END{commands}:处理完数据后执行的命令。
这两个命令可以省略。见(2)
(2) Awk基本语法
awk -F '分割符' '/模式/{动作} ' file
这里的 '/模式/{动作} ' 类似于sed的命令格式。
模式:
(1) 正则表达式(注意格式: /正则表达式/ )
(2) 条件表达式(例如: 等等)
总结:
这里的模式通俗来讲是 用来找谁, 而动作表示是 干啥。
2、 awk的命令操作符
(1) 正则表达式与bash一致
(2) + - * / % ++ --
(3) || !
(4) = = != == ~ !~
~:表示匹配后面的模式,用于字段,见 案例1 。
其余的都比较常见就不举例了。
3、案例
案例1:
~使用案例
awk -F : '$3 ~ /\...\/{print $1,$3}' /etc/passwd
解释:
模式:\...\
\ \表示定界符,只匹配3个字符。
$3 ~:表示$3这个字段必须符合后面模式(\...\)的要求。
见如下输出结果,$3都是3个字符。
案例2:
% || ==使用案例
seq 100 | awk '$1 % 7 == 0 || $1 ~ /^99/{print $1}'
输出结果的要求:
整除7或者以99开头
案例3:
++使用
awk 'BEGIN{num=0}{num++}END{print num}' /etc/passwd
简单解释:
BEGIN{num=0}:定义一个变量num
{num++}:这里没有模式,只有动作。
即每匹配到文件/etc/passwd的一行就执行num++
END{print num}:文件遍历结束,打印num的值,即文件的行数。
这里我们使用wc -l验证也是没问题的。
cat /etc/passwd | wc -l
上面3个案例简单的使用了awk的命令操作符。
虽然只是用到了几个简单的,但是其他同理,大家可以执行操作。
下一篇:
Linux三剑客awk命令篇二之内部变量
欢迎大家给予宝贵的意见或者建议。
欢迎大家补充或者共享一些其他的方法。
感谢支持。
可以根据文件指定分隔符,像处理表格一样处理文本或序列。通常来处理字段,并基于字段进行过滤,或进行模式匹配。
语法
常用的内建变量
NF :记录的字段数
NR :记录的行号
OFS :输出字段分隔符,默认值与输入字段分隔符一致。
ORS :输出记录分隔符(默认值是一个换行符)
$n :当前记录的第n个字段,字段间由FS分隔
$0 :完整的输入记录
ARGV :包含命令行参数的数组
ARGC :命令行参数的数目
基本用法
awk 脚本
关于 awk 脚本,我们需要注意两个关键词 BEGIN 和 END。
BEGIN{ 这里面放的是执行前的语句 }
END {这里面放的是处理完所有的行后要执行的语句 }
{这里面放的是处理每一行时要执行的语句
以上的应用案例基本包括了常用的awk 的常用用法,更复杂的文本处理则可以通过awk 脚本完成。
与awk 相比,sed在处理文本的行具有更好的效率。
基本语法
参数说明
sed 文件处理命令
包括增加、删除、打印、替换行的内容
应用案例
以上的案例表明,sed 的一些操作可以放在行的末尾,或者放在模式匹配的末尾,或者在大括号内以分号分隔,或者通过-e 命令,实现多点编辑。
grep 查找文件里符合条件的字符串。
语法
应用案例
grep 除了可以查找单个文件中匹配的模式,也可以在目录中包含特定字符的文件查找匹配模式的行。
1、Linux 三剑客是(grep,sed,awk)三者的简称,熟练使用这三个工具可以提升运维效率。
2、Linux 三剑客以正则表达式作为基础,而在Linux系统中,支持两种正则表达式,分别为“标准正则表达式”和“扩展正则表达式”。
3、在掌握好正则表达式后,将具体讲解三剑客的用法。
4、可以看到标准正则表达的使用过程中,许多符号都需要转义,这在工作中带来了一定的不便,因此扩展的正则表达式便出现了。
说起Linux操作系统中的 grep 命令,或许没有人会不知道。在我看来, grep 命令是Linux操作系统上最强大的工具之一,正如你无时无刻不在使用它。无论是从文件中找到匹配的行,又或者是从终端输出中获取指定信息,都离不开对 grep 的使用。
了解一个工具的使用,还是先看这个工具的man手册会告诉我们什么。
手册中提到, grep 工具还有两个孪生兄弟,分别是 egrep 和 fgrep 。其中, egrep 相当于 grep -E 的用法,使用的是扩展形式的正则表达式; fgrep 相当于 grep -F 的用法,根据固定模式进行内容匹配。
对于任何的Linux操作系统,你可以很轻松的找到 /etc/passwd 文件,以下的多数演示将会以该文件进行演示。以下为用户的部分信息
grep 命令的格式相对比较简单。完整的命令格式如 grep [OPTIONS] PATTERN [FILE...] ,其中 [OPTIONS] 选项提供了众多的参数,如下
如果需要找到包含 root 用户和 adm 用户的行,可以通过 grep -E "root|adm" /etc/passwd 来查找所有满足的行
了解 grep 的常用参数可以在工作中解决绝大部份的问题,但在一些情况下,需要对过滤出的内容按照某种规则进行精确匹配,还需要配合正则使用。以下介绍了几种常用的正则语法
sed编辑器是一行一行的处理文件,正在处理的内容存放在模式空间(缓冲区)中,处理完毕后按照选项的规定进行输出或文件的修改。
sed主要用来自动编辑一个或多个文件;简化文件的反复操作,用于非交互编译文件。
可以使用一个简单的数字,或是一个行号范围
注意:p的动作是:打印匹配行。
1. 原始文件:
2. sed的默认动作
(1)sed的默认动作是打印文件中的所有行。
3. 打印特定行
(1)因为sed命令默认打印文件中所有行。所以第三行会被打印两遍。那如何只打印第三行呢?使用【-n】命令,只打印匹配的行。
(2)使用【-n】命令,只打印匹配到的行
(3)打印[n,m]行
(4)打印包含模式的行
(5)打印包含模式和指定行号之间的行
(6)包含模式和包含模式之间的行
(7) {}执行多个命令(command),使用;隔开。=是显示文件行的行号。p是打印匹配行
(8)!取反操作
(9)q命令:第一个模式匹配完成后退出或立即退出,使用该命令打印前5行
(1)使用[]进行正则匹配
(2)其他的正则表达式
(1)打印出以#开头的行,然后用!进行反选,则表示过滤掉以#开头的行,不会过滤掉空格。
(2)匹配以#开头的行,进行取反,则打印出非#开头的行,然后其结果在对空格开头的行进行取反。即 过滤掉以#开头的行和以空格开头的行。 {}表示在定位行执行的命令组。
(3)sed支持对单个文件实现不同的操作,每个操作用-e参数。定位到执行的行后,使用d命令,直接删除匹配到的行。
需要注意的是,对源文件的添加要使用【-i】参数。
s:使用替换模式替换相应模式
(1)在匹配行前面替换字符,使用【s】命令。
(2)在所有行开头替换元素【s】
(3)在所有行的末尾替换元素
(4)指定行,进行替换操作
(5)【】符号代表的是匹配到的字符。在匹配到字符后,可以使用代替。
(6)在匹配到行前面添加一行,使用【i】的命令
(7)在匹配行的后面添加一行,使用【a】命令
(8)当添加多行时,使用\n来转义
(9)@代表的是【地址定界符】,一般由三个组成,定界符可以是/,$,#等特殊字符,此命令表示,匹配特定字符的行进行替换。
(10)使用命令【g】修改全文中出现的匹配字符。
(11)若后面接数字之后在接g,表示匹配的行中,第几次出现。就替换,2g表示替换行中第二次出现。
(1)删除以非#号开头的行,即显示以#号开头的行。
(2)删除第一行
(3)删除最后一行
(4)删除指定的行区间
(5)删除包含特定单词的行
本文参考:
sed命令详解
三剑客各有所长,和锅锅一一搞起就是了!
使用示例:
使用示例:
使用示例:
sed [选项] s/[pattern]/[replace]/[flags]
[选项]常用的几个参数:
[pattern]
含义:待匹配的需要替换的内容。
[replace]
常见的特殊含义字符:
[flags]
常见的可选参数:
多个sed命令依次执行,用分号分割或加选项 -e,
使用示例:
把 test.html 文件中的第二个 body 替换为 /body 。
分析实际就是把第二个 body 替换为 /body,命令如下。
把 test.html 文件中的第二个 body 替换为 /body 。
分析实际就是把第二个 body 替换为 /body,命令如下。
编写执行脚本的步骤如下:
touch sed.sh
sed.sh 中写入脚本内容:
对sed.sh 脚本赋予可执行权限
chmod ug+x sed.sh
执行sed.sh 脚本,对文件进行处理
sed -i -f sed.sh test.html