Linux常见日志统计分析命令

在上文中，我们已经详细介绍 linux 三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在 Tomcat 和 Nginx access日志的统计分析。

创新互联公司专注为客户提供全方位的互联网综合服务，包含不限于网站建设、成都网站建设、柳河网络推广、微信小程序开发、柳河网络营销、柳河企业策划、柳河品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；创新互联公司为所有大学生创业者提供柳河建站搭建服务，24小时服务热线：18982081108，官方网址：www.cdcxhl.com

server.xml 使用配置方式，%D-请求时间，%F-响应时间

字段说明如下：

日志样例：

使用默认 combined 的经典格式上扩展 response_timeupstream_response_time

nginx.conf 使用配置方式：

字段说明如下：

日志示例：

为了能理解 AWK 程序，我们下面概述其基本知识。

模式( pattern ) 用于匹配输入中的每行文本。对于匹配上的每行文本，awk 都执行对应的 动作( action )。模式和动作之间使用花括号隔开。awk 顺序扫描每一行文本，并使用 记录分隔符（一般是换行符）将读到的每一行作为 记录，使用 域分隔符( 一般是空格符或制表符 ) 将一行文本分割为多个 域， 每个域分别可以使用 2, … 表示。1 表示第一个域，表示第二个域，n 表示第 n 个域。 $0 表示整个记录。模式或动作都可以不指定，缺省模式的情况下，将匹配所有行。缺省动作的情况下，将执行动作 {print}，即打印整个记录。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。 使用 awk 分解出Nginx access日志中的信息

以此类推…… 当我们使用默认的域分割符时，我们可以从日志中解析出下面不同类型的信息：

我们不难发现，仅使用默认的域分隔符，不方便解析出请求行、引用页和浏览器类型等其他信息，因为这些信息之中包含不确定个数的空格。 因此，我们需要把域分隔符修改为 “ ，就能够轻松读出这些信息。

注意：这里为了避免 Linux Shell 误解 “ 为字符串开始，我们使用了反斜杠，转义了 “ 。 现在，我们已经掌握了 awk 的基本知识，以及它是怎样解析日志的。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。

如果我们想知道那些类型的浏览器访问过网站，并按出现的次数倒序排列，我可以使用下面的命令：

此命令行首先解析出浏览器域，然后使用管道将输出作为第一个 sort 命令的输入。第一个 sort 命令主要是为了方便 uniq 命令统计出不同浏览器出现的次数。最后一个 sort 命令将把之前的统计结果倒序排列并输出。

我们可以使用下面的命令行，统计服务器返回的状态码，发现系统可能存在的问题。

正常情况下，状态码 200 或 30x 应该是出现次数最多的。40x 一般表示客户端访问问题。50x 一般表示服务器端问题。 下面是一些常见的状态码：

HTTP 协议状态码定义可以参阅：

查找并显示所有状态码为 404 的请求

统计所有状态码为 404 的请求

现在我们假设某个请求 ( 例如 : URI: /path/to/notfound ) 产生了大量的 404 错误，我们可以通过下面的命令找到这个请求是来自于哪一个引用页，和来自于什么浏览器。

有时候会发现其他网站出于某种原因，在他们的网站上使用保存在自己网站上的图片。如果您想知道究竟是谁未经授权使用自己网站上的图片，我们可以使用下面的命令：

注意：使用前，将 修改为自己网站的域名。

统计共有多少个不同的 IP 访问：

统计每一个 IP 访问了多少个页面：

将每个 IP 访问的页面数进行从小到大排序：

统计 2018 年 8 月 31 日 14 时内有多少 IP 访问 :

统计访问最多的前十个 IP 地址

查看某一个 IP访问了哪些页面：

统计某个 IP 的详细访问情况,按访问频率排序

列出传输大小最大的几个文件

列出输出大于 204800 byte ( 200kb) 的页面以及对应页面发生次数

列出访问最频的页面(TOP100)

列出访问最频的页面([排除php页面】(TOP100)

列出页面访问次数超过100次的页面

列出最近1000条记录，访问量最高的页面

统计每分钟的请求数,top100的时间点(精确到分钟)

统计每小时的请求数,top100的时间点(精确到小时)

统计每秒的请求数,top100的时间点(精确到秒)

统计当天的 pv

说明：

可以使用下面的命令统计出所有响应时间超过 3 秒的日志记录。

注意：NF 是当前记录中域的个数。$NF 即最后一个域。

列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

列出相应时间超过 5 秒的请求，显示前20条

统计蜘蛛抓取次数

统计蜘蛛抓取404的次数

通过本文的介绍，我相信同学们一定会发现 linux三剑客强大之处。在命令行中，它还能够接受，和执行外部的 AWK 程序文件，可以对文本信息进行非常复杂的处理，可以说“只有想不到的，没有它做不到的”。

Linux入门系列——awk命令详解

awk是一个强大的文本分析工具，与grep、sed相比，awk在对数据分析并生成报告时，显得有很大的优势。

awk有三个不同的版本：awk、nawk和gawk，在没有做特殊说时的时候默认的就是gawk，gawk是awk的GNU版本。

其中command是真正的awk命令，-F表示域的分隔符，是个可选项。Filename是等待处理的文件

将所有的awk命令写入到一个文件，并使用该文件有X权限，然后awk命令解释器作为脚本的首行，也就是说可以把脚本最开始的 #!/bin/bash 换成 #!/bin/awk

最后直接执行这个脚本文件就行了。

-f 指定要加载的awk脚本，是一个文件。Filename是等待处理的文件

awk的工作流程是这样的：读入一行后(最后面带有” ”的)，就按-F指定的分隔符来将该行划分成N个区域，$0表示所有的区域，$1表示第一个域，$2表示第二个域，依此类推，$n表示第n个域。

总结：awk先执行BEGIN内的命令，然后再读入文件中的行，接着就是按照指定的分隔符将该行分成N个区域，然后再来执行模式所对应的动作action。然后，再来读入第二行。。再重复执行action，直到所有的行都处理完成。最后再执行END中的命令。

注意：' // '之间是支持正则表达式的，如果此处只有pattern,而没有action，那么awk默认会把匹配到的行打印出来。

awk中的print还可以使用C语言中的printf来替代。在输出格式比较复杂的时候使用printf函数会比print函数要更直观一些，如下：

还可以使用-v key=value来自定义变量。如下：

awk中的条件语句是从C中借鉴过来的

语法：if (condition) {then-body} else {else-body}

例如使用awk来统计某个目录下的普通文件的大小，不包括子目录的，并过滤掉目录。

循环语句也和C中的一样，支持while、do/while、for、continue、break等关键字。

break和continue常用于循环中；

在awk中，数组的下标可以是数字或字母。一般awk中的数组的作用是从记录中收集信息，用于计算总和、统计单词等。

在awk中要删除一个元素的时候使用 delete array[index]

更多请参见awk官方文档[]

Linux常用命令详解 | find

find 命令的基本结构如下：

find 命令手册 ： man find

find 命令中的 -name 选项可以根据文件名称进行检索（ 区分大小写 ）。如需要忽略文件名中的大小写，可以使用 -iname 选项。

-name 和 -iname 两个选项都支持 wildcards 。如：

例1：查找 /usr 目录下所有文件名以 .txt 结尾的文件

例2：查找 /usr 目录下所有文件名刚好为 4 个字符的文件

例3：查以大写字母开头的文件

例4：查以两个小写字母和两个数字开头的txt文件

类似的还有：

-lname -ilname

-path -ipath

-regx -iregx

有些时候，你需要在搜索时匹配某个文件或目录的 完整路径 ，而不仅仅是匹配文件名。可以使用 -path 或 -ipath 选项。

例1：如查找 /usr 下所有文件名以 .txt 结尾的文件或目录，且该文件的父目录必须是 src 。可以使用以下命令：

例2：在当前目录除aa之外的子目录内搜索 txt文件

例3：在当前目录，不再子目录中，查找txt文件

如果只想搜索得到文件 或 目录，即不想它们同时出现在结果中。可以使用 -type 选项指定文件类型。

-type 选项最常用的参数如下：

例：检索 /usr 下所有文件名以 python 开头的目录

find 命令支持 -empty 选项用来检索 为空 的文件或目录。空文件即文件里没有任何内容，空目录即目录中没有任何文件或子目录。

例：检索用户主目录下所有的空目录

find 命令也允许用户对当前的匹配条件进行 “反义” （类似于 逻辑非 操作）。

如需要检索 /usr 下所有文件名 不 以 .txt 为后缀的文件。可以使用以下命令：

也可以“翻转”任何其他的筛选条件，如：检索 /usr 下所有内容不为空的文件

为了检索归属于特定用户的文件或目录，可以使用 -user 选项。

例：检索根目录下所有属主为 starky 的文件

类似于 -user 选项， -group 选项则可以根据文件或目录的 属组 进行检索。

有些时候，需要根据文件创建或修改的时间进行检索。

Linux 系统中，与文件相关联的时间参数有以下三种：

与此对应的是 find 命令中的 -mtime ， -atime 和 -ctime 三个选项。

这三个选项的使用遵循以下示例中的规则：

检索 /usr 下两天前被修改过的文件

如果觉得 -mtime 等选项以 天 为单位时间有点长，还可以使用 -mmin ， -amin ， -cmin 三个选项。

查找比 aa.txt 新 的文件

查找比 aa.txt 旧 的文件

查找比aa.txt新，比bb.txt旧的文件

-size 选项允许用户通过文件大小进行搜索（只适用于文件，目录没有大小……）。

表示文件大小的单位由以下字符组成：

另外，还可以使用 + 或 - 符号表示 大于 或 小于 当前条件。

检索文件大小高于 1 GB 的文件

find 命令可以使用 -perm 选项以文件权限为依据进行搜索。

9.1使用符号形式

例1：如需要检索 /usr 目录下权限为 rwxr-xr-x 的文件，可以使用以下命令：

例2：搜索 /usr 目录下所有权限为 r-xr-xr-x （即系统中的所有用户都只有读写权限）的文件和目录，可以使用以下命令：

很多时候，我们只想匹配文件权限的一个 子集 。比如，检索可以直接被任何用户执行的文件，即只关心文件的执行权限，而不用管其读写权限是什么。

上述的需求可以通过以下命令实现：

其中 a=x 前面的 / 符号即用来表示只匹配权限的某个子集（执行权限），而不用关心其他权限的具体设置。

9.2使用数字形式

例如：搜索 /usr 目录下权限为 644 （即 rwxr-xr-x ）的文件

find 命令默认是以 递归 的方式检索项目的，这有时候会导致得到的结果数量非常巨大。可以使用 -maxdepth 限制 find 命令递归的层数。

例如：搜索时向下递归的层数最大为 3

在之前的例子中有出现多个搜索条件的 组合 以及对某个搜索条件的 反转 。

实际上 find 命令支持 “and” 和 “or” 两种逻辑运算，对应的命令选项分别是 -a 和 -o 。通过这两个选项可以对搜索条件进行更复杂的组合。

此外还可以使用 小括号 对搜索条件进行 分组 。注意 find 命令中的小括号常需要用 单引号 包裹起来。因小括号在 Shell 中有特殊的含义。

如检索 /usr 下文件名以 python 开头且类型为目录的文件

该命令等同于：

更复杂的组合形式如：

例4：在除dir0及子目录以外的目录下查找txt后缀文件

说明：-a 应该是and的缩写，意思是逻辑运算符‘与’(); -o应该是or的缩写,意思是逻辑运算符‘或’(||), -not 表示非.

命令行的意思是：如果目录dir0存在（即-a左边为真），则求-prune的值，-prune 返回真，‘与’逻辑表达式为真（即-path './dir0*' -a -prune 为真），find命令将在除这个目录以外的目录下查找txt后缀文件并打印出来；如果目录dir0不存在（即-a左边为假），则不求值-prune ，‘与’逻辑表达式为假，则在当前目录下查找所有txt后缀文件。

-delete 选项可以用来删除搜索到的文件和目录。

例如：删除 home 目录下所有的空目录：

-exec 选项可以对搜索到的结果执行执行该参数所给出的shell命令。形式为 command {} \; ，注意{}与\;之间有空格 。每当 find 命令检索到一个符合条件的文件，会使用其完整路径取代命令中的 {} ，然后执行 -exec 后面的命令一次。

例1：如需要将 home 目录下所有的 MP3 音频文件复制到移动存储设备（假设路径是 /media/MyDrive ），可使用下面的命令：

其中的 大括号 （ {} ）作为检索到的文件的 占位符 ，而分号（ ; ）作为命令结束的标志。因为分号是 Shell 中有特殊含义的符号，所以需要使用单引号括起来或前面加上转义符 \ 。

例2：查看当前目录下的所有普通文件，并在 - exec 选项中使用 ls -l 命令将它们列出

例3：在多个文件中检索某个指定的字符串。如在用户主目录下的所有文件中检索字符串 hello ，可以使用如下命令：

创建 Gzip 格式的压缩文件的命令为：

现在假设需要将用户主目录下所有的 MP3 文件添加到压缩包 music.tar.gz 中，直观的感觉是，其命令应为如下形式：

实际情况是，这样得到的 music.tar.gz 其实只包含一个 MP3 文件。原因是 find 命令 每次 发现一个音频文件，都会再执行一次 -exec 选项后面的压缩命令。导致先前生成的压缩包被覆盖。

可以先让 find 命令检索出所有符合条件的音频文件，再将得到的 文件列表 传递给后面的压缩命令。完整的命令如下：

如果想浏览搜索到的文件（目录）的详细信息（如权限和大小等），可以直接使用 -ls 选项。

例如：浏览所有 1G 以上大小的文件的详细信息

与exec作用相同，区别在于，在执行命令之前，都会给出提示，让用户确认是否执行

与 exec 作用相同 ，起承接作用。区别在于 |xargs 主要用于承接删除操作 ，而 -exec 都可用 如复制、移动、重命名等

例1：查找以ap或may开头的文件

例2：查硬连接数大于2的文件或目录

例3：查找含特定字符串的文件。查找当前目录下含有"the string you want find…"字符串的文件：

例4：从根目录开始查tmpfile，一旦查到马上删除

例5：如何用find查找某一天更改的文件？可以使用这一行命令来实现：

A Guide to the Linux “Find” Command

Linux系统常见命令

which：which [文件名] which mysql;

find：-name 按照文件名查找文件，

如：find /dir -name filename 在/dir目录及其子目录下面查找名字为filename的文件。

linux 中的查看进程命令；find . -name "*.c" 在当前目录及其子目录（用“.”表示）中查找任何扩展名为“c”的文件。

ps命令 是最常用的监控进程的命令，通过此命令可以查看系统中所有运行进程的详细信息。

基本操作： ps -le #查看系统中所有的进程，使用 Linux 标准命令格式 ；ps aux #查看系统中所有的进程，使用 BS 操作系统格式。

可选项

a: 显示一个终端的所有进程；

u: 显示进程的归属用户及内存的使用情况；

x: 显示没有控制终端的进程；

-l: 长格式显示更加详细的信息；

-e: 显示所有进程；

最常用的两种："ps aux" 可以查看系统中所有的进程；"ps -le" 可以查看系统中所有的进程，而且还能看到进程的父进程的 PID 和进程优先级；"ps -l" 可以查看当前登录 产生了哪些进程

创建文件：

vi/vim filename ： 创建新文件并且使用编辑器进入该文件进行编辑，与touch命令不同的是， 如果未编辑该文件就退出，那么该文件不会被保存（换句话说，新文件为空时不保存新建的文 件）；

touch filename ： 直接创建新的空文件，需要编辑器打开编辑；

echo "内容" hehe.txt : 它允许你在创建一个文件时就向其中输入一些文本；

查看文件：

cat 文件名 : 由第一行开始显示内容，并将所有内容输出；

more 文件名 : 根据窗口大小，一页一页的现实文件内容；

tail : 可以实时打印最新的日志信息；

ls 执行的功能：列出指定目录中的目录，以及文件；

新闻标题：linux信息类命令解析,linux命令大全详解pdf
网页网址：http://kswjz.com/article/dsiihie.html