Linux常见日志统计分析命令

在上文中，我们已经详细介绍 linux 三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在 Tomcat 和 Nginx access日志的统计分析。

公司主营业务：成都做网站、成都网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联建站是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联建站推出怒江州免费做网站回馈大家。

server.xml 使用配置方式，%D-请求时间，%F-响应时间

字段说明如下：

日志样例：

使用默认 combined 的经典格式上扩展 response_timeupstream_response_time

nginx.conf 使用配置方式：

字段说明如下：

日志示例：

为了能理解 AWK 程序，我们下面概述其基本知识。

模式( pattern ) 用于匹配输入中的每行文本。对于匹配上的每行文本，awk 都执行对应的 动作( action )。模式和动作之间使用花括号隔开。awk 顺序扫描每一行文本，并使用 记录分隔符（一般是换行符）将读到的每一行作为 记录，使用 域分隔符( 一般是空格符或制表符 ) 将一行文本分割为多个 域， 每个域分别可以使用 2, … 表示。1 表示第一个域，表示第二个域，n 表示第 n 个域。 $0 表示整个记录。模式或动作都可以不指定，缺省模式的情况下，将匹配所有行。缺省动作的情况下，将执行动作 {print}，即打印整个记录。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。 使用 awk 分解出Nginx access日志中的信息

以此类推…… 当我们使用默认的域分割符时，我们可以从日志中解析出下面不同类型的信息：

我们不难发现，仅使用默认的域分隔符，不方便解析出请求行、引用页和浏览器类型等其他信息，因为这些信息之中包含不确定个数的空格。 因此，我们需要把域分隔符修改为 “ ，就能够轻松读出这些信息。

注意：这里为了避免 Linux Shell 误解 “ 为字符串开始，我们使用了反斜杠，转义了 “ 。 现在，我们已经掌握了 awk 的基本知识，以及它是怎样解析日志的。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。

如果我们想知道那些类型的浏览器访问过网站，并按出现的次数倒序排列，我可以使用下面的命令：

此命令行首先解析出浏览器域，然后使用管道将输出作为第一个 sort 命令的输入。第一个 sort 命令主要是为了方便 uniq 命令统计出不同浏览器出现的次数。最后一个 sort 命令将把之前的统计结果倒序排列并输出。

我们可以使用下面的命令行，统计服务器返回的状态码，发现系统可能存在的问题。

正常情况下，状态码 200 或 30x 应该是出现次数最多的。40x 一般表示客户端访问问题。50x 一般表示服务器端问题。 下面是一些常见的状态码：

HTTP 协议状态码定义可以参阅：

查找并显示所有状态码为 404 的请求

统计所有状态码为 404 的请求

现在我们假设某个请求 ( 例如 : URI: /path/to/notfound ) 产生了大量的 404 错误，我们可以通过下面的命令找到这个请求是来自于哪一个引用页，和来自于什么浏览器。

有时候会发现其他网站出于某种原因，在他们的网站上使用保存在自己网站上的图片。如果您想知道究竟是谁未经授权使用自己网站上的图片，我们可以使用下面的命令：

注意：使用前，将 修改为自己网站的域名。

统计共有多少个不同的 IP 访问：

统计每一个 IP 访问了多少个页面：

将每个 IP 访问的页面数进行从小到大排序：

统计 2018 年 8 月 31 日 14 时内有多少 IP 访问 :

统计访问最多的前十个 IP 地址

查看某一个 IP访问了哪些页面：

统计某个 IP 的详细访问情况,按访问频率排序

列出传输大小最大的几个文件

列出输出大于 204800 byte ( 200kb) 的页面以及对应页面发生次数

列出访问最频的页面(TOP100)

列出访问最频的页面([排除php页面】(TOP100)

列出页面访问次数超过100次的页面

列出最近1000条记录，访问量最高的页面

统计每分钟的请求数,top100的时间点(精确到分钟)

统计每小时的请求数,top100的时间点(精确到小时)

统计每秒的请求数,top100的时间点(精确到秒)

统计当天的 pv

说明：

可以使用下面的命令统计出所有响应时间超过 3 秒的日志记录。

注意：NF 是当前记录中域的个数。$NF 即最后一个域。

列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

列出相应时间超过 5 秒的请求，显示前20条

统计蜘蛛抓取次数

统计蜘蛛抓取404的次数

通过本文的介绍，我相信同学们一定会发现 linux三剑客强大之处。在命令行中，它还能够接受，和执行外部的 AWK 程序文件，可以对文本信息进行非常复杂的处理，可以说“只有想不到的，没有它做不到的”。

linux常用命令有哪些

linux 常用命令有：

pwd 命令

使用 pwd 命令找出您所在的当前工作目录（文件夹）的路径。该命令将返回一个绝对（完整）路径，该路径基本上是所有以 / 开头的目录的路径。绝对路径的一个示例是 /home/username。

cd 命令

要浏览 Linux 文件和目录，请使用 cd 命令。根据您所在的当前工作目录，它需要目录的完整路径或名称。假设您位于 /home/username / Documents 中，并且想要转到 Documents 的子目录 Photos。为此，只需键入以下命令：cd Photos。另一种情况是，如果您想切换到一个全新的目录，例如 /home/username / Movies。在这种情况下，您必须输入 cd，然后输入目录的绝对路径：cd /home/username / Movies。有一些快捷方式可帮助您快速导航：cd ..（带有两个点）将一个目录向上移动 cd 直接转到主文件夹 cd-（带连字符）移动到上一个目录附带说明一下，Linux 的 shell 是区分大小写的。因此，您必须准确输入名称的目录。

ls 命令

LS 命令用于查看目录的内容。默认情况下，此命令将显示当前工作目录的内容。如果要查看其他目录的内容，请键入 ls，然后键入目录的路径。例如，输入 LS / 家 / 用户名 / 文档查看的内容的文件。您可以使用 ls 命令使用以下变体：ls -R 还将列出子目录中的所有文件 ls -a 将显示隐藏的文件 ls -al 将列出文件和目录以及详细信息，例如权限，大小，所有者等。

cat 命令

cat（连接的缩写）是 Linux 中最常用的命令之一。它用于在标准输出（sdout）上列出文件的内容。要运行此命令，请键入 cat，然后输入文件名及其扩展名。例如：cat file.txt。以下是使用 cat 命令的其他方法：cat filename 创建一个新文件 cat filename1 filename2 filename3 连接两个文件（1 和 2），并将它们的输出存储在新文件中（3）将文件转换为大写或小写使用，cat filename | tr a-z A-Z output.txt

cp 命令

使用 cp 命令将文件从当前目录复制到另一个目录。例如，命令 cp scenery.jpg/home /username/ Pictures 将在您的 Pictures 目录中创建一个 Scene.jpg 副本（来自当前目录）。

mv 命令

mv 命令的主要用途是移动文件，尽管它也可以用于重命名文件。mv 中的参数类似于 cp 命令。您需要输入 mv，文件名和目标目录。例如：mv file.txt/home /username/ Documents。

mkdir 命令

使用 mkdir 命令创建一个新目录 - 如果键入 mkdir Music，它将创建一个名为 Music 的目录。还有一些额外的 mkdir 命令：要在另一个目录中生成新目录，请使用此 Linux 基本命令 mkdir Music / Newfile 使用 p（父级）选项在两个现有目录之间创建一个目录。例如，mkdir -p Music / 2022 / Newfile 将创建新的 “2022” 文件。

rmdir 命令

如果需要删除目录，请使用 rmdir 命令。但是，rmdir 仅允许您删除空目录。

rm 命令

该 RM 命令用于删除目录以及其中的内容。如果只想删除目录（作为 rmdir 的替代方法），请使用 rm -r。注意：使用此命令时要格外小心，并仔细检查您所在的目录。这将删除所有内容，并且没有撤消操作。

touch 命令

该触摸命令允许您创建通过 Linux 命令行新的空白文件。例如，输入 touch /home/username/Documents/Web.html 在 Documents 目录下创建一个名为 Web 的 HTML 文件。

locate 命令

您可以使用此命令来定位文件，就像 Windows 中的搜索命令一样。此外，将 - i 参数与该命令一起使用将使其不区分大小写，因此即使您不记得其确切名称，也可以搜索文件。要搜索包含两个或多个单词的文件，请使用星号（*）。例如，locate -i school * note 命令将搜索包含单词 “school” 和 “ note” 的任何文件，无论它是大写还是小写。

find 命令

在类似定位命令，使用 查找也搜索文件和目录。区别在于，您可以使用 find 命令在给定目录中查找文件。例如，find /home/-name notes.txt 命令将在主目录及其子目录中搜索名为 notes.txt 的文件。使用查找时的其他变化 是：要查找当前目录中使用的文件，请使用 find . -name notes.txt 要查找目录，请使用 /-type d -name notes. txt13. grep 命令无疑对日常使用很有帮助的另一个基本 Linux 命令是 grep。它使您可以搜索给定文件中的所有文本。为了说明这一点，grep blue notepad.txt 将在记事本文件中搜索单词 blue。包含搜索到的单词的行将被完整显示。

sudo 命令

该命令是 “SuperUser Do” 的缩写，使您能够执行需要管理或超级用户权限的任务。但是，建议不要将此命令用于日常使用，因为如果您做错了一些事情，很容易发生错误。

df 命令

使用 df 命令可获取有关系统磁盘空间使用情况的报告，以百分比和 KB 表示。如果要以兆字节为单位查看报告，请输入 df -m。

du 命令

如果要检查文件或目录占用了多少空间，答案是 du（磁盘使用情况）命令。但是，磁盘使用情况摘要将显示磁盘块号，而不是通常的大小格式。如果要以字节，千字节和兆字节为单位查看它，请在命令行中添加 - h 参数。

head 命令

所述头命令用于查看任何文本文件的第一行。默认情况下，它将显示前十行，但是您可以根据自己的喜好更改此数字。例如，如果只想显示前五行，则键入 head -n 5 filename.ext。

tail 命令

该命令与 head 命令具有相似的功能，但是 tail 命令将显示文本文件的最后十行，而不是显示第一行。例如，tail -n filename.ext。

diff 命令

diff 命令是差异的缩写，diff 命令逐行比较两个文件的内容。分析文件后，它将输出不匹配的行。程序员在需要进行程序更改时经常使用此命令，而不是重写整个源代码。此命令最简单的形式是 diff file1.ext file2.ext

tar 命令

该 tar 命令是最常用的命令归档多个文件到一个压缩包。类似于 zip 格式常见的 Linux 文件格式，压缩是可选的。该命令具有很长的功能列表，非常复杂，例如将新文件添加到现有档案中，列出档案内容，从档案中提取内容等等。查看一些实际示例，以了解有关其他功能的更多信息。

chmod 命令

chmod 是另一个 Linux 命令，用于更改文件和目录的读取，写入和执行权限。由于此命令相当复杂，因此您可以阅读完整的教程以正确执行它。

chown 命令

在 Linux 中，所有文件均归特定用户所有。该 CHOWN 命令使您可以更改或文件的所有权转让给指定的用户名。例如，chown linuxuser2 file.ext 将使 linuxuser2 成为 file.ext 的所有者。

Jobs 命令

jobs 命令将显示所有当前作业及其状态。作业基本上是由 Shell 启动的进程。

kill 命令

如果您的程序无响应，则可以使用 kill 命令手动终止它。它将向运行异常的应用发送特定信号，并指示该应用自行终止。您总共可以使用 64 个信号，但是人们通常只使用两个信号：SIGTERM（15） — 请求程序停止运行，并给它一些时间来保存其所有进度。如果在输入 kill 命令时未指定信号，则将使用此信号。SIGKILL（9） - 强制程序立即停止。未保存的进度将丢失。除了知道信号之外，您还需要知道要杀死的程序的进程标识号（PID）。如果您不知道 PID，只需运行命令 ps ux。在知道您要使用什么信号以及程序的 PID 之后，输入以下语法：kill [signal option] PID.

ping 命令

使用 ping 命令检查与服务器的连接状态。例如，只需输入 ping google.com，该命令将检查您是否能够连接到 Google 并测量响应时间。

wget 命令

Linux 命令行非常有用 - 您甚至可以在 wget 命令的帮助下从 Internet 下载文件。为此，只需键入 wget，然后输入下载链接即可。

uname 命令

该 UNAME 命令，短期对于 Unix 名，将打印您的 Linux 系统，如计算机名称的详细信息，操作系统，内核，等等。

top 命令

作为与 Windows 中的任务管理器等效的终端，top 命令将显示正在运行的进程的列表以及每个进程使用的 CPU 数量。监视系统资源使用情况非常有用，尤其是知道哪个进程由于消耗太多资源而需要终止时。

history 命令

当您使用 Linux 一段时间后，您会很快注意到每天可以运行数百个命令。因此，如果您想查看之前输入的命令，运行历史记录命令特别有用。

man 命令

对某些 Linux 命令的功能感到困惑吗？不用担心，您可以使用 man 命令从 Linux 的外壳程序中轻松地学习如何使用它们。例如，输入 man tail 将显示 tail 命令的手动指令。

echo 命令

此命令用于将一些数据移到文件中。例如，如果要将文本 “Hello，我的名字叫 John” 添加到名为 name.txt 的文件中，则可以键入 echo Hello, my name is John name.txt

zip，unzip 命令

使用 zip 命令将文件压缩到 zip 归档文件中，然后使用 unzip 命令从 zip 归档文件中提取压缩文件。

hostname 命令

如果您想知道主机 / 网络的名称，只需键入 hostname。在末尾添加 - I 将显示您的网络的 IP 地址。

useradd，userdel 命令

linux查看日志的命令是？具体怎么用

tail -f 日志文件路径主要用于查看实时的日志记录，属于动态记录查看。

cat日志路径主要用于查看静态的历史日志记录，一般跟路径名称，常见的这周类型的日志记录一般用管道符进行过滤筛选自己所需的记录。

dmesg主要用于调试脚本或者命令，出现异常中断来排查错误原因显示的。

tail  -n  10  test.log，查询日志尾部最后10行的日志。

tail -n +10 test.log，查询10行之后的所有日志。

head -n 10  test.log，查询日志文件中的头10行日志。

head -n -10  test.log，查询日志文件除了最后10行的其他所有日志。

操作命令

首先介绍一个名词“控制台（console）”，它就是我们通常见到的使用字符操作界面的人机接口，例如dos。我们说控制台命令，就是指通过字符界面输入的可以操作系统的命令。

例如dos命令就是控制台命令。要了解的是基于Linux操作系统的基本控制台命令。有一点一定要注意，和dos命令不同的是，Linux的命令（也包括文件名等等）对大小写是敏感的，也就是说，如果你输入的命令大小写不对的话，系统是不会做出你期望的响应的。

Linux查看系统日志的一些常用命令

last

-a 把从何处登入系统的主机名称或ip地址，显示在最后一行。

-d 指定记录文件。指定记录文件。将IP地址转换成主机名称。

-f 记录文件 指定记录文件。

-n 显示列数或-显示列数 设置列出名单的显示列数。

-R 不显示登入系统的主机名称或IP地址。

-x 显示系统关机，重新开机，以及执行等级的改变等信息

以下看所有的重启、关机记录

last | grep reboot

last | grep shutdown

history

列出所有的历史记录：

[zzs@Linux] # history

只列出最近10条记录：

[zzs@linux] # history 10 (注,history和10中间有空格)

使用命令记录号码执行命令,执行历史清单中的第99条命令

[zzs@linux] #!99 (!和99中间没有空格)

重复执行上一个命令

[zzs@linux] #!!

执行最后一次以rpm开头的'命令(!? ?代表的是字符串,这个String可以随便输，Shell会从最后一条历史命令向前搜索，最先匹配的一条命令将会得到执行。)

[zzs@linux] #!rpm

逐屏列出所有的历史记录：

[zzs@linux]# history | more

立即清空history当前所有历史命令的记录

[zzs@linux] #history -c

cat, tail 和 watch

系统所有的日志都在 /var/log 下面自己看(具体用途可以自己查,附录列出一些常用的日志)

cat /var/log/syslog 等

cat /var/log/*.log

tail -f

如果日志在更新，如何实时查看 tail -f /var/log/messages

还可以使用 watch -d -n 1 cat /var/log/messages

-d表示高亮不同的地方，-n表示多少秒刷新一次。

该指令，不会直接返回命令行，而是实时打印日志文件中新增加的内容，

这一特性，对于查看日志是非常有效的。如果想终止输出，按 Ctrl+C 即可。

除此之外还有more, less ,dmesg|more,这里就不作一一列举了,因为命令太多了,关键看个人喜好和业务需求.个人常用的就是以上那些

linux日志文件说明

/var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一

/var/log/secure 与安全相关的日志信息

/var/log/maillog 与邮件相关的日志信息

/var/log/cron 与定时任务相关的日志信息

/var/log/spooler 与UUCP和news设备相关的日志信息

/var/log/boot.log 守护进程启动和停止相关的日志消息

/var/log/wtmp 该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件

网站栏目：linux日志命令大全 linux常用日志
文章网址：http://kswjz.com/article/dodocie.html