Nginx按指定格式记录访问日志以及利用logrotate做日志轮转

今天突然想起来一个日志的一个东西,因为拉项目无意中看到了日志文件的一些东西,现在不经常做后端了,加上其他的一些原因吧.有时候有些问题也没想太多,马马虎虎就过了,后来想想还是要记录一下这方面的处理过程吧:

一般我们作为开发人员关注的日志只是在应用程序层面的,我们称它为应用程序日志,访问日志和错误日志可以被认为是应用程序日志的一部分，因为它们都与应用程序的运行状态和用户访问行为有关。

访问日志:

其实我们在用常用的web服务器上都有这项功能,我们这里用Nginx举例,我们的访问日志一般正常都是什么设备在什么地址访问了我们的什么资源,后端服务器的响应时间是多少,客户端请求处理的总时间是多少;请求使用的 HTTP 方法等等,常见的基本上就上面的这些了,那我们就可以在Nginx的HTTP块里面设置日志记录参数就行了,比如下面的配置:

http {

	##
	# Basic Settings
	##

	sendfile on;
	tcp_nopush on;
	types_hash_max_size 2048;
	# server_tokens off;

	# server_names_hash_bucket_size 64;
	# server_name_in_redirect off;

	include /etc/nginx/mime.types;
	default_type application/octet-stream;

	##
	# SSL Settings
	##

	ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3; # Dropping SSLv3, ref: POODLE
	ssl_prefer_server_ciphers on;

	##
	# Logging Settings
	##

	log_format main '$remote_addr | $remote_user | [$time_local] | "$request" '
                  ' | $status $body_bytes_sent | "$http_referer" '
                  '| "$http_user_agent" | "$http_x_forwarded_for" | "$request_method" | request_total_time:"$request_time" | "$upstream_response_time"';
        access_log /var/log/nginx/access.log main;
	error_log /var/log/nginx/error.log;

	##
	# Gzip Settings
	##

	gzip on;

	# gzip_vary on;
	# gzip_proxied any;
	# gzip_comp_level 6;
	# gzip_buffers 16 8k;
	# gzip_http_version 1.1;
	# gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;

	##
	# Virtual Host Configs
	##

	include /etc/nginx/conf.d/*.conf;
	include /etc/nginx/sites-enabled/*;
}

首先我们肯定先把访问日志打开(access_log),然后阐述一下上面的参数:

$remote_addr: 客户端的 IP 地址。
$remote_user: 如果有身份验证，表示经过身份验证的用户的用户名；否则为连接符（-）。
[$time_local]: 服务器本地时间，用方括号括起来，表示请求被处理的时间。
"$request": 包含 HTTP 方法、请求的 URL 和 HTTP 协议的请求的第一行。
$status: 服务器响应的 HTTP 状态码（例如，200 表示成功）。
$body_bytes_sent: 发送给客户端的响应主体的大小，以字节为单位。
"$http_referer": 发起请求的页面的 URL，通过 Referer HTTP 头部提供。
"$http_user_agent": 发起请求的客户端的用户代理（例如，浏览器）。
"$http_x_forwarded_for": 如果请求通过代理服务器或负载均衡器，该字段可能包含一个逗号分隔的客户端 IP 地址列表。
"$request_method": 请求中使用的 HTTP 方法（例如，GET、POST）。
request_total_time:"$request_time": 自定义的日志字段，表示请求的总时间，从读取客户端的第一个字节开始，到最后一个字节发送给客户端为止的总时间，以秒为单位。
"$upstream_response_time": 与上游服务器通信的时间，从 Nginx 发送请求到接收到上游服务器响应的整个时间，以秒为单位。所以你会看到它永远大于等于request_total_time值

然后我们重启一下Nginx 服务器,再去请求就可以看到日志文件已经陆续写入了:看一下效果

你会看到access.log已经开始记录了,那如果我们每每天都会有大量的记录放在同一个文件会不会时间就了会很臃肿这个文件,至于这个问题你可以用 logrotate 日志轮转操作去解决, 这边我用了小时级别的划分,每隔一个小时都会轮转一下;

/var/log/nginx/*.log {
       hourly                   # 指定轮转的频率为每小时
        missingok                # 如果日志文件不存在，不报错，继续轮转下一个日志文件
        rotate 14                # 保留旧日志文件的个数，超过这个数量就会被删除
        compress                 # 压缩旧的日志文件
        delaycompress            # 在下次轮转时再压缩，以便应用程序有更多时间写入日志
        notifempty               # 如果日志文件为空，不轮转
        create 0640 www-data adm # 创建新的日志文件时，设置文件权限和所有者
        sharedscripts            # 共享 postrotate 和 prerotate 脚本，只在所有相关日志都被轮转后执行一次
        prerotate                # 在轮转之前执行的脚本
                if [ -d /etc/logrotate.d/httpd-prerotate ]; then \
                        run-parts /etc/logrotate.d/httpd-prerotate; \
                fi
        endscript
        postrotate               # 在轮转之后执行的脚本
                invoke-rc.d nginx rotate >/dev/null 2>&1
        endscript
}
~

所以你会看到很多access.log文件,比如