Nginx的日志功能

1. Nginx日志功能介紹

通常，在生產(chǎn)環(huán)境中使用 Nginx 進行反向代理和負載均衡或者各種其他處理時，良好的日志記錄是非常關鍵的一環(huán)。通過精心配置的 Nginx 日志，我們可以獲取用戶的真實 ip、瀏覽器信息，請求處理時間，請求URL等，這樣方便我們排查和回溯錯誤。具體要記錄哪些信息，可以通過 Nginx 中的 log_format 指令定義，由它定義日志的格式。而對于使用哪種日志格式和設置日志的保存路徑則由 access_log 指令指定的。另外在 Nginx 中還有一個配置服務器和請求處理過程中的錯誤信息的指令，那就是 error_log指令。最后，如果在配置的日志文件路徑中使用了變量，我們可以通過open_log_file_cache指令來設置緩存，提升性能。對于大型的網(wǎng)站而言，大量的 http 請求意味著大量的日志記錄，及時按天或按大小進行 Nginx 日志備份也至關重要的。

在 Nginx 的日志模塊主要有2個, ngx_stream_log_module 和 ngx_http_log_module，分別表示四層的日志模塊和七層的日志模塊，其指令和用法都是一致的，接下來我們只針對 http 請求的日志進行說明和使用。

2. 日志相關指令說明

在 ngx_http_log_module 模塊中，只3個指令，分別是 access_log、log_format 和 open_log_file_cache。這些指令具體的格式如下：

Syntax:	access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];
access_log off;
Default: access_log logs/access.log combined;
Context: http, server, location, if in location, limit_except

Syntax:	log_format name [escape=default|json|none] string ...;
Default: log_format combined "...";
Context: http

Syntax:	open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];
open_log_file_cache off;
Default: open_log_file_cache off;
Context: http, server, location

ngx_http_log_module 模塊用來按某個格式來記錄請求的日志。模塊中的 log_format 指令就是用來設置打印日志的格式，該指令中可以使用 Nginx 中的各種變量，比如保存遠端ip地址的變量$remote_addr等。一個簡單的示例如下：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

接下來是 access_log 指令。參考前面的指令格式。關閉日志記錄，直接是寫access_log off，如果打開 access 日志，它的寫法是:

access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];

• path 是指定日志的寫入路徑，默認寫入 logs/access.log 文件中。注意日志路徑可以包變量，但是會一些限制。
• format 就是指定打的日志格式，也就是前面 log_format 指令定義好的格式。每個格式會設置一個格式名，這里取對應的格式名稱，默認使用預定義的combined。
• buffer 用來指定日志寫入時的緩存大小。默認是64k。
• gzip 日志寫入前先進行壓縮。壓縮率可以指定，從1到9數(shù)值越大壓縮比越高，同時壓縮的速度也越慢。默認是1。
• flush 設置緩存的有效時間。如果超過flush指定的時間，緩存中的內(nèi)容將被清空。
• if 條件判斷。如果指定的條件計算為0或空字符串，那么該請求不會寫入日志。

access_log 指令示例:

# 確保 Nginx 源碼編譯時安裝了zlib庫
access_log /path/to/log.gz combined gzip flush=5m;

map $status $loggable {
    ~^[23]  0;
    default 1;
}

# if條件判斷, 如果請求的相應碼是2xx或者3xx，那么$loggable變量為0，這樣請求日志不會被打印
access_log /path/to/access.log main if=$loggable;

每一條日志記錄的寫入都是先打開文件再寫入記錄，然后關閉日志文件。如果你的日志文件路徑中使用了變量，如access_log /var/logs/$host/access.log，為提高性能，可以使用 open_log_file_cache 指令設置日志文件描述符的緩存。可以通過open_log_file_cache off關閉該緩存。該指令的幾個參數(shù)選項說明如下：

• max: 設置緩存中最多容納的文件描述符數(shù)量，如果被占滿，采用LRU算法將描述符關閉。
• inactive: 設置緩存存活時間，默認是10s。
• min_uses: 在inactive時間段內(nèi)，日志文件最少使用幾次，該日志文件描述符記入緩存，默認是1次。
• valid: 設置多久對日志文件名進行檢查，看是否發(fā)生變化，默認是60s。

open_log_file_cache max=100 inactive=15s valid=1m min_uses=2;

最后 error_log 是 錯誤日志配置指令，主要記錄客戶端訪問 Nginx 出錯時的日志，它不不支持自定義日志格式。通過檢查錯誤日志，可以快速定位線上問題，所以也是很重要的。關閉錯誤日志的方式和 access_log不一樣，沒有error_log off這樣關錯誤日志的用法，反而會將錯誤日志打到名為 off 的文件中。常用的關閉方式是:

error_log /dev/null;  

就像在 Linux 系統(tǒng)中，輸出到 /dev/null 的內(nèi)容實際上等價于丟棄一樣。

3. Nginx 日志切割

Nginx 的日志切割實現(xiàn)的核心是使用 nginx 命令的 reopen 參數(shù)實現(xiàn)，該參數(shù)的含義是重新開始記錄日志文件。人工切的做法就是凌晨將日志備份，然后執(zhí)行帶reopen參數(shù)的命令:

# 備份相關的日志
[root@server sbin] mv ../logs/access.log ../logs/bak/access-2020-02-04.log
[root@server sbin] mv ../logs/error.log ../logs/bak/error-2020-02-04.log
[root@server sbin] ./nginx -s reopen

執(zhí)行后會重新生成 access.log 和 error.log，這就是手工切割的方式。通常我們會用 shell 腳本和定時任務來幫我我們完成自動切割。首先準備如下的 shell 腳本，它完成日志的備份以及給 nginx 進程發(fā)生 reopen 信號。

#!/binbash
NGX_DIR=/root/nginx
NGX_LOG_PATH=$NGX_DIR/logs
NGX_LGO_BAK_PATH=/var/log/ngx_log_bak

YESTERDAY=$(date -d "yesterday" +%Y-%m-%d)

mv ${NGX_LOG_PATH}/access.log ${NGX_LGO_BAK_PATH}/access-${YESTERDAY}.log
mv ${NGX_LOG_PATH}/error.log ${NGX_LGO_BAK_PATH}/error-${YESTERDAY}.log

# 想 Nginx 主進程發(fā)生 USR1 信號，等價于 -s reopen 選項，重新打開日志文件
kill -USR1 ${NGX_DIR}/log/nginx.pid

接下來，只要將這個腳本加入到 crontab 中即可，如下操作:

$ crontab -e
# 上面打開的頁面中輸入如下行:
0 0 * * *  /root/nginx/nginx_log_rotate.sh

# 查看定時任務
$ crontab -l
0 0 * * *  /root/nginx/nginx_log_rotate.sh

4. 案例演示

我們在 nginx.conf 中添加如下的日志配置:

...

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    map $status $loggable {
        ~^[34]  0;
        default 1;
    }

    access_log  logs/access.log  main if=$loggable;

    server {
        listen 8000;
        return 200 '8000, server\n';
    }

    server {
        listen 8001;
        return 300 '8001, server\n';
    }

    server {
        listen 8002;
        return 401 '8002, server\n';
    }

    ...
    
}

...

這里我們綜合了前面涉及的知識，這里只簡單測試日志配置中 if 功能。我們設置請求的相應碼為 3xx 和 4xx 時，日志不會記錄。接下來，啟動或者熱加載 Nginx， 然后分別對應三個端口發(fā)送 http 請求并觀察 access.log 日志:

[shen@shen ~]$ curl http://180.76.152.113:8000 -I
HTTP/1.1 200 OK
Server: nginx/1.17.6
Date: Tue, 04 Feb 2020 13:31:03 GMT
Content-Type: application/octet-stream
Content-Length: 13
Connection: keep-alive

[shen@shen ~]$ curl http://180.76.152.113:8001 -I
HTTP/1.1 300 
Server: nginx/1.17.6
Date: Tue, 04 Feb 2020 13:31:06 GMT
Content-Type: application/octet-stream
Content-Length: 13
Connection: keep-alive

[shen@shen ~]$ curl http://180.76.152.113:8002 -I
HTTP/1.1 401 Unauthorized
Server: nginx/1.17.6
Date: Tue, 04 Feb 2020 13:31:08 GMT
Content-Type: application/octet-stream
Content-Length: 13
Connection: keep-alive

# 到 Nginx 主機上觀察 access.log 日志，發(fā)現(xiàn)只有響應碼為200的請求記錄了日志
[root@server nginx]# tail -f logs/access.log

171.82.186.225 - - [04/Feb/2020:21:33:24 +0800] "HEAD / HTTP/1.1" 200 0 "-" "curl/7.29.0" "-"

5. 小結

本小節(jié)我們介紹了 log 相關的指令，包括訪問日志和錯誤日志的指令。此外還介紹了 Nginx 中對日志切割的常用處理方法，這也是生產(chǎn)環(huán)境上使用日志備份的手段。