背景

我们公司项目组用的是elastic的一整套技术栈，es，kibana，filebeat和apm，目前已经可以采集网关+各个微服务的日志。

架构图

现在需要在原来的基础上把nginx这的日志也采集上来，方便做链路跟踪

问题与思路

原先traceId是在网关这层产生并且传递下去，因为nginx并不是java实现，没办法用agent方式处理，那么如何在nginx这层产生traceId 并且传递下去？

想到2种解决办法

nginx在1.11版本之后可以在http的header头设置request。

参考nginx 文档 http://nginx.org/en/docs/http/ngx_http_core_module.html#var_request_id

那么解决起来就简单了，在nginx开始的时候设置requestId，注意header里面的key必须是服务elastic的APM规范，让他可以识别出来是trace id。（这边只是给下思路，并没有实际去操作）

在响应的response设置traceid

因为nginx是在请求结束才打印日志，那么可以在gateway写一个filter，在response设置traceId，然后去nginx就可以获取的到traceid

思路二实战

设置nginx的日志格式

vi /{nginx_home}/conf/nginx.conf

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $request_time $request_length $bytes_sent $body_bytes_sent '
                      '$http_host $sent_http_traceid '
                      '"$upstream_addr" "$upstream_status" "$upstream_response_time" '
                      '"$http_referer" "$http_user_agent" "$http_x_forwarded_for"';

access_log  logs/access.log  main;

设置nginx输出的日志格式主要关注 $sent_http_traceid 用来获取header里的traceid

修改完文件之后记得重新加载 ./nginx -s reload

设置filebeat采集nginx日志

filebeat.inputs:
- type: log #多类日志需定义多个type
  enabled: true
  paths:
    - D:\nginx-1.23.2\logs\access.*
  exclude_files: ['\.gz$']
  encoding: utf-8
  fields:
    service_name: test1
    service_environment: test
    type: nginx.access
  ####### nginx error 日志文件 ########
- type: log
  enabled: true
  paths:
    - D:\nginx-1.23.2\logs\error.*
  exclude_files: ['\.gz$']
  encoding: utf-8
  fields:
    service_name: test1
    service_environment: test
    type: nginx.error

这边只展示了nginx的日志采集的input，主要是注意修改nginx的日志目录

在网关项目添加代码

添加maven依赖

 <dependency>
    <groupId>co.elastic.apm</groupId>
    <artifactId>apm-agent-api</artifactId>
    <version>1.30.1</version>
</dependency>

增加filter，在请求头添加traceId

import cn.hutool.core.collection.ListUtil;
import co.elastic.apm.api.ElasticApm;
import lombok.extern.slf4j.Slf4j;
import org.springframework.core.annotation.Order;
import org.springframework.stereotype.Component;
import org.springframework.web.server.ServerWebExchange;
import org.springframework.web.server.WebFilter;
import org.springframework.web.server.WebFilterChain;
import reactor.core.publisher.Mono;
/**
 * 设置trace id
 */
@Component
@Order(3)
@Slf4j
public class ApmTraceIdFilter implements WebFilter {

    @Override
    public Mono<Void> filter(ServerWebExchange exchange, WebFilterChain chain) {
        String apmTraceId = ElasticApm.currentTransaction().getTraceId();;
        exchange.getResponse().getHeaders().put("traceid", ListUtil.toList(apmTraceId));
        log.info("ApmTraceIdFilter设置trace.id:{}",apmTraceId);
        return chain.filter(exchange);
    }

}