引言
最近学习了mongodb,想实际应用到项目中,就先简单实现了一个存储请求日志的功能;
为什么使用mongodb存储日志,主要是因为日志数据量大、低价值、写入频繁,并且对事务要求不高,使用传统的关系型数据库存储这些数据时会比较浪费,所以一般使用传统的文件进行存储。而mongodb就是一个文档类型的数据库,并且写入速度快,添加字段随意,拓展性好等,非常适合存储日志这种数据;
下面我用一个案例演示一下实际应用:
环境java8、springboot
案例演示
先创建一个mongodb数据库:
db.tf_log.insert({
requestId: "createInfo-test",
url: "/test",
ip: "127.0.0.1",
className: "UserController",
method: "getInfo",
reqParam: "[]",
createDate: new Date(),
})
springboot种操作mongodb的具体方法看这篇文章:mongodb开发项目总结(java实现crud)
存入请求日志的方法我使用了spring的aop特性,通过一个日志切面类在每次调用接口时存储请求:
/**
* 请求响应日志 AOP
*
* @author yanglingxiao
**/
@Aspect
@Component
@Slf4j
public class LogInterceptor {
@Resource
private MongoTemplate mongoTemplate;
/**
* 执行拦截
*/
@Around("execution(* com.yang.controller.*.*.*(..))")
public Object doInterceptor(ProceedingJoinPoint point) throws Throwable {
// 获取请求路径
RequestAttributes requestAttributes = RequestContextHolder.currentRequestAttributes();
HttpServletRequest httpServletRequest = ((ServletRequestAttributes) requestAttributes).getRequest();
// 生成请求唯一 id
String requestId = UUID.randomUUID().toString();
// 获取url
String url = httpServletRequest.getRequestURI();
// 获取ip
String ip = IpUtils.getUserIP(httpServletRequest);
// 获取请求参数
Object[] args = point.getArgs();
String reqParam = "[" + StringUtils.join(args, ", ") + "]";
// 输出请求日志
log.info("=============request start==============");
log.info("id: {}, path: {}, ip: {}, params: {}, maximum memory: {}m, allocated memory: {}m, remain memory: {}m, maximum available memory: {}m"
, requestId, url, ip, reqParam,
Runtime.getRuntime().maxMemory() / 1024 / 1024,
Runtime.getRuntime().totalMemory() / 1024 / 1024,
Runtime.getRuntime().freeMemory() / 1024 / 1024,
(Runtime.getRuntime().maxMemory() - Runtime.getRuntime().totalMemory() + Runtime.getRuntime().freeMemory()) / 1024 / 1024);
log.info("========================================");
// 计时
StopWatch stopWatch = new StopWatch();
stopWatch.start();
// 执行原方法
Object result = point.proceed();
stopWatch.stop(); // 计时结束
// 输出响应日志
long totalTimeMillis = stopWatch.getTotalTimeMillis();
log.info("=============request end==============");
log.info("id: {}, cost: {}ms", requestId, totalTimeMillis);
log.info("========================================");
// 存储mongodb日志
LogBean logBean = new LogBean();
logBean.setCreateDate(MongoUtils.getMongoDBDate());
logBean.setClassName(point.getTarget().getClass().getSimpleName()); // 设置类名
logBean.setMethod(point.getSignature().getName()); // 设置方法名
logBean.setRequestId(requestId);
logBean.setUrl(url);
logBean.setIp(ip);
logBean.setReqParam(reqParam);
mongoTemplate.insert(logBean); // 写入mongodb
return result;
}
}
LogBean是数据库实体类:
@Document("tf_log")
@Data
public class LogBean {
@Id
private String id;
private String requestId;
private String url;
@DateTimeFormat(pattern="yyyy-MM-dd")
private Date createDate; // 请求时间
private String ip; // ip地址
private String className; // 类名
private String method; // 方法名
private String reqParam; // 请求参数
}
这样就能实现mongodb对请求日志的存储:
下面补充一下代码中的工具类:
MongoUtils:
/**
* mongodb工具类
*/
public class MongoUtils {
/**
* 获取MongoDB的当前时间,时区UTC转GMT
* @return GMT时区时间
*/
public static Date getMongoDBDate() {
Calendar calendar = Calendar.getInstance();
calendar.setTime(new Date());
calendar.add(Calendar.HOUR_OF_DAY, +8);
return calendar.getTime();
}
}
因为mongodb存储时区差异,所以需要自己进行矫正,这里getMongoDBDate返回的就是当前正常的时间。
这只是一个简单应用,初学mongodb可以用到项目里,当然案例仅供参考。
至于mongodb日志太多移除问题,mongodb对于集合可以规定固定大小,比如100G,这样mongodb会按照LRU算法来复用空间,自动删除;当然我这里想到一个方法就是用定时任务,比如一个月删除一个前的日志等,灵活处理即可。