mongodb实现请求日志存储

news2024/9/30 3:35:00

引言

最近学习了mongodb,想实际应用到项目中,就先简单实现了一个存储请求日志的功能;

为什么使用mongodb存储日志,主要是因为日志数据量大、低价值、写入频繁,并且对事务要求不高,使用传统的关系型数据库存储这些数据时会比较浪费,所以一般使用传统的文件进行存储。而mongodb就是一个文档类型的数据库,并且写入速度快,添加字段随意,拓展性好等,非常适合存储日志这种数据;

下面我用一个案例演示一下实际应用:

环境java8、springboot

案例演示

先创建一个mongodb数据库:

db.tf_log.insert({
    requestId: "createInfo-test",
    url: "/test",
    ip: "127.0.0.1",
    className: "UserController",
    method: "getInfo",
    reqParam: "[]",
    createDate: new Date(),
})

springboot种操作mongodb的具体方法看这篇文章:mongodb开发项目总结(java实现crud)

存入请求日志的方法我使用了spring的aop特性,通过一个日志切面类在每次调用接口时存储请求:

/**
 * 请求响应日志 AOP
 *
 * @author yanglingxiao
 **/
@Aspect
@Component
@Slf4j
public class LogInterceptor {

    @Resource
    private MongoTemplate mongoTemplate;

    /**
     * 执行拦截
     */
    @Around("execution(* com.yang.controller.*.*.*(..))")
    public Object doInterceptor(ProceedingJoinPoint point) throws Throwable {
        // 获取请求路径
        RequestAttributes requestAttributes = RequestContextHolder.currentRequestAttributes();
        HttpServletRequest httpServletRequest = ((ServletRequestAttributes) requestAttributes).getRequest();
        // 生成请求唯一 id
        String requestId = UUID.randomUUID().toString();
        // 获取url
        String url = httpServletRequest.getRequestURI();
        // 获取ip
        String ip = IpUtils.getUserIP(httpServletRequest);
        // 获取请求参数
        Object[] args = point.getArgs();
        String reqParam = "[" + StringUtils.join(args, ", ") + "]";
        // 输出请求日志
        log.info("=============request start==============");
        log.info("id: {}, path: {}, ip: {}, params: {}, maximum memory: {}m, allocated memory: {}m, remain memory: {}m, maximum available memory: {}m"
                , requestId, url, ip, reqParam,
                Runtime.getRuntime().maxMemory() / 1024 / 1024,
                Runtime.getRuntime().totalMemory() / 1024 / 1024,
                Runtime.getRuntime().freeMemory() / 1024 / 1024,
                (Runtime.getRuntime().maxMemory() - Runtime.getRuntime().totalMemory() + Runtime.getRuntime().freeMemory()) / 1024 / 1024);
        log.info("========================================");
        // 计时
        StopWatch stopWatch = new StopWatch();
        stopWatch.start();
        // 执行原方法
        Object result = point.proceed();
        stopWatch.stop(); // 计时结束
        // 输出响应日志
        long totalTimeMillis = stopWatch.getTotalTimeMillis();
        log.info("=============request end==============");
        log.info("id: {}, cost: {}ms", requestId, totalTimeMillis);
        log.info("========================================");
        // 存储mongodb日志
        LogBean logBean = new LogBean();
        logBean.setCreateDate(MongoUtils.getMongoDBDate());
        logBean.setClassName(point.getTarget().getClass().getSimpleName()); // 设置类名
        logBean.setMethod(point.getSignature().getName()); // 设置方法名
        logBean.setRequestId(requestId);
        logBean.setUrl(url);
        logBean.setIp(ip);
        logBean.setReqParam(reqParam);
        mongoTemplate.insert(logBean); // 写入mongodb
        return result;
    }
}

LogBean是数据库实体类:

@Document("tf_log")
@Data
public class LogBean {
    @Id
    private String id;
    private String requestId;
    private String url;
    @DateTimeFormat(pattern="yyyy-MM-dd")
    private Date createDate; // 请求时间
    private String ip; // ip地址
    private String className; // 类名
    private String method; // 方法名
    private String reqParam; // 请求参数
}

这样就能实现mongodb对请求日志的存储:

image-20221217120414730

下面补充一下代码中的工具类:

MongoUtils:

/**
 * mongodb工具类
 */
public class MongoUtils {

    /**
     * 获取MongoDB的当前时间,时区UTC转GMT
     * @return GMT时区时间
     */
    public static Date getMongoDBDate() {
        Calendar calendar = Calendar.getInstance();
        calendar.setTime(new Date());
        calendar.add(Calendar.HOUR_OF_DAY, +8);
        return calendar.getTime();
    }
}

因为mongodb存储时区差异,所以需要自己进行矫正,这里getMongoDBDate返回的就是当前正常的时间。
这只是一个简单应用,初学mongodb可以用到项目里,当然案例仅供参考。

至于mongodb日志太多移除问题,mongodb对于集合可以规定固定大小,比如100G,这样mongodb会按照LRU算法来复用空间,自动删除;当然我这里想到一个方法就是用定时任务,比如一个月删除一个前的日志等,灵活处理即可。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/96379.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java强软弱虚引用和ThreadLocal工作原理(二)

1. 前言 读本篇文章之前,请移步到上一篇文章Java强软弱虚引用和ThreadLocal工作原理(一)_broadview_java的博客-CSDN博客 我们继续来讲一下java的强软弱引用在Android开发中的使用,并深入理解一下ThreadLocal的原理 2. 强软弱引…

Pro3:js实现放大镜效果

在我们平时见到很多购物网站都会有放大镜效果的出现,当我们将鼠标放在一个商品图片的上面,就会在旁边出现对应的放大效果。 实现步骤 实现原理是非常简单的,实际上是两张图片,一张原图和一张更大尺寸的图片。一开始通过css样式…

MessageFormat的具体使用(格式化消息)

文章目录1. 前言2. 先说结论3. 在结论上补充其他更加特殊情况1. 数字类型可以使用#字符来确认精度2. 数组类型转化需要注意3. 输出特殊字符4. 如何判断一个String是否有替换位4. 粗略原理1. 前言 在工作中发现接口的返回报文,大部分公司通常都会封装一层&#xff0c…

2022-LCLR-DIFFDOCK: DIFFUSION STEPS, TWISTS, AND TURNS FOR MOLECULAR DOCKING

2022-LCLR-DIFFDOCK: DIFFUSION STEPS, TWISTS, AND TURNS FOR MOLECULAR DOCKING Paper: https://arxiv.org/abs/2210.01776 Code: https://github.com/gcorso/DiffDock 预测小分子配体与蛋白质的结合结构(称为分子对接)是药物设计的关键。最近的深度学习方法将对接视为一个回…

GB/T 20984-2022《信息安全技术 信息安全风险评估方法》解读

前言 近年来,信息安全风险评估工作逐步在国家基础信息网络及重要行业信息系统中普遍推行,信息安全风险评估是信息安全保障工作的基础和重要环节,日前, GB/T 20984-2022 《信息安全技术 信息安全风险评估方法》发布,将…

oracle学习篇(四)

oracle学习篇(四) 1 PL/SQL异常处理 1.1 预定义异常 1.1.1 内容 oracle里面已经存在的异常 如果是自定义异常,一般写的编号是20000-20999之间1.1.2 处理异常语法 exceptionwhen 异常类型1 then输出异常类型信息1;when 异常信息2 then输出异常类型信息2;--以上都…

MR案例:学生排序(单字段排序、多字段排序)

文章目录一、提出任务二、完成任务(一)准备数据1、在虚拟机上创建文本文件2、上传文件到HDFS指定目录(二)实现步骤1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、创建学生实体类5、创建学生映射器类5、创建学生归并器类6…

JS中操作<select>标签选的值

JS中操作<select>标签选的值 <select>标签是一种表单控件&#xff0c;用来创建下拉列表。在<select> 标签内可用 <option> 标签定义下拉列表中的可用选项。下面给出一个基本下拉列表示例&#xff1a; <!DOCTYPE html> <html lang"zh&q…

Codeforces Round #838 (Div. 2)

A. Divide and Conquer 题目链接&#xff1a;Problem - A - Codeforces 样例输入&#xff1a; 4 4 1 1 1 1 2 7 4 3 1 2 4 1 15样例输出&#xff1a; 0 2 1 4题意&#xff1a;一个数组是好的当且仅当所有的元素和是一个偶数&#xff0c;现在给我们一个初始数组&#xff0c;我…

Android---组件化

1、单体应用 所有代码写在一个工程里。不同业务写到各自模块&#xff0c;以包名来区分。 弊端 1、无论包名做的再好&#xff0c;随着项目扩大&#xff0c;项目失去层次感&#xff0c;接受吃力。 2、报名作为约束&#xff0c;太弱了。一不注意就会出现不同业务之间之间相互调…

【算法数据结构专题】「限流算法专项」带你认识常用的限流算法的技术指南(分析篇)

限流 限流的目的是通过对并发访问/请求进行限速&#xff0c;或者对一个时间窗口内的请求进行限速来保护系统&#xff0c;一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理 限流一词常用于计算机网络之中&#xff0c;定义如下&#xff1a; In computer networks, rate l…

接口测试(七)—— 参数化、数据库操作类封、接口自动化框架

目录 一、接口自动化测试框架 1、目录结构 二、封装iHRM登录 1、普通方式实现 2、登录接口对象层 3、登录接口测试用例层 4、封装断言方法 三、参数化 1、回顾UnitTest参数化 1.1 原始案例 1.2 参数化实现 1.3 从json文件读取 2、登录接口参数化 2.1 组织数据文…

java8流操作之不常用但是很好用的隐藏api

前言 1、一些普通的方式就不再多说了&#xff0c;这里主要说一些不常用的&#xff0c;但是作用很大的api方式 2、如果想要细致了解可以参考 JAVA8的流操作&#xff0c;十分推荐 一、flatMap 1、这个api主要是用来推平流的&#xff0c;和map不一致&#xff0c;map是对象到对…

Python基础(十六):函数的初步认识

文章目录 函数的初步认识 一、函数的作用 二、函数的使用步骤 1、定义函数 2、调用函数 3、快速体验 三、函数的参数作用 四、函数的返回值作用 1、应用 五、函数的说明文档 1、语法 2、快速体验 3、函数嵌套调用 七、函数应用 1、打印图形 2、函数计算 八、总…

还在为多张Excel汇总统计发愁?Python 秒处理真香!

为什么越来越多的非程序员白领都开始学习 Python &#xff1f;他们可能并不是想要学习 Python 去爬取一些网站从而获得酷酷的成就感&#xff0c;而是工作中遇到好多数据分析处理的问题&#xff0c;用 Python 就可以简单高效地解决。本文就通过一个实际的例子来给大家展示一下 P…

新手传奇gm架设要学会的几个修改技巧

每个传奇gm对于架设一个服务器都有自己独立的看法和想法&#xff0c;一些人之所以会想着要架设一个传奇私服主要原因是自己在其他人的服力玩得不是那么舒心。所以想要按照自己的想法和思路打造一个适合自己的专属服务器进行游戏&#xff0c;其实这两者之间是有必然联系的&#…

毕业三年活得像个废物,转行网络安全,写给像我一样迷茫的人...

首先说说我吧&#xff0c;普通二本非科班商贸专业毕业&#xff0c;三年了&#xff0c;做过电商&#xff0c;做过新媒体&#xff0c;做过业务员&#xff0c;从躺平到摆烂&#xff0c;一开始还挺享受这样的生活的&#xff0c;毕竟每月4千工资&#xff0c;抛出吃住&#xff0c;剩个…

重学webpack系列(八) -- webpack的运行机制与工作原理

前面几个章节我们分别去探索了webpack的loader机制、plugin机制、devServer、sourceMap、HMR&#xff0c;但是你是否知道这些配置项是怎么去跟webpack本身执行机制挂钩的呢&#xff1f;这一章我们就来探索一下webpack的运行机制与工作原理吧。 webpack核心工作过程 我们打开w…

第十四章 文件操作

1.文件的基本操作 文件&#xff0c;对我们并不陌生&#xff0c;文件是数据源&#xff08;保存数据的地方&#xff09;的一种&#xff0c;比如大家经常使用的Word文档&#xff0c;TXT文件&#xff0c;excel文件…都是文件。文件最主要的作用就是保存数据&#xff0c;它既可以保…

用户虚拟地址空间管理-mm_struct

一、进程虚拟地址空间管理概览 二、mm_struct结构体的主要成员 atomic_t mm_users;共享同一个用户虚拟地址空间的进程的数量&#xff0c;也就是线程组包含的进程的数量atomic_t mm_count;内存描述符的引用计数struct vm_area_struct *mmap;虚拟内存区域链表struct rb_root mm_…