mongodb实现请求日志存储
创始人
2024-04-25 05:45:56
0

引言

最近学习了mongodb,想实际应用到项目中,就先简单实现了一个存储请求日志的功能;

为什么使用mongodb存储日志,主要是因为日志数据量大、低价值、写入频繁,并且对事务要求不高,使用传统的关系型数据库存储这些数据时会比较浪费,所以一般使用传统的文件进行存储。而mongodb就是一个文档类型的数据库,并且写入速度快,添加字段随意,拓展性好等,非常适合存储日志这种数据;

下面我用一个案例演示一下实际应用:

环境java8、springboot

案例演示

先创建一个mongodb数据库:

db.tf_log.insert({requestId: "createInfo-test",url: "/test",ip: "127.0.0.1",className: "UserController",method: "getInfo",reqParam: "[]",createDate: new Date(),
})

springboot种操作mongodb的具体方法看这篇文章:mongodb开发项目总结(java实现crud)

存入请求日志的方法我使用了spring的aop特性,通过一个日志切面类在每次调用接口时存储请求:

/*** 请求响应日志 AOP** @author yanglingxiao**/
@Aspect
@Component
@Slf4j
public class LogInterceptor {@Resourceprivate MongoTemplate mongoTemplate;/*** 执行拦截*/@Around("execution(* com.yang.controller.*.*.*(..))")public Object doInterceptor(ProceedingJoinPoint point) throws Throwable {// 获取请求路径RequestAttributes requestAttributes = RequestContextHolder.currentRequestAttributes();HttpServletRequest httpServletRequest = ((ServletRequestAttributes) requestAttributes).getRequest();// 生成请求唯一 idString requestId = UUID.randomUUID().toString();// 获取urlString url = httpServletRequest.getRequestURI();// 获取ipString ip = IpUtils.getUserIP(httpServletRequest);// 获取请求参数Object[] args = point.getArgs();String reqParam = "[" + StringUtils.join(args, ", ") + "]";// 输出请求日志log.info("=============request start==============");log.info("id: {}, path: {}, ip: {}, params: {}, maximum memory: {}m, allocated memory: {}m, remain memory: {}m, maximum available memory: {}m", requestId, url, ip, reqParam,Runtime.getRuntime().maxMemory() / 1024 / 1024,Runtime.getRuntime().totalMemory() / 1024 / 1024,Runtime.getRuntime().freeMemory() / 1024 / 1024,(Runtime.getRuntime().maxMemory() - Runtime.getRuntime().totalMemory() + Runtime.getRuntime().freeMemory()) / 1024 / 1024);log.info("========================================");// 计时StopWatch stopWatch = new StopWatch();stopWatch.start();// 执行原方法Object result = point.proceed();stopWatch.stop(); // 计时结束// 输出响应日志long totalTimeMillis = stopWatch.getTotalTimeMillis();log.info("=============request end==============");log.info("id: {}, cost: {}ms", requestId, totalTimeMillis);log.info("========================================");// 存储mongodb日志LogBean logBean = new LogBean();logBean.setCreateDate(MongoUtils.getMongoDBDate());logBean.setClassName(point.getTarget().getClass().getSimpleName()); // 设置类名logBean.setMethod(point.getSignature().getName()); // 设置方法名logBean.setRequestId(requestId);logBean.setUrl(url);logBean.setIp(ip);logBean.setReqParam(reqParam);mongoTemplate.insert(logBean); // 写入mongodbreturn result;}
}

LogBean是数据库实体类:

@Document("tf_log")
@Data
public class LogBean {@Idprivate String id;private String requestId;private String url;@DateTimeFormat(pattern="yyyy-MM-dd")private Date createDate; // 请求时间private String ip; // ip地址private String className; // 类名private String method; // 方法名private String reqParam; // 请求参数
}

这样就能实现mongodb对请求日志的存储:

image-20221217120414730

下面补充一下代码中的工具类:

MongoUtils:

/*** mongodb工具类*/
public class MongoUtils {/*** 获取MongoDB的当前时间,时区UTC转GMT* @return GMT时区时间*/public static Date getMongoDBDate() {Calendar calendar = Calendar.getInstance();calendar.setTime(new Date());calendar.add(Calendar.HOUR_OF_DAY, +8);return calendar.getTime();}
}

因为mongodb存储时区差异,所以需要自己进行矫正,这里getMongoDBDate返回的就是当前正常的时间。
这只是一个简单应用,初学mongodb可以用到项目里,当然案例仅供参考。

至于mongodb日志太多移除问题,mongodb对于集合可以规定固定大小,比如100G,这样mongodb会按照LRU算法来复用空间,自动删除;当然我这里想到一个方法就是用定时任务,比如一个月删除一个前的日志等,灵活处理即可。

相关内容

热门资讯

前端-session、jwt 目录:   (1)session (2&#x...
linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
nodejs:本地安装nvm实... 一、背景-使用不同版本node的原因 vue3+ts、nuxt3版本,node...
JAVA集合知识整理 Java集合知识整理 HashMap相关 HashMap的底层数据结构:jdk1.8之...
无刷直流电机介绍及单片机控制实... 无刷直流电机介绍及单片机控制实例前言基本概念优势与劣势使用寿命基本结构使用单片机控制实例电子调速器&...
fwdiary(2) dp2 1.传纸条  AcWing 275. 传纸条 - AcWing 走两条路,走一条最大的...
常用的DOS命令 常用的DOS命令 DOS(Disk Operating System,磁...
<C++> 类和对象(下) 1.const成员函数将const修饰的“成员函数”称之为const成员函数,cons...