mongodb实现请求日志存储
创始人
2024-04-25 05:45:56
0

引言

最近学习了mongodb,想实际应用到项目中,就先简单实现了一个存储请求日志的功能;

为什么使用mongodb存储日志,主要是因为日志数据量大、低价值、写入频繁,并且对事务要求不高,使用传统的关系型数据库存储这些数据时会比较浪费,所以一般使用传统的文件进行存储。而mongodb就是一个文档类型的数据库,并且写入速度快,添加字段随意,拓展性好等,非常适合存储日志这种数据;

下面我用一个案例演示一下实际应用:

环境java8、springboot

案例演示

先创建一个mongodb数据库:

db.tf_log.insert({requestId: "createInfo-test",url: "/test",ip: "127.0.0.1",className: "UserController",method: "getInfo",reqParam: "[]",createDate: new Date(),
})

springboot种操作mongodb的具体方法看这篇文章:mongodb开发项目总结(java实现crud)

存入请求日志的方法我使用了spring的aop特性,通过一个日志切面类在每次调用接口时存储请求:

/*** 请求响应日志 AOP** @author yanglingxiao**/
@Aspect
@Component
@Slf4j
public class LogInterceptor {@Resourceprivate MongoTemplate mongoTemplate;/*** 执行拦截*/@Around("execution(* com.yang.controller.*.*.*(..))")public Object doInterceptor(ProceedingJoinPoint point) throws Throwable {// 获取请求路径RequestAttributes requestAttributes = RequestContextHolder.currentRequestAttributes();HttpServletRequest httpServletRequest = ((ServletRequestAttributes) requestAttributes).getRequest();// 生成请求唯一 idString requestId = UUID.randomUUID().toString();// 获取urlString url = httpServletRequest.getRequestURI();// 获取ipString ip = IpUtils.getUserIP(httpServletRequest);// 获取请求参数Object[] args = point.getArgs();String reqParam = "[" + StringUtils.join(args, ", ") + "]";// 输出请求日志log.info("=============request start==============");log.info("id: {}, path: {}, ip: {}, params: {}, maximum memory: {}m, allocated memory: {}m, remain memory: {}m, maximum available memory: {}m", requestId, url, ip, reqParam,Runtime.getRuntime().maxMemory() / 1024 / 1024,Runtime.getRuntime().totalMemory() / 1024 / 1024,Runtime.getRuntime().freeMemory() / 1024 / 1024,(Runtime.getRuntime().maxMemory() - Runtime.getRuntime().totalMemory() + Runtime.getRuntime().freeMemory()) / 1024 / 1024);log.info("========================================");// 计时StopWatch stopWatch = new StopWatch();stopWatch.start();// 执行原方法Object result = point.proceed();stopWatch.stop(); // 计时结束// 输出响应日志long totalTimeMillis = stopWatch.getTotalTimeMillis();log.info("=============request end==============");log.info("id: {}, cost: {}ms", requestId, totalTimeMillis);log.info("========================================");// 存储mongodb日志LogBean logBean = new LogBean();logBean.setCreateDate(MongoUtils.getMongoDBDate());logBean.setClassName(point.getTarget().getClass().getSimpleName()); // 设置类名logBean.setMethod(point.getSignature().getName()); // 设置方法名logBean.setRequestId(requestId);logBean.setUrl(url);logBean.setIp(ip);logBean.setReqParam(reqParam);mongoTemplate.insert(logBean); // 写入mongodbreturn result;}
}

LogBean是数据库实体类:

@Document("tf_log")
@Data
public class LogBean {@Idprivate String id;private String requestId;private String url;@DateTimeFormat(pattern="yyyy-MM-dd")private Date createDate; // 请求时间private String ip; // ip地址private String className; // 类名private String method; // 方法名private String reqParam; // 请求参数
}

这样就能实现mongodb对请求日志的存储:

image-20221217120414730

下面补充一下代码中的工具类:

MongoUtils:

/*** mongodb工具类*/
public class MongoUtils {/*** 获取MongoDB的当前时间,时区UTC转GMT* @return GMT时区时间*/public static Date getMongoDBDate() {Calendar calendar = Calendar.getInstance();calendar.setTime(new Date());calendar.add(Calendar.HOUR_OF_DAY, +8);return calendar.getTime();}
}

因为mongodb存储时区差异,所以需要自己进行矫正,这里getMongoDBDate返回的就是当前正常的时间。
这只是一个简单应用,初学mongodb可以用到项目里,当然案例仅供参考。

至于mongodb日志太多移除问题,mongodb对于集合可以规定固定大小,比如100G,这样mongodb会按照LRU算法来复用空间,自动删除;当然我这里想到一个方法就是用定时任务,比如一个月删除一个前的日志等,灵活处理即可。

相关内容

热门资讯

保存时出现了1个错误,导致这篇... 当保存文章时出现错误时,可以通过以下步骤解决问题:查看错误信息:查看错误提示信息可以帮助我们了解具体...
汇川伺服电机位置控制模式参数配... 1. 基本控制参数设置 1)设置位置控制模式   2)绝对值位置线性模...
不能访问光猫的的管理页面 光猫是现代家庭宽带网络的重要组成部分,它可以提供高速稳定的网络连接。但是,有时候我们会遇到不能访问光...
表格中数据未显示 当表格中的数据未显示时,可能是由于以下几个原因导致的:HTML代码问题:检查表格的HTML代码是否正...
本地主机上的图像未显示 问题描述:在本地主机上显示图像时,图像未能正常显示。解决方法:以下是一些可能的解决方法,具体取决于问...
表格列调整大小出现问题 问题描述:表格列调整大小出现问题,无法正常调整列宽。解决方法:检查表格的布局方式是否正确。确保表格使...
不一致的条件格式 要解决不一致的条件格式问题,可以按照以下步骤进行:确定条件格式的规则:首先,需要明确条件格式的规则是...
Android|无法访问或保存... 这个问题可能是由于权限设置不正确导致的。您需要在应用程序清单文件中添加以下代码来请求适当的权限:此外...
【NI Multisim 14...   目录 序言 一、工具栏 🍊1.“标准”工具栏 🍊 2.视图工具...
银河麒麟V10SP1高级服务器... 银河麒麟高级服务器操作系统简介: 银河麒麟高级服务器操作系统V10是针对企业级关键业务...