最近学习了mongodb,想实际应用到项目中,就先简单实现了一个存储请求日志的功能;
为什么使用mongodb存储日志,主要是因为日志数据量大、低价值、写入频繁,并且对事务要求不高,使用传统的关系型数据库存储这些数据时会比较浪费,所以一般使用传统的文件进行存储。而mongodb就是一个文档类型的数据库,并且写入速度快,添加字段随意,拓展性好等,非常适合存储日志这种数据;
下面我用一个案例演示一下实际应用:
环境java8、springboot
先创建一个mongodb数据库:
db.tf_log.insert({requestId: "createInfo-test",url: "/test",ip: "127.0.0.1",className: "UserController",method: "getInfo",reqParam: "[]",createDate: new Date(),
})
springboot种操作mongodb的具体方法看这篇文章:mongodb开发项目总结(java实现crud)
存入请求日志的方法我使用了spring的aop特性,通过一个日志切面类在每次调用接口时存储请求:
/*** 请求响应日志 AOP** @author yanglingxiao**/
@Aspect
@Component
@Slf4j
public class LogInterceptor {@Resourceprivate MongoTemplate mongoTemplate;/*** 执行拦截*/@Around("execution(* com.yang.controller.*.*.*(..))")public Object doInterceptor(ProceedingJoinPoint point) throws Throwable {// 获取请求路径RequestAttributes requestAttributes = RequestContextHolder.currentRequestAttributes();HttpServletRequest httpServletRequest = ((ServletRequestAttributes) requestAttributes).getRequest();// 生成请求唯一 idString requestId = UUID.randomUUID().toString();// 获取urlString url = httpServletRequest.getRequestURI();// 获取ipString ip = IpUtils.getUserIP(httpServletRequest);// 获取请求参数Object[] args = point.getArgs();String reqParam = "[" + StringUtils.join(args, ", ") + "]";// 输出请求日志log.info("=============request start==============");log.info("id: {}, path: {}, ip: {}, params: {}, maximum memory: {}m, allocated memory: {}m, remain memory: {}m, maximum available memory: {}m", requestId, url, ip, reqParam,Runtime.getRuntime().maxMemory() / 1024 / 1024,Runtime.getRuntime().totalMemory() / 1024 / 1024,Runtime.getRuntime().freeMemory() / 1024 / 1024,(Runtime.getRuntime().maxMemory() - Runtime.getRuntime().totalMemory() + Runtime.getRuntime().freeMemory()) / 1024 / 1024);log.info("========================================");// 计时StopWatch stopWatch = new StopWatch();stopWatch.start();// 执行原方法Object result = point.proceed();stopWatch.stop(); // 计时结束// 输出响应日志long totalTimeMillis = stopWatch.getTotalTimeMillis();log.info("=============request end==============");log.info("id: {}, cost: {}ms", requestId, totalTimeMillis);log.info("========================================");// 存储mongodb日志LogBean logBean = new LogBean();logBean.setCreateDate(MongoUtils.getMongoDBDate());logBean.setClassName(point.getTarget().getClass().getSimpleName()); // 设置类名logBean.setMethod(point.getSignature().getName()); // 设置方法名logBean.setRequestId(requestId);logBean.setUrl(url);logBean.setIp(ip);logBean.setReqParam(reqParam);mongoTemplate.insert(logBean); // 写入mongodbreturn result;}
}
LogBean是数据库实体类:
@Document("tf_log")
@Data
public class LogBean {@Idprivate String id;private String requestId;private String url;@DateTimeFormat(pattern="yyyy-MM-dd")private Date createDate; // 请求时间private String ip; // ip地址private String className; // 类名private String method; // 方法名private String reqParam; // 请求参数
}
这样就能实现mongodb对请求日志的存储:
下面补充一下代码中的工具类:
MongoUtils:
/*** mongodb工具类*/
public class MongoUtils {/*** 获取MongoDB的当前时间,时区UTC转GMT* @return GMT时区时间*/public static Date getMongoDBDate() {Calendar calendar = Calendar.getInstance();calendar.setTime(new Date());calendar.add(Calendar.HOUR_OF_DAY, +8);return calendar.getTime();}
}
因为mongodb存储时区差异,所以需要自己进行矫正,这里getMongoDBDate返回的就是当前正常的时间。
这只是一个简单应用,初学mongodb可以用到项目里,当然案例仅供参考。
至于mongodb日志太多移除问题,mongodb对于集合可以规定固定大小,比如100G,这样mongodb会按照LRU算法来复用空间,自动删除;当然我这里想到一个方法就是用定时任务,比如一个月删除一个前的日志等,灵活处理即可。