【踩坑】double和BigDecimal的精度问题
创始人
2024-03-08 01:05:16
0

【踩坑】double和bigdecimal的精度问题

  • 背景
    • debug尝试
  • 测试代码
    • 结果
  • 总结

背景

今天生产报了个问题,在申报和预算相同的金额的时候,后台返回超出预算。一开始以为是判断逻辑的问题,找了个数据试了下发现重现不出来。又是改数据又是找前端传参最后发现是接受参数处理的问题。

double转Bigdecimal,调用compare方法没有返回预期结果

部分代码如下

balanceFee.compareTo(new BigDecimal(amt)) >= 0

debug尝试

下面两个图是分别对100和100.6
debug如图
在这里插入图片描述
在这里插入图片描述
debug看上去都好像相同, 但是结果是, 100相同, 100.6不相同

测试代码

 public static void main(String[] args) {double d1 = 6.66;double d2 = 666.0 / 100.0;double d3 = Double.parseDouble("6.66");String s1 = "6.66";testDoubleBigdecimal(d1, d2,d3, s1);}private static void testDoubleBigdecimal(double d1, double d2, double d3, String s1) {BigDecimal bg1 = new BigDecimal(d1);BigDecimal bg2 = new BigDecimal(d2);BigDecimal bg3 = new BigDecimal(d3);BigDecimal bg4 = new BigDecimal(s1);System.out.println("double = " + bg1);System.out.println("double / = " + bg2);System.out.println("str 2 double = " + bg3);System.out.println("str = " + bg4);System.out.println("bg1.compareTo(bg2) = " + bg1.compareTo(bg2));System.out.println("bg1.compareTo(bg3) = " + bg1.compareTo(bg3));System.out.println("bg1.compareTo(bg4) = " + bg1.compareTo(bg4));System.out.println("bg2.compareTo(bg3) = " + bg2.compareTo(bg3));System.out.println("bg2.compareTo(bg4) = " + bg2.compareTo(bg4));System.out.println("bg3.compareTo(bg4) = " + bg3.compareTo(bg4));}

结果

分别用666.6和66.66测试

  • 666.6结果:

double = 666.6000000000000227373675443232059478759765625
double / = 666.6000000000000227373675443232059478759765625
str 2 double = 666.6000000000000227373675443232059478759765625
str = 666.6
bg1.compareTo(bg2) = 0
bg1.compareTo(bg3) = 0
bg1.compareTo(bg4) = 1
bg2.compareTo(bg3) = 0
bg2.compareTo(bg4) = 1
bg3.compareTo(bg4) = 1

  • 66.66结果

double = 66.659999999999996589394868351519107818603515625
double / = 66.659999999999996589394868351519107818603515625
str 2 double = 66.659999999999996589394868351519107818603515625
str = 66.66
bg1.compareTo(bg2) = 0
bg1.compareTo(bg3) = 0
bg1.compareTo(bg4) = -1
bg2.compareTo(bg3) = 0
bg2.compareTo(bg4) = -1
bg3.compareTo(bg4) = -1

总结

其实double有精度问题,这个是大家都知道的. 解决精度问题用BigDecimal也是很常见的手段, 但是这里不知道为什么controller的接口使用了double来接收.

  1. double有精度问题
  2. 使用BigDecimal最好用string来转化

最坑是在debug的时候, 由于代码是balanceFee.compareTo(new BigDecimal(amt)) >= 0
第一个balanceFee是字符串转化计算而来的,是准确的, 第二个amt是double, 在debug模式下浮窗显示的值也是精准的, 然而最重要的new BigDecimal(amt)却没有浮窗显示出值.
这样也就不难理解为什么debug的时候图上看上去是一样的值, 比较的结果却不是0了

相关内容

热门资讯

前端-session、jwt 目录:   (1)session (2&#x...
linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
nodejs:本地安装nvm实... 一、背景-使用不同版本node的原因 vue3+ts、nuxt3版本,node...
JAVA集合知识整理 Java集合知识整理 HashMap相关 HashMap的底层数据结构:jdk1.8之...
无刷直流电机介绍及单片机控制实... 无刷直流电机介绍及单片机控制实例前言基本概念优势与劣势使用寿命基本结构使用单片机控制实例电子调速器&...
fwdiary(2) dp2 1.传纸条  AcWing 275. 传纸条 - AcWing 走两条路,走一条最大的...
常用的DOS命令 常用的DOS命令 DOS(Disk Operating System,磁...
<C++> 类和对象(下) 1.const成员函数将const修饰的“成员函数”称之为const成员函数,cons...