- 当前位置：首页 >IT科技 >震精！Spring Boot内存泄露，排查竟这么难！
震精！Spring Boot内存泄露，排查竟这么难！
发布时间：2025-11-05 12:00:58 来源：云智核 作者：域名
为了更好地实现对项目的震精管理，我们将组内一个项目迁移到MDP框架（基于Spring Boot），内存随后我们就发现系统会频繁报出Swap区域使用量过高的泄露异常。笔者被叫去帮忙查看原因，排查发现配置了4G堆内内存，竟难但是震精实际使用的物理内存竟然高达7G，确实不正常。内存JVM参数配置是泄露“-XX:MetaspaceSize=256M -XX:MaxMetaspaceSize=256M -XX:+AlwaysPreTouch -XX:ReservedCodeCacheSize=128m -XX:InitialCodeCacheSize=128m, -Xss512k -Xmx4g -Xms4g,-XX:+UseG1GC -XX:G1HeapRegionSize=4M”，实际使用的排查物理内存如下图所示：
top命令显示的内存情况
排查过程
1. 使用Java层面的工具定位内存区域（堆内内存、Code区域或者使用unsafe.allocateMemory和DirectByteBuffer申请的竟难堆外内存）
笔者在项目中添加-XX:NativeMemoryTracking=detailJVM参数重启项目，使用命令jcmd pid VM.native_memory detail查看到的震精内存分布如下：
jcmd显示的内存情况
发现命令显示的committed的内存小于物理内存，因为jcmd命令显示的内存内存包含堆内内存、Code区域、泄露通过unsafe.allocateMemory和DirectByteBuffer申请的排查内存，但是竟难不包含其他Native Code（C代码）申请的堆外内存。所以猜测是使用Native Code申请内存所导致的云南idc服务商问题。
为了防止误判，笔者使用了pmap查看内存分布，发现大量的64M的地址；而这些地址空间不在jcmd命令所给出的地址空间里面，基本上就断定就是这些64M的内存所导致。
pmap显示的内存情况
2、使用系统层面的工具定位堆外内存
因为笔者已经基本上确定是Native Code所引起，而Java层面的工具不便于排查此类问题，只能使用系统层面的工具去定位问题。
首先，使用了gperftools去定位问题
gperftools的使用方法可以参考gperftools，gperftools的监控如下：
gperftools监控
从上图可以看出：使用malloc申请的的内存最高到3G之后就释放了，之后始终维持在700M-800M。笔者第一反应是：难道Native Code中没有使用malloc申请，直接使用mmap/brk申请的？（gperftools原理就使用动态链接的方式替换了操作系统默认的内存分配器（glibc）。亿华云）
然后，使用strace去追踪系统调用
因为使用gperftools没有追踪到这些内存，于是直接使用命令“strace -f -e”brk,mmap,munmap” -p pid”追踪向OS申请内存请求，但是并没有发现有可疑内存申请。strace监控如下图所示:
strace监控
接着，使用GDB去dump可疑内存
因为使用strace没有追踪到可疑内存申请；于是想着看看内存中的情况。就是直接使用命令gdp -pid pid进入GDB之后，然后使用命令dump memory mem.bin startAddress endAddressdump内存，其中startAddress和endAddress可以从/proc/pid/smaps中查找。然后使用strings mem.bin查看dump的内容，如下：
gperftools监控
从内容上来看，像是解压后的JAR包信息。读取JAR包信息应该是在项目启动的时候，那么在项目启动之后使用strace作用就不是很大了。所以应该在项目启动的时候使用strace，而不是启动完成之后。
再次，项目启动时使用strace去追踪系统调用
项目启动使用strace追踪系统调用，发现确实申请了很多64M的内存空间，IT技术网截图如下：
strace监控
使用该mmap申请的地址空间在pmap对应如下：
strace申请内容对应的pmap地址空间
最后，使用jstack去查看对应的线程
因为strace命令中已经显示申请内存的线程ID。直接使用命令jstack pid去查看线程栈，找到对应的线程栈（注意10进制和16进制转换）如下：
strace申请空间的线程栈
这里基本上就可以看出问题来了：MCC（美团统一配置中心）使用了Reflections进行扫包，底层使用了Spring Boot去加载JAR。因为解压JAR使用Inflater类，需要用到堆外内存，然后使用Btrace去追踪这个类，栈如下：
btrace追踪栈
然后查看使用MCC的地方，发现没有配置扫包路径，默认是扫描所有的包。于是修改代码，配置扫包路径，发布上线后内存问题解决。
3、为什么堆外内存没有释放掉呢？
虽然问题已经解决了，但是有几个疑问：
为什么使用旧的框架没有问题？ 为什么堆外内存没有释放？ 为什么内存大小都是64M，JAR大小不可能这么大，而且都是一样大？ 为什么gperftools最终显示使用的的内存大小是700M左右，解压包真的没有使用malloc申请内存吗？带着疑问，笔者直接看了一下Spring Boot Loader那一块的源码。发现Spring Boot对Java JDK的InflaterInputStream进行了包装并且使用了Inflater，而Inflater本身用于解压JAR包的需要用到堆外内存。而包装之后的类ZipInflaterInputStream没有释放Inflater持有的堆外内存。于是笔者以为找到了原因，立马向Spring Boot社区反馈了这个bug。但是反馈之后，笔者就发现Inflater这个对象本身实现了finalize方法，在这个方法中有调用释放堆外内存的逻辑。也就是说Spring Boot依赖于GC释放堆外内存。
笔者使用jmap查看堆内对象时，发现已经基本上没有Inflater这个对象了。于是就怀疑GC的时候，没有调用finalize。带着这样的怀疑，笔者把Inflater进行包装在Spring Boot Loader里面替换成自己包装的Inflater，在finalize进行打点监控，结果finalize方法确实被调用了。于是笔者又去看了Inflater对应的C代码，发现初始化的使用了malloc申请内存，end的时候也调用了free去释放内存。
此刻，笔者只能怀疑free的时候没有真正释放内存，便把Spring Boot包装的InflaterInputStream替换成Java JDK自带的，发现替换之后，内存问题也得以解决了。
这时，再返过来看gperftools的内存分布情况，发现使用Spring Boot时，内存使用一直在增加，突然某个点内存使用下降了好多（使用量直接由3G降为700M左右）。这个点应该就是GC引起的，内存应该释放了，但是在操作系统层面并没有看到内存变化，那是不是没有释放到操作系统，被内存分配器持有了呢？
继续探究，发现系统默认的内存分配器（glibc 2.12版本）和使用gperftools内存地址分布差别很明显，2.5G地址使用smaps发现它是属于Native Stack。内存地址分布如下：
gperftools显示的内存地址分布
到此，基本上可以确定是内存分配器在捣鬼；搜索了一下glibc 64M，发现glibc从2.11开始对每个线程引入内存池（64位机器大小就是64M内存），原文如下：
glib内存池说明
按照文中所说去修改MALLOC_ARENA_MAX环境变量，发现没什么效果。查看tcmalloc（gperftools使用的内存分配器）也使用了内存池方式。
为了验证是内存池搞的鬼，笔者就简单写个不带内存池的内存分配器。使用命令gcc zjbmalloc.c -fPIC -shared -o zjbmalloc.so生成动态库，然后使用export LD_PRELOAD=zjbmalloc.so替换掉glibc的内存分配器。其中代码Demo如下：
#include<sys/mman.h> #include<stdlib.h> #include<string.h> #include<stdio.h> //作者使用的64位机器，sizeof(size_t)也就是sizeof(long) void* malloc ( size_t size ) { long* ptr = mmap( 0, size + sizeof(long), PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, 0, 0 ); if (ptr == MAP_FAILED) { return NULL; } *ptr = size; // First 8 bytes contain length. return (void*)(&ptr[1]); // Memory that is after length variable } void *calloc(size_t n, size_t size) { void* ptr = malloc(n * size); if (ptr == NULL) { return NULL; } memset(ptr, 0, n * size); return ptr; } void *realloc(void *ptr, size_t size) { if (size == 0) { free(ptr); return NULL; } if (ptr == NULL) { return malloc(size); } long *plen = (long*)ptr; plen--; // Reach top of memory long len = *plen; if (size <= len) { return ptr; } void* rptr = malloc(size); if (rptr == NULL) { free(ptr); return NULL; } rptr = memcpy(rptr, ptr, len); free(ptr); return rptr; } void free (void* ptr ) { if (ptr == NULL) { return; } long *plen = (long*)ptr; plen--; // Reach top of memory long len = *plen; // Read length munmap((void*)plen, len + sizeof(long)); }通过在自定义分配器当中埋点可以发现其实程序启动之后应用实际申请的堆外内存始终在700M-800M之间，gperftools监控显示内存使用量也是在700M-800M左右。但是从操作系统角度来看进程占用的内存差别很大（这里只是监控堆外内存）。
笔者做了一下测试，使用不同分配器进行不同程度的扫包，占用的内存如下：
内存测试对比
为什么自定义的malloc申请800M，最终占用的物理内存在1.7G呢？
因为自定义内存分配器采用的是mmap分配内存，mmap分配内存按需向上取整到整数个页，所以存在着巨大的空间浪费。通过监控发现最终申请的页面数目在536k个左右，那实际上向系统申请的内存等于512k * 4k（pagesize） = 2G。为什么这个数据大于1.7G呢？
因为操作系统采取的是延迟分配的方式，通过mmap向系统申请内存的时候，系统仅仅返回内存地址并没有分配真实的物理内存。只有在真正使用的时候，系统产生一个缺页中断，然后再分配实际的物理Page。
总结
流程图
整个内存分配的流程如上图所示。MCC扫包的默认配置是扫描所有的JAR包。在扫描包的时候，Spring Boot不会主动去释放堆外内存，导致在扫描阶段，堆外内存占用量一直持续飙升。当发生GC的时候，Spring Boot依赖于finalize机制去释放了堆外内存；但是glibc为了性能考虑，并没有真正把内存归返到操作系统，而是留下来放入内存池了，导致应用层以为发生了“内存泄漏”。所以修改MCC的配置路径为特定的JAR包，问题解决。笔者在发表这篇文章时，发现Spring Boot的最新版本（2.0.5.RELEASE）已经做了修改，在ZipInflaterInputStream主动释放了堆外内存不再依赖GC；所以Spring Boot升级到最新版本，这个问题也可以得到解决。
- 上一篇：揭秘电脑键盘数据输入错误的背后（寻找数据输入错误的关键因素和解决办法）
- 下一篇：多桌面是一个非常有用的功能，它能让不同的工作任务分别被放置在不同的工作区中， 保持桌面的整洁，让人心情舒畅， 保持工作的高效率。多桌面一直是Linux桌面的一大特色，不过ubuntu这几个版本默认都没有开启多桌面，估计是为了照顾windows用户迁移适应。作为Linux爱好者， 如何开启ubuntu的多桌面功能呢？1、点击左侧菜单中的“扳手齿轮”图标，打开系统设置。2、进入“外观”选项。3、选择“行为”标签页，勾选“开启工作区”。然后关闭系统设置。4、使用快捷键 CTRL + 上/下/左/右 切换工作区。
- 手把手教你如何安装以启幻电脑主机（详细步骤带你轻松搭建理想电脑）
- 冠泰黑轴（探索冠泰黑轴机械键盘的卓越性能和舒适感受）
- Win7BIOS设置教程（解密Win7BIOS设置，助你打造高效稳定的电脑）
- 步步高x3手机评测（深入了解步步高x3手机的各项功能和用户体验）
- 大多数的 Linux Distro 也将 IPv6 (Internet Protocol Version 6) 预设地开启，但有时实际上不需要 IPv6 支援，如要关闭 IPv6 可用以下方法: Debian / Ubuntu 1. 开启 /etc/modprobe.d/aliases 2. 里面有一行是 “alias net-pf-10 ipv6″ 3. 将以上一行用以下两行取代: alias net-pf-10 off alias ipv6 off Red Hat 1. 开启 /etc/modprobe.conf 2. 加入这一行: alias net-pf-10 off 更改以上档案后重新启动系统，这时 IPv6 便会关闭。我在 Ubuntu 上关闭了 IPv6 后，发觉 DNS 的效能改善了，那就是一般上网时要 resolve ip 时回应得更快。
- 探索801商务园区的发展与变革（801商务园区）
- 百度统计的功能与优势（掌握百度统计，提升网站数据分析能力）
- 魅蓝X的销售情况如何？（分析魅蓝X手机在市场中的销售表现与竞争力）
- 凡客4K电视——突破视觉享受的性产品（高清细腻，惊艳呈现，为你带来前所未有的视觉盛宴）
- J1900芯片及其应用领域（一款性能优秀的处理器解析）
- 步步高VivoX5F联通版（功能强大，外观精致，拍照出色，性能稳定，运行流畅）
- 深入了解大数据的重要性和应用（解析大数据的概念、挑战和前景）
- 探索i5-7300HQ处理器的性能和优势（一款强悍的四核处理器助力高性能计算）
- 2016年购买iPhone5s的经验分享（一部经典手机的购买指南和使用体验）
- 苹果6版本10.2.1的功能和优势（探索苹果6版本10.2.1的卓越表现）
- 酷派7295c_c00（酷派7295c_c00的性能、功能和用户体验）
- 超越牌锅炉的功能和性能分析（探索超越牌锅炉的领先技术和高效能源利用）
- 谷歌远程桌面（无需物理接触，即可掌握全球任意一台计算机）
- 先安装VMWare10，这个没什么可说的，安装好后启动，点击新建虚拟机，因为想设置虚拟机的磁盘保存方式，所以选择自定义选择“稍后安装操作系统”选择64位的版本给自己的机器取个名字，设定虚拟机磁盘路径，电脑c盘是SSD，为了速度就安到C盘了设置处理器的配置，这里需要看个人电脑配置，我是四核8线程的i7，这里就选了2*2，假如CPU核心数不多，就选择1*2分配内存，先来2G，以后不够再改配置后面的设置，除了磁盘的设置：将虚拟磁盘存储为单个文件，其他都默认就OK设置完成后，点击编辑虚拟机配置，设置ISO镜像文件路径完成后启动虚拟机，等安装文件加载，进入语言选择，默认是英文，下面有中文的语言选择我选择安装完成后再更新，音频解码就算了，虚拟机主要是为了布开发环境清除磁盘就行，不用怕，不会把真实磁盘清理掉的=。=把我默认到哈尔滨去了。。点击国内区域，选成shanghai注意：键盘布局选择英语(美国)设置用户名，密码下面登陆Ubuntu账户，愿意的填email创建一个，我选择以后登陆，估计很久很久以后=。=安装开始，趁机赶几行代码。。SSD安装就是快，完毕重启可以登陆了桌面很小，这时候还要安装VMtool点击顶部菜单栏的虚拟机选项，下拉选择“安装VMware Tools”，会自动载入光盘，打开窗口运行“vmware-tools-upgrader-64”无反应，把VMwareTools.tar.gz 文件拷贝而到桌面，右键提取到此处，会解压为一个 vmware-tools-distrib 目录打开终端，输入以下命令$ cd 桌面/vmware-tools-distrib$ sudo ./vmware-install.pl输入密码，执行，一路回车摁下去，到最后出现“Enjoy——the VMware team”的字样，安装完成打开VMware上方菜单栏的查看-自动调整大小，设置为自动适应客户机和自动适应窗口，右上角按钮重启虚拟机，登陆后就发现虚拟机桌面铺满窗口，调整壁纸平铺方式，显示OK至此，安装完成~
- U盘启动PE系统重装教程（使用U盘轻松重装电脑，教你一步步操作）
随便看看
- Copyright © 2025 Powered by 震精！Spring Boot内存泄露，排查竟这么难！,云智核 滇ICP备2023006006号-28sitemap