【问题现象】:
自动化用例跑了约三个多小时后,界面响应时间长,界面出现500错误。之后再
点击时,页面重定向至首页。查看jboss 下的server.log 文件发现内存溢出的
OutOfMemory 异常。
【出现的问题日志】:
https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError
at java.util.zip.ZipFile.open(Native Method)
at java.util.zip.ZipFile.
at java.util.jar.JarFile.
at java.util.jar.JarFile.
2010-11-24 15:32:48,377 ERROR [STDERR] Exception in thread
"Thread-5271"
2010-11-24 15:32:48,377 ERROR [STDERR] https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError:
unable to create new native thread
【问题定位】:
对于一般的内存泄漏导致的堆栈溢出,通常的错误信息主要有以下几种。
1. https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: Java heap space
2. https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: PermGen space
3. https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: Requested array size exceeds VM limit
4. https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError:
回复次数:1
?
? luozhangwen ?
(我不懒--押宝党实习生) ?
等 级: ? #1楼 得分:0回复于:2010-12-27 16:06:51
而在出现内存泄露的机器上,其日志显示是无法创建本地线程的原因所引起的。这里的异常信息 是:https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: unable to create new native thread ,对应上述内存溢出的第4种场景。尽管可以初步怀疑是虚拟机参数的设置导致的问题,但实际上还是需要确认系统在自动化场景下有没有其他内存泄 露问题。 重新跑自动化,并中间使用“jstat –gcutil 进程ID 1000 3 >>jstat.txt”命令,每隔3秒查看一下虚拟机堆空间的回收情况。在运行了三个多小时后,发行server.log 种已经出现了该 OutOfMemory 的异常信息。此时查看了jstat.txt 文件,发现从自动化开始运行一直到堆栈溢出,内存回收都很正常。全部垃圾回收时间花费了 5秒左右,且未有full gc ,全为young gc 的时间。
持久区(Perm )、年老区(Old),分别占用了25%、19%左
右的空间。且使用“top”命令监测中间CPU 和内存占用
都比较稳定,没 有激增的现象。
使用“jmap –hito 进程ID”查看内存对象统计,发现没
有业务逻辑相关的类导致的泄露问题。系统中创建最多的
就是与Sting相关的char数组对象。这个也是正常情况,
排除程序级别的内存泄漏问题。也就是说堆栈溢出不是1
和2的两种情况。
此时再分析server.log种的日志信息,得知是无法创建
本地线程所致的问题。也就是说在压力环境下拥有大量的
线程,或者本地内存耗尽时,企图创建新的线程时抛出。
而系统能创建的线程数的计算公式如下:
(MaxProcessMemory - JVMMemory - ReservedOsMemory) /
(ThreadStackSize) = Number of threads
MaxProcessMemory 指的是一个进程的最大内存
JVMMemory JVM内存
ReservedOsMemory 保留的操作系统内存
ThreadStackSize 线程栈的大小
【解决方法】:
针对无法创建更多本地线程的情况,调整线程栈的大小,
添加-Xss选项,设置为256k后再跑自动化,发现问题解
决。
JAVA_OPTS="-Xms2048M -Xmx2048M -Xmn512M -Xss256k
-XX:PermSize=512M….”
星期一早上到了公司,据称产品环境抛出了最可爱的异常—OutOfMemory, 它是这样来描述他自己的:
https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: unable to create new native thread
而且这位仁兄竟然还堂而皇之地同时出现在了3个application里面,所有应用全部遭殃。
那可爱的OOM是如何产生的呢?直接原因是创建的线程太多了,根本原因是某个地方的内存限制了。
搜罗了一下在网上找到了一个计算公式:
(MaxProcessMemory - JVMMemory – ReservedOsMemory) / (ThreadStackSize) = Number of threads
MaxProcessMemory:进程最大的寻址空间,但我想这个值应该也不会超过虚拟内存和物理内存的总和吧。关于不同系统的进程可寻址的最大空间,可参考下面表格:
JVMMemory: Heap + PermGen
ReservedOSMemory:Native heap,JNI
便可推导出单个JVM Instance可支持的最大线程数的估计值:
(MaxProcessMemory<固定值> – Xms<初始化值,最小值> – XX:PermSize<初始化值,最小值> – 100m<估算值>) / Xss = Number of threads<最大值>
在本地(32bit windows)试了试,可达的线程的最大值差不多就是这个数,它不受物理内存的限制,会利用虚拟内存,从任务管理器看到memory已经是5500 m 左右了(开了两个jvm),我机器的物理内存是2g,也不知道这个准不准,后来还抛出了“unable to create new native thread”的兄弟“Exception in thread "CompilerThread0" https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: requested 471336 bytes for Chunk::new. Out of swap space?“。
本地测完了后,就该轮到dev环境了,linux2.6,64bit,双核,8G(虚拟机),总的物理内存是16g。在上面整了一下,创建到了15000多个线程的时候挂掉了。此时其他application也不能创建新的线程,而且db也报错了,操作系统不能fork新的线程了。这应该是操作系统的哪里限制了新线程的创建,
?max thread,linux2.6似乎是32000
?最大可用内存:物理内存+虚拟内存
?配置,在linux可以限制可用资源的大小,show一下这些参数
为了进一步确定在linux上一个jvm因为达到了最大寻址空间OOM了,不会影响其他jvm,我在Linux做了进一步测试,一开始用Sun文档中说的最大寻址空间3G试了一下,发现根本不对,达到了3G后还是非常high地在创建新的线程。于是出动超级无敌变态的JVM初始化配置。
结果在create 3379个线程后,“unable to create new native thread”出现了,这时其他jvm都是可以create新线程的。如果按照上面公式计算,linux 64bit,2.6kernel,它的最大寻址空间肯定超过了300g,当然应该还没有达到可用内存的限制,因为其他JVM还能create新线程。
我还怀疑是不是oracle application server上的某个配置参数限制了总的线程数,影响了所有application,但我们的产品环境一个application就是一个单独的application server。
现在基本上可以确定是操作系统哪里设置错了,我想System team的帅哥们应该把产品环境的某个参数配置错了,系统本身的影响肯定不会有了,因为产品环境上我们只create了800左右个线程,就OOM了,那应该就是配置的问题了,怀疑的参数有下面四个
max user processes (-u) 2048
virtual memory (kbytes, -v) unlimited
max memory size (kbytes, -m) unlimited
stack size (kbytes, -s) 10240
最后发现只有max user processes 和virtual memory对总的线程数有影响,我把max user processes降到2048后,发现此时只能创建 2000左右个线程了(Xms64m, Xss1m),进一步地把virtual memory下调到2048000K发现能创建的就更少了1679(Xms64m, Xss1m),而它只会对当前shell起作用,而多个
application server应该是不同的shell,所以他是打酱油的。另外两个参数好像就是来做做俯卧撑的,操作系统stack size是不应该会有什么影响,我们把它上调到102400,还是可以创建2000左右的线程数(max user processes),因为java有自己的线程模型,它的栈的大小是用Xss来控制的。Max memory size 不知道是啥东东,照理说如果是最大内存应该不会只在旁边做俯卧撑,那这个参数到底是春哥还是曾哥,查了一下man ulimit,有下面解释
-a All current limits are reported
-c The maximum size of core files created
-d The maximum size of a process data segment
-f The maximum size of files created by the shell
-l The maximum size that may be locked into memory
-m The maximum resident set size (has no effect on Linux)
-n The maximum number of open file descriptors (most systems do not allow this value to be set)
-p The pipe size in 512-byte blocks (this may not be set)
-s The maximum stack size
-t The maximum amount of cpu time in seconds
-u The maximum number of processes available to a single user
-v The maximum amount of virtual memory available to the shell
“Has no effect on Linux”就足以证明它确实只是来做做俯卧撑的。最后查出只有“max user processes”会对所有application能创建总的线程数有限制。
posted on 2009-09-25 10:55 叱咤红人阅读(4117) 评论(6)编辑收藏所属分类: J2SE and JVM
评论
# re: 剥下“https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: unable to create new native thread”的外衣[未登录] 2010-01-19 17:16 菜鸟
我最近总也是碰见OOM(Exception in thread "CompilerThread0" https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: requested 1056888 bytes for Chunk::new. Out of swap space?)
不知道大侠能否指点下偶?
1、服务器硬件配置如下:
Type IBM X3850
Processor Details 2132 MHz * 16
Memory 16G
操作系统是RedHat企业版5.0,64位服务器
2、我使用的JDK是jdk-1_5_0_12-linux-i586,应用服务器是Weblogic 9.2,weblogic服务器setDomain.sh文件的参数配置如下:
# PA TCH_LIBPATH=[myPatchLibpath] (unix)
# PA TCH_PATH=[myPatchPath] (unix)
. ${WL_HOME}/common/bin/commEnv.sh
WLS_HOME="${WL_HOME}/server"
export WLS_HOME
WLI_HOME="${WL_HOME}/integration"
export WLI_HOME
MEM_ARGS="-Xms3072m -Xmx3072m"
export MEM_ARGS
if [ "${JA V A_VENDOR}" = "Sun" ] ; then
if [ "${PRODUCTION_MODE}" = "" ] ; then
MEM_DEV_ARGS="-XX:CompileThreshold=8000 -XX:PermSize=96m -XX:+UseParallelGC " export MEM_DEV_ARGS
fi
fi
# Had to have a separate test here BECAUSE of immediate variable expansion on windows
if [ "${JA V A_VENDOR}" = "Sun" ] ; then
MEM_ARGS="${MEM_ARGS} ${MEM_DEV_ARGS} -XX:MaxPermSize=256m"
export MEM_ARGS
fi
回复更多评论
# re: 剥下“https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: unable to create new native thread”的外衣[未登录] 2010-01-19 17:17 菜鸟
我的邮箱是ooxoo024@https://www.doczj.com/doc/5d18720609.html,,请大侠指点下,先谢谢了。回复更多评论
# re: 剥下“https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: unable to create new native thread”的外衣
2010-01-20 07:42 叱咤红人
帅哥,
1.用ulimit看一下,虚拟内存是否做了限制。这个异常我测试下来是出现在当总内存(物理内存+虚拟内存)不够的情况下。
2.用profile工具或者gc log看一下内存的使用情况。看程序中是否有内存溢出的风险。
3.出问题时系统中的线程使用情况。kill -3 或者用TDA. 回复更多评论
# re: 剥下“https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError: unable to create new native thread”的外衣
2010-03-22 18:51 zhaixf
帅哥,我也做了下相应的测试,发现公式中的:
便可推导出单个JVM Instance可支持的最大线程数的估计值:
(MaxProcessMemory<固定值> – Xms<初始化值,最小值> – XX:PermSize<初始化值,最小值> – 100m<估算值>) / Xss = Number of threads<最大值>
Xms不会影响创建线程的个数,起作用的应该是:-Xmx
其他地方和我想的基本一致,但是我在测试过程中遇到了比较奇怪的问题,没有办法解释:下面是我测试的情况,重点关注“-Xmx1692m”,似乎作为了一个分隔线,之上的也能用公式解释,之下的也能用公式解释。
-Xms3060m -Xmx3060m
-Xss2048k (thread :94)
-Xms2560m -Xmx2560m
-Xss2048k (thread :157)
-Xms2048m -Xmx2048m
-Xss2048k (thread :221)
-Xss1024k (thread :598)
-Xms1792m -Xmx1792m
-Xss1024k (thread :683)
-Xms1692m -Xmx1692m
-Xss1024k (thread :49)(进程自己结束)
-Xms1560m -Xmx1560m
-Xss2048k (thread :31)(进程自己结束hs_err_pid24865.log)
-Xms1536m -Xmx1536m
-Xss2048k (thread :34)(进程自己结束hs_err_pid24865.log)
-Xss1024k(thread :100)
-Xms1024m -Xmx2048m
-Xss2048k (thread :221)
-Xms1048m -Xmx1048m
-Xss2048k (thread :95)
-Xms560m -Xmx1152m
-Xss2048k(thread :82)
-Xss1024k(thread :228)
-Xms1048m -Xmx3560m
-Xss2048k (thread :32)(进程自己结束)
[JVM-翻译]揭开https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError面纱之一
发布日期:11-06-17 03:45 文章来源:互联网
Java 虚拟机包括六个不同的运行时数据区域(内存域):
1.程序计数器(Program Counter Register)
2.Java 虚拟机栈(Java VM Stack)
3.Java堆(Heap)
4.方法区(Java VM Method Area)
5.常量池(Runtime Constant Pool)
6.本地方法栈(Native Method Stack)
1. 程序计数器又称为PC寄存器,是存放当前正在运行的Java 字节码操作指令的地址。(这里加些说明:对于一个运行中的Java程序而言,其中的每个线程都有它自己的PC(程序计数器)寄存器,它是在该线程启动时创建的,PC寄存器的大小是一个字长,因此它既能够持有一个本地指针,也能够持有一个ReturnAddress)
2.Java虚拟机栈是有栈帧(stack frame)组成,帧则是用来存储线程在执行过程中的参数,返回值,以及中间结果等。如果没有足够的内存给Java VM 栈,或没有足够的内存来生成新的线程时,Java虚拟机将抛出OutOfMemoryError.
3.Heap是用来存储Java类实例或数组的。当没有足够的内存给新生实例或数组时,Java虚拟机将抛出OutOfMemoryError
4.方法区是由一些C/C++写的方法,给与JVM一些方法支持,同理,当没有可用的内存时也会抛出OutOfMemoryError异常。
? 你可能看到一个域OutOfMemoryError完全不一样的异常:StackOverError。该异常的抛出则是当本地内存栈或Java虚拟机栈超出配置大小时抛出。在大多数IBM的Java虚拟机中,-Xmso命令参数可以控制操作系统栈线程和本地线程栈大小,-Xss参数可以控制Java虚拟机线程栈的大小。在一些如:Sun HotSpot 的JVM厂商,Java方法通过C/C++本地指令共享栈帧,-Xss可以为一个线程配置最大内存,改值的默认值和平台,以及觉床额JVM 的实现厂商有关,但一般都在245k-1024k的大小,请参考你的JVM说明文档。在另外文章中我们会涉及更多关于 StackOverFlowError的东西。
?现在,我们了解一下那些内存域会引起https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemory,让我们来看看一下几个实际错误信息,我们又改如何处理他们呢?
?? Java代码
https://www.doczj.com/doc/5d18720609.html,ng.OutOfMemoryError:?Requested?array?size?exceeds?VM?limit??
Java命令行实用工具jps和jstat
Posted on 2011-01-27 12:04 laogao阅读(357) 评论(0)编辑收藏所属分类: On Java
在Linux或其他UNIX和类UNIX环境下,ps命令想必大家都不陌生,我相信也有不少同学写过 ps aux | grep java | grep -v grep | awk '{print $2}' 这样的管道命令来找出Java进程的pid。常言道,Java并非真的"跨平台",它自己就是平台。作为平台,当然也有些基本的工具,让我们可以用更简单、更统
一,同时又是非侵入的方式来查询进程相关信息。今天我们就来认识一下其中的两个。
jps
顾名思义,它对应到UNIX的ps命令。用法如下:
jps [ options ] [ hostid ]
其中,options可以用 -q (安静) -m (输出传递给main方法的参数) -l (显示完整路径) -v (显示传递给JVM的命令行参数) -V (显示通过flag文件传递给JVM的参数) -J (和其他Java工具类似用于传递参数给命令本身要调用的java 进程);hostid是主机id,默认localhost。
jstat
用于输出给定java进程的统计信息。用法如下:
jstat -options 可以列出当前JVM版本支持的选项,常见的有 -class (类加载器) -compiler (JIT) -gc (GC堆状态) -gccapacity (各区大小) -gccause (最近一次GC统计和原因) -gcnew (新区统计) -gcnewcapacity (新区大小) -gcold (老区统计) -gcoldcapacity (老区大小) -gcpermcapacity (永久区大小)
-gcutil (GC统计汇总) -printcompilation (HotSpot编译统计)
假定你要监控的Java进程号是12345,那么
jstat -gcutil -t 12345 200 300 即可每200毫秒连续打印300次带有时间戳的GC统计信息。
简单解释一下: -gcutil是传入的option;必选,-t是打印时间戳,是以目标JVM启动时间为起点计算的,可选;12345是vmid/pid,和我们从 jps拿到的是一样的,必选;200是监控时间间隔,可选,不提供就意味着单次输出;300是最大输出次数,可选,不提供且监控时间间隔有值的话,就是无限期打印下去。