Solaris 8内存管理机制研究
吴海燕 戚丽 冯珂
摘 要：寻找性能瓶颈是性能分析中的一项重要任务，内存瓶颈的表现并不像CPU或磁盘那样直接，本文通过对Solaris 8内存管理机制的研究，给出了寻找Solaris 8系统内存瓶颈的方法。
关键词：Solaris 8，内存管理，性能优化
一、问题的提出
清华大学计算机与信息管理中心数据中心现有服务器近百台，其中包括了SUN Fire 15000、SUN Enterprise 5500、SUN Enterprise 5000等大型SUN服务器，Solaris 8是主流操作系统。为了对服务器的资源（如CPU、内存、磁盘、网络）的使用情况进行长期监控，建立性能优化（performance tuning）的基准值，我们开发了一套脚本程序定时采集系统运行参数。在长期的监控中，我们发现Solaris 8系统的空闲内存（freemem）呈现一个有趣的变化规律，如图1所示：
图1 空闲内存（freemem）变化图
图1是某Solaris 8系统（在下文中我们称之为15k-a）自2003年2月份以来的freemem 变化情况，横坐标是时间，纵坐标是freemem的数量，以8K字节为单位。15k-a配置是10路Super SPARCIII CPU，10GB物理内存。从上图可以看到在正常运行时，freemem应该是比较稳定的，15k-a主要是运行数据库，数据库在运行时会占用2G内存作为SGA区使用，因此在通常的负载下，freemem保持在6~7G之间是比较正常的。稳定一段时间后，
15k-a的freemem会持续走低，直到最低值，约为18893×8KMB，然后系统开始回收内存，我们就会看到freemem数量急剧上升。freemem的陡降都发生在凌晨1：00之后，检查系统作业发现每天1：00都会有一个数据库备份脚本开始运行：首先是用“exp”命令给数据库做逻辑备份，然后用“cp”命令把备份出来的文件拷贝到后备存储上。这两个命令都是正常退出，没有任何报错。开始时我们曾怀疑是有内存泄漏，当某一天freemem大幅攀升时，此怀疑被解除了，因为如果有内存泄漏，系统是无法将内存回收回来的。
对于一个物理内存为10GB的系统来说，如果空闲内存（freemem）真的减少到不到二百兆，那将存在着严重的问题。但奇怪的是系统的CPU使用率一直很低，所有进程的反应也很快，系统没有任何资源匮乏的迹象。如何解释这些问题呢，为此我们对Solaris 2.x 的内存管理机制进行了研究。
二、Solaris的内存管理机制
Solaris 8的内存管理为虚拟内存管理。[1]简单地说，虚拟内存就是进程看到比它实际使用的物理内存多得多的内存空间，对于64位的Solaris 8操作系统，进程可以通过8K 大小的段寻址访问2的64次方字节的内存空间，这种8K的段被称为页（page）。传统的UNIX通过进程（pagedaemon）完成虚拟地址和物理地址间的转换，在Solaris中这些是通过一个硬件－MMU(Memory Management Unit)－来实现的。在多处理器系统中，每个CPU 都有自己的MMU。Solaris 8的虚拟存储体系由系统寄存器、CPU CACHE、主存（RAM，物理内存）、外存（磁盘、磁带等）构成。
有两个基本的虚拟内存系统管理模型[2]：交换（swapping）和按需换页（demand paged）模型。交换模型的内存管理粒度是用户进程，当内存不足时，最不活跃的进程被交换出内存（swapping out）。按需换页模型的内存管理粒度是页（page），当内存匮乏时，只有最不经常使用的页被换出。Solaris 8结合使用了这两种内存管理模型，在通常情况下使用按需换页模型，当内存严重不足时，使用交换模型来进行内存释放。
与传统UNIX系统相比，Solaris虚拟内存系统的功能要丰富得多，它负责管理所有与I/O和内存相关的对象，包括内核、用户应用程序、共享库和文件系统。传统的UNIX系统V（System V）使用一个单独的缓冲区来加速文件系统的I/O， Solaris 8则使用虚拟内存系统来管理文件系统的缓存，系统的所有空闲内存都可以被用来做为文件I/O缓存，因为RAM的访问速度比磁盘快得多，所以这样做带来的性能提高是可观的。这也意味着在存在大量文件系统I/O的系统上，空闲内存的数量几乎是0。
了解系统内存被分配到了什么地方，系统在什么情况下进行内存整理是系统管理的重
要任务之一。有了上面的基础知识，我们就可以回答这个问题了。
2.1 Solaris是如何分配物理内存的
要知道一个Solaris系统的内存都被用到了什么地方，首先需要确定系统的物理内存数量，如下例所示：
bash-2.03$ /usr/sbin/prtconf | grep Memory
Memory size: 8192 Megabytes
在上面的例子中，系统的物理内存为8G字节。
一般来说Solaris 8物理内存的使用可分为内核保留内存、进程（包括系统进程和用户进程）内存、文件系统缓存和空闲内存四块，下面分别描述。
内核使用的内存：被映射到内核的地址空间。随着内核模块、驱动程序载入和退出，数量会有所变化。可以使用sar命令显示内核使用的内存数量，如下例所示：
bash-2.03$ sar -k 1
SunOS sun-15k-a 5.8 Generic_108528-20 sun4u 05/21/03
15:01:00 sml_mem alloc fail lg_mem alloc fail ovsz_alloc fail
15:01:01 51806720 31842570 0 588922880 557618688 0 149225472 0
上例中内核使用了31842570＋557618688＋149225472＝738686730字节，即约740M字节。crash命令可以详细地显示内核内存是如何分配的。
进程内存，被映射到进程的地址空间。一般包括系统daemon（如cron、syslogd等）使用的内存、CDE环境需要的内存、数据库引擎使用的内存、用户分时程序使用的内存等。pmap命令显示了进程是如何使用内存的：
bash-2.03$ pmap -x 19214
19214: -bash
Address Kbytes Resident Shared Private Permissions Mapped File
00010000 432 432 432 - read/exec bash
0008A000 80 80 72 8 read/write/exec bash
0009E000 152 152 112 40 read/write/exec [ heap ]
FF100000 688 688 688 - read/exec libc.so.1
FF1BC000 32 32 32 - read/write/exec libc.so.1
FF200000 568 568 568 - read/exec libnsl.so.1
FF29E000 40 40 40 - read/write/exec libnsl.so.1
FF2A8000 24 16 16 - read/write/exec libnsl.so.1
FF2E0000 8 8 8 - read/write/exec [ anon ]
FF2F0000 16 16 16 - read/exec libmp.so.2
FF304000 8 8 8 - read/write/exec libmp.so.2
FF310000 8 8 8 - read/exec libc_psr.so.1
FF320000 40 40 40 - read/exec libsocket.so.1
FF33A000 8 8 8 - read/write/exec libsocket.so.1
FF340000 168 120 120 - read/exec libcurses.so.1
FF37A000 32 32 32 - read/write/exec libcurses.so.1
FF382000 8 8 8 - read/write/exec libcurses.so.1
FF390000 8 8 8 - read/exec libdl.so.1
FF3A0000 8 8 - 8 read/write/exec [ anon ]
FF3B0000 160 160 160 - read/exec ld.so.1
FF3E8000 8 8 - 8 read/write/exec ld.so.1
FFBEC000 16 16 8 8 read/write [ stack ]
-------- ------ ------ ------ ------
total Kb 2512 2456 2384 72
上面的例子显示了一个bash进程的地址空间占用2512K字节的内存，其中2456K字节驻留在物理内存，2384K字节是与其它进程共享的，此bash进程有72K字节的私有数据。如果再有一个bash进程被启动，它将共享例子中的bash进程的一些内存结构，在计算进程使用的物理内存数量时，这部分不应该重复计算。
文件系统缓存，不被映射到任何地址空间。对用户来说这部分内存是不可见的，也是最令人迷惑的。当你第二次打开一个大文件时，会发现速度比第一次打开同样的文件快很多，这个速度的提高也得益于这部分内存。当一个进程运行结束时，进程地址空间中的私有部分（如该进程所独有的数据、堆栈等）所占用的页被释放，页被加入到空闲内存中，但这个进程打开文件使用的缓存页却没有被释放，与文件相关的inode 缓存被标记为不活动，被放到可用inode缓存列表的尾部。当文件被再次打开时，与文件相关的inode缓存和文件使用的缓存页都将被复用，减少磁盘I/O，提高性能。 空闲内存（free memory）：没有被用到上面三个地方的物理内存，没有被映射到任何地址空间，当新进程启动或正在运行的进程需要分配内存时，就会从这里获取内存页。
2.2 Solaris的内存管理活动
Solaris 8物理内存的管理是基于页的（传统UNIX是基于段的），也就是说，所有物
理内存调度是以页为单位的。在系统级，大多数活动围绕着物理内存页的管理。物理内存页可以为用户进程通过虚拟内存管理器使用，虚拟内存管理器可以管理除了由内核程序及其相关数据结构使用的物理内存之外的全部物理内存。有5个数据结构主要关系到物理内存页的管理：页结构池，匿名内存池，自由表（freelist），页hash表，vnode页列表。
因此，Solaris的主要内存管理活动也就是页操作，主要包括：
页入：如果进程试图访问的虚拟地址没有被映射到物理内存，就会发生页入（page in），大量的页入（使用sar –p命令可以看到）是正常的。
页出：页被写回磁盘空间。有三种情况下会产生页出：
1）当page daemon运行时，最近没有被引用过的页将被page daemon写回磁盘；
2）当进程被交换出去时；
3）当页被fsflush daemon或用户进程自己同步回磁盘时。大量的页出并不能说明内存紧张。
内存页扫描[3]（实现页面移动和替换）：
1)有两个内核变量与物理内存管理关系密切：
空闲物理内存页（freemem）的最低可接受的量：minfree；
空闲物理内存页（freemem）的可接受的量：lotsfree；
2)内核每秒对物理内存页测试n次，如果freemem 被激活，使用两项时钟算法来实现内存移动和替换（扫描速率由内核参数决 定）将最近不常使用的物理页加到页出表中，释放物理内存。如图2所示： eficit 图2 内存扫描示意图 3)交换：当freemem达到minfree，而且内核的内存扫描频率达到最大值仍不 能释放任何内存页时，系统陷入停顿，交换进程（swapper）被激活。 三、结 论 通过对Solaris 8内存管理机制的研究，我们完全能够解释图1显示的内存曲线图。15k-a是一台数据库服务器，，由于服务器的内存比较大，这个系统的文件系统I/O很少，空闲内存的数量也很稳定。15k-a每天1:00会定时运行一个备份脚本，生成数据库的逻辑备份文件，此文件约为2G，因此会进行大量的文件I/O，虽然所有的命令都正常退出，但用于文件缓存的物理内存页并没有被释放，导致空闲内存减少。当数据库备份脚本再次运行时，会生成新的逻辑备份文件，又有大量的内存页被用来进行文件系统缓存，现象就是空闲内存持续减少。当freemem小于lotsfree时，page daemon被激活，开始在内存池中进行页扫描，将最近没有被引用过的内存页释放，我们也就看到了空闲内存数量的迅速上升。在Solari 8中lotsfree的默认值是“物理内存/64”，那么15k-a的lotsfree=10G/8k/64约为19531页，而从图1来看，系统是在空闲内存为18893页后开始内存回收的，这也进一步验证了我们的结论。 通过上文的分析我们知道，空闲内存的数量小、甚至接近于0并不是系统内存紧张的标志，大量的页出、页面释放、进程交换才是我们应该关心的。那么如何判断系统是不是存在内存瓶颈呢？vmstat是能够完成此项任务的基本工具，能够反应系统空闲内存、物理内存页的活动情况。可以分几种情况： 如果系统的空闲内存数量很大（vmstat输出的freemem列，单位为kbytes），那么不存在内存瓶颈； 如果系统的空闲内存很少，但是没有换页（vmstat输出的po和sr列持续为0），那么不存在内存瓶颈； 如果系统的换页频繁（vmstat输出的po和sr列持续不为0），甚至出现了进程交换（vmstat输出的w列的值不为0），那么可以判断系统的内存匮乏已成为瓶颈。 这时可以考虑通过扩充物理内存解决内存的短缺。 参考文献 [1]H.Frank Cervone.Solaris Performance Administration.Beijing:China Machine Press 2000 [2]Solaris 2.x Concepts and Tuning,student guide.Sun Educational Services,1995 [3]Sun Microsystem. Solaris Memory Sizing White Paper.Available at https://www.doczj.com/doc/0f7776435.html,/sun-on-net/performance/vmsizing.pdf [4]H.Frank Cervone著，盛敬刚，徐国平等译.Solaris 性能管理.北京：机械工业出版社，2000 操作系统内存管理 操作系统内存管理 1. 内存管理方法 内存管理主要包括虚地址、地址变换、内存分配和回收、内存扩充、内存共享和保护等功能。 2. 连续分配存储管理方式 连续分配是指为一个用户程序分配连续的内存空间。连续分配有单一连续存储管理和分区式储管理两种方式。 2.1 单一连续存储管理 在这种管理方式中，内存被分为两个区域：系统区和用户区。应用程序装入到用户区，可使用用户区全部空间。其特点是，最简单，适用于单用户、单任务的操作系统。CP／M和 DOS 2．0以下就是采用此种方式。这种方式的最大优点就是易于管理。但也存在着一些问题和不足之处，例如对要求内 存空间少的程序，造成内存浪费；程序全部装入，使得很少使用的程序部分也占用—定数量的内存。 2.2 分区式存储管理 为了支持多道程序系统和分时系统，支持多个程序并发执行，引入了分区式存储管理。分区式存储管理是把内存分为一些大小相等或不等的分区，操作系统占用其中一个分区，其余的分区由应用程序使用，每个应用程序占用一个或几个分区。分区式存储管理虽然可以支持并发，但难以进行内存分区的共享。 分区式存储管理引人了两个新的问题：内碎片和外碎片。 内碎片是占用分区内未被利用的空间，外碎片是占用分区之间难以利用的空闲分区(通常是小空闲分区)。 为实现分区式存储管理，操作系统应维护的数据结构为分区表或分区链表。表中各表项一般包括每个分区的起始地址、大小及状态(是否已分配)。 分区式存储管理常采用的一项技术就是内存紧缩(compaction)。 2.2.1 固定分区(nxedpartitioning)。 固定式分区的特点是把内存划分为若干个固定大小的连续分区。分区大小可以相等：这种作法只适合于多个相同程序的并发执行(处理多个类型相同的对象)。分区大小也可以不等：有多个小分区、适量的中等分区以及少量的大分区。根据程序的大小，分配当前空闲的、适当大小的分区。 优点：易于实现，开销小。 缺点主要有两个：内碎片造成浪费；分区总数固定，限制了并发执行的程序数目。 2.2.2动态分区(dynamic partitioning)。 动态分区的特点是动态创建分区：在装入程序时按其初始要求分配，或在其执行过程中通过系统调用进行分配或改变分区大小。与固定分区相比较其优点是：没有内碎 4-4 linux内存管理子系统 4-4-1 linux内存管理（参考课件） 物理地址：cpu地址总线上寻址物理内存的地址信号，是地址变换的最终结果 逻辑地址：程序代码经过编译后，出现在汇编程序中的地址（程序设计时使用的地址） 线性地址：又名虚拟地址，32位cpu架构下4G地址空间 CPU要将一个逻辑地址转换为物理地址，需要两步： 1、首先CPU利用段式内存管理单元，将逻辑地址转换成线性地址； 2、再利用页式内存管理单元，把线性地址最终转换为物理地址 相关公式： 逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器)（通用的） 16位CPU：逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器) 线性地址=段寄存器的值×16+逻辑地址的偏移部分 物理地址=线性地址（没有页式管理） 32位CPU：逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器) 线性地址=段寄存器的值+逻辑地址的偏移部分 物理地址<——>线性地址（mapping转换） ARM32位：逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器) 逻辑地址=段内偏移量（段基地址为0） 线性地址=逻辑地址=段内偏移量（32位不用乘以32） 物理地址<——>线性地址（mapping转换） ************************!!以下都是x86模式下!!********************************* 一、段式管理 1.1、16位CPU：（没有页式管理） 1.1.1、段式管理的由来： 16位CPU内部有20位地址总线，可寻址2的20次方即1M的内存空间，但16位CPU 只有16位的寄存器，因此只能访问2的16次方即64K。因此就采用了内存分段的管理模式，在CPU内部加入了段寄存器，这样1M被分成若干个逻辑段，每个逻辑段的要求如下： 1、逻辑段的起始地址（段地址）必须是16的整数倍，即最后4个二进制位须全是0 (因此不必保存)。 2、逻辑段的最大容量为64K。 1.1.2、物理地址的形成方式： 段地址：将段寄存器中的数值左移4位补4个0（乘以16），得到实际的段地址。 段偏移：在段偏移寄存器中。 1）逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器) 2）由逻辑地址得到物理地址的公式为：（因为没有页式管理，所以这一步就得到了物理地址）物理地址PA=段寄存器的值×16+逻辑地址的偏移部分(注意!!)(段与段可能会重叠) 1.标准链接库提供四个函数实现动态内存管理： （1）分配新的内存区域： void * malloc(size_t size); void *calloc(size_t count , size_t size); （2）调整以前分配的内存区域： void *realloc(void *ptr , size_t size); （3）释放以前分配的内存区域： void free(void *ptr); 2.void * malloc(size_t size); 该函数分配连续的内存空间，空间大小不小于size 个字节。但分配的空间中的内容是未知的。该函数空间分配失败则返回NULL。 3.void *calloc(size_t count , size_t size); 该函数也可以分配连续的内存空间，分配不少于count*size个字节的内存空间。即可以为一个数组分配空间，该数组有count个元素，每个元素占size个字节。而且该函数会将分配来的内存空间中的内容全部初始化为0 。该函数空间分配失败则返回NULL。 4. 以上两个分配内存空间的函数都返回void * （空类型指针或无类型指针）返回的指针值是“分配的内存区域中”第一个字节的地址。当存取分配的内存位置时，你所使用的指针类型决定如何翻译该位置的数据。以上两种分配内存空间的方法相比较，calloc()函数的效果更好。原因是它将分配得来的内存空间按位全部置0 。 5. 若使用上述两种分配内存的函数分配一个空间大小为0 的内存，函数会返回一个空指针或返回一个没有定义的不寻常指针。因此绝不可以使用“指向0 字节区域”的指针。 6. void *realloc(void *ptr , size_t size); 该函数释放ptr所指向的内存区域，并分配一个大小为size字节的内存区域，并返回该区域的地址。新的内存区域可以和旧的内存区域一样，开始于相同的地址。且此函数也会保留原始内存内容。如果新的内存区域没有从原始区域的地址开始，那么此函数会将原始的内容复制到新的内存区域。如果新的内存区域比较大，那么多出来部分的值是没有意义的。 7. 可以把空指针传给realloc()函数，这样的话此函数类似于malloc()函数，并得到一块内存空间。如果内存空间不足以满足内存区域分配的请求，那么realloc()函数返回一个空指针，这种情况下，不会释放原始的内存区域，也不会改变它的内容。 8. void free(void *ptr); 该函数释放动态分配的内存区域，开始地址是ptr，ptr的值可以是空指针。若在调用此函数时传入空指针，则此函数不起任何作用。 9. 传入free() 和realloc()函数的指针（若不为空指针时）必须是“尚未被释放的动态分配内存区域的起始地址”。否则函数的行为未定义。Realloc()函数也可以释放内存空间，例如：Char *Ptr = (char *)malloc(20); 如只需要10个字节的内存空间，且保留前十个字节的内容，则可以使用realloc()函数。 Ptr = Realloc(ptr,10); // 后十个字节的内存空间便被释放 实验报告 实验名称：Windows虚拟存储器管理 实验时间：2013年5月27日 实验人员：____郑笑凡___（姓名）__1143041243__（学号）____2011____（年级） 实验目的：1、了解Windows 2000/XP的内存管理机制，掌握页式虚拟存储技术。 2、理解内存分配原理，特别是以页面为单位的虚拟内存分配方法。 3、学会使用Windows 2000/XP下内存管理的基本API函数 实验环境：windows xp 实验步骤： 1、下载virtumem.cpp； 2、建立工程，将virtumen.cpp加入； 3、编译工程，观察结果，确信六种状态都出现至少一次，必要时可改程 序，方便观察结果； 4、看懂程序，按要求另写一段小程序； 5、编译，执行，观察结果。 6，总结。 实验陈述： 1、基础知识： pagefile.sys文件的位置在：__安装的系统盘根目录下____________________________________此文件的作用：____实现物理内存的扩展__________________________________________________ 改变此文件大小的方法:右击”我的电脑”,依次选择”属性”—“高级”—“性能选项”— “更改”_______________________________________ 虚拟地址空间中的页面分为：提交页面，保留页面，空闲页面 页面的操作可以分为：保留、提交、回收、释放、加锁 2、编程准备. 页面属性是在结构体MEMORY_BASIC_INFORMATION_的字段AllocationProtect 和字段中Protect体现出来的。 简述VirtualFree,VirtualPtotect,VirtualLock,VirtualUnlock,VirtualQuery的作用：_ VirtualFree：__释放虚存___________________________________________________ VirtualPtotect：_保留虚存_________________________________________________ VirtualLock：___加锁虚存_________________________________________________ VirtualUnlock：_解锁虚存________________________________________________ VirtualQuery：____查询虚存_______________________________________________ 3、编程 1）将virtumem.cpp加入工程，编译，执行。 是否能编译成功？是 请描述运行结果： 全面介绍Windows内存管理机制及C++内存分配实例 文章整理: https://www.doczj.com/doc/0f7776435.html, 文章来源: 网络- - 本文背景： 在编程中，很多Windows或C++的内存函数不知道有什么区别，更别谈有效使用；根本的原因是，没有清楚的理解操作系统的内存管理机制，本文企图通过简单的总结描述，结合实例来阐明这个机制。 本文目的： 对Windows内存管理机制了解清楚，有效的利用C++内存函数管理和使用内存。本文内容： 本文一共有六节，由于篇幅较多，故按节发表。 1.进程地址空间 1.1地址空间 ?32|64位的系统|CPU 操作系统运行在硬件CPU上，32位操作系统运行于32位CPU 上，64位操作系统运行于64位CPU上；目前没有真正的64位CPU。 32位CPU一次只能操作32位二进制数；位数多CPU设计越复杂，软件设计越简单。 软件的进程运行于32位系统上，其寻址位也是32位，能表示的空间是232=4G，范围从0x0000 0000~0xFFFF FFFF。 ?NULL指针分区 范围：0x0000 0000~0x0000 FFFF 作用：保护内存非法访问 例子：分配内存时，如果由于某种原因分配不成功，则返回空指针0x0000 0000；当用户继续使用比如改写数据时，系统将因为发生访问违规而退出。 那么，为什么需要那么大的区域呢，一个地址值不就行了吗？我在想，是不是因为不让8或16位的程序运行于32位的系统上呢？！因为NULL分区刚好范围是16的进程空间。 ?独享用户分区 范围：0x0001 0000~0x7FFE FFFF 作用：进程只能读取或访问这个范围的虚拟地址；超越这个范围的行为都 会产生违规退出。 例子： 程序的二进制代码中所用的地址大部分将在这个范围，所有exe 和dll文件都加载到这个。每个进程将近2G的空间是独享的。 注意：如果在boot.ini上设置了/3G，这个区域的范围从2G扩大为3G： 0x0001 0000~0xBFFE FFFF。 ?共享内核分区 范围：0x8000 0000~0xFFFF FFFF 作用：这个空间是供操作系统内核代码、设备驱动程序、设备I/O高速缓存、非页面内存池的分配、进程目表和页表等。 例子： 这段地址各进程是可以共享的。 Solaris 8内存管理机制研究 吴海燕 戚丽 冯珂 摘 要：寻找性能瓶颈是性能分析中的一项重要任务，内存瓶颈的表现并不像CPU或磁盘那样直接，本文通过对Solaris 8内存管理机制的研究，给出了寻找Solaris 8系统内存瓶颈的方法。 关键词：Solaris 8，内存管理，性能优化 一、问题的提出 清华大学计算机与信息管理中心数据中心现有服务器近百台，其中包括了SUN Fire 15000、SUN Enterprise 5500、SUN Enterprise 5000等大型SUN服务器，Solaris 8是主流操作系统。为了对服务器的资源（如CPU、内存、磁盘、网络）的使用情况进行长期监控，建立性能优化（performance tuning）的基准值，我们开发了一套脚本程序定时采集系统运行参数。在长期的监控中，我们发现Solaris 8系统的空闲内存（freemem）呈现一个有趣的变化规律，如图1所示： 图1 空闲内存（freemem）变化图 图1是某Solaris 8系统（在下文中我们称之为15k-a）自2003年2月份以来的freemem 变化情况，横坐标是时间，纵坐标是freemem的数量，以8K字节为单位。15k-a配置是10路Super SPARCIII CPU，10GB物理内存。从上图可以看到在正常运行时，freemem应该是比较稳定的，15k-a主要是运行数据库，数据库在运行时会占用2G内存作为SGA区使用，因此在通常的负载下，freemem保持在6~7G之间是比较正常的。稳定一段时间后， 15k-a的freemem会持续走低，直到最低值，约为18893×8KMB，然后系统开始回收内存，我们就会看到freemem数量急剧上升。freemem的陡降都发生在凌晨1：00之后，检查系统作业发现每天1：00都会有一个数据库备份脚本开始运行：首先是用“exp”命令给数据库做逻辑备份，然后用“cp”命令把备份出来的文件拷贝到后备存储上。这两个命令都是正常退出，没有任何报错。开始时我们曾怀疑是有内存泄漏，当某一天freemem大幅攀升时，此怀疑被解除了，因为如果有内存泄漏，系统是无法将内存回收回来的。 对于一个物理内存为10GB的系统来说，如果空闲内存（freemem）真的减少到不到二百兆，那将存在着严重的问题。但奇怪的是系统的CPU使用率一直很低，所有进程的反应也很快，系统没有任何资源匮乏的迹象。如何解释这些问题呢，为此我们对Solaris 2.x 的内存管理机制进行了研究。 二、Solaris的内存管理机制 Solaris 8的内存管理为虚拟内存管理。[1]简单地说，虚拟内存就是进程看到比它实际使用的物理内存多得多的内存空间，对于64位的Solaris 8操作系统，进程可以通过8K 大小的段寻址访问2的64次方字节的内存空间，这种8K的段被称为页（page）。传统的UNIX通过进程（pagedaemon）完成虚拟地址和物理地址间的转换，在Solaris中这些是通过一个硬件－MMU(Memory Management Unit)－来实现的。在多处理器系统中，每个CPU 都有自己的MMU。Solaris 8的虚拟存储体系由系统寄存器、CPU CACHE、主存（RAM，物理内存）、外存（磁盘、磁带等）构成。 有两个基本的虚拟内存系统管理模型[2]：交换（swapping）和按需换页（demand paged）模型。交换模型的内存管理粒度是用户进程，当内存不足时，最不活跃的进程被交换出内存（swapping out）。按需换页模型的内存管理粒度是页（page），当内存匮乏时，只有最不经常使用的页被换出。Solaris 8结合使用了这两种内存管理模型，在通常情况下使用按需换页模型，当内存严重不足时，使用交换模型来进行内存释放。 与传统UNIX系统相比，Solaris虚拟内存系统的功能要丰富得多，它负责管理所有与I/O和内存相关的对象，包括内核、用户应用程序、共享库和文件系统。传统的UNIX系统V（System V）使用一个单独的缓冲区来加速文件系统的I/O， Solaris 8则使用虚拟内存系统来管理文件系统的缓存，系统的所有空闲内存都可以被用来做为文件I/O缓存，因为RAM的访问速度比磁盘快得多，所以这样做带来的性能提高是可观的。这也意味着在存在大量文件系统I/O的系统上，空闲内存的数量几乎是0。 了解系统内存被分配到了什么地方，系统在什么情况下进行内存整理是系统管理的重 第八章内存管理 1.地址捆绑 输入队列：在磁盘上等待调入内存以便执行的进程形成了输入队列 捆绑是从一个地址到另一个地址的映射。 编译时：如果在编译时就知道进程将在内存中的驻留地址，那么就可生成绝对代码 加载时：如果在编译时并不知到进程将驻留在何处，那么编译器就必须生成可重定位代码执行时：如果进程在执行时可以从一个内存段转移到另一个内存段，那么捆绑必须延迟到执行时才进行 2.逻辑地址（相对地址，虚拟地址）：CPU所生成的地址or 用户程序中使用的地址 物理地址（内存地址，绝对地址）：内存单元所看到的地址 编译时和加载时的地址捆绑生成相同的逻辑地址和物理地址运行时不同 重定位寄存器（relocation register）即基址寄存器（base register） 内存管理单元（MMU）：运行时实现从虚拟地址到物理地址的映射（map）的硬件设备 3.动态加载 ①所有的子程序只有在调用时才被加载 ②提高内存空间使用率，不用的子程序绝不会被装入内存 ③如果大多数代码需要处理异常情况时是非常有用的。 ④不需要操作系统的特别支持，通过程序设计实现。操作系统可能会为程序员提供实现动态装入的库函数。 4.动态链接库 ①动态链接直到执行时才进行链接。 ②利用动态链接，在映象中为每个库函数引用（library-routine reference）包含一个占位程序（stub）。占位程序是一小段代码，它指明了怎样定位驻留在内存中的库函数或函数不在内存中时怎样装入库。占位程序执行时，它检查所需的函数（routine）是否已经在内存中。如果没有，就把函数装入内存。或者以另外一种方式，占位程序用函数地址取代自身并执行这个函数。这样，下一次到达这段代码时，可以直接执行库函数（library routine）而无需动态 内存管理模拟 实验目标： 本实验的目的是从不同侧面了解Windows 2000／XP 对用户进程的虚拟内存空间的管理、分配方法。同时需要了解跟踪程序的编写方法(与被跟踪程序保持同步，使用Windows提供的信号量)。对Windows分配虚拟内存、改变内存状态，以及对物理内存(physical memory)和页面文件(pagefile)状态查询的API 函数的功能、参数限制、使用规则要进一步了解。 默认情况下，32 位Windows 2000／XP 上每个用户进程可以占有2GB 的私有地址空间，操作系统占有剩下的2GB。Windows 2000／XP 在X86 体系结构上利用二级页表结构来实现虚拟地址向物理地址的变换。一个32 位虚拟地址被解释为三个独立的分量——页目录索引、页表索引和字节索引——它们用于找出描述页面映射结构的索引。页面大小及页表项的宽度决定了页目录和页表索引的宽度。 实验要求： 使用Windows 2000／XP 的API 函数，编写一个包含两个线程的进程，一个线程用于模拟内存分配活动，一个线程用于跟踪第一个线程的内存行为，而且要求两个线程之间通过信号量实现同步。模拟内存活动的线程可以从一个文件中读出要进行的内存操作，每个内存操作包括如下内容： 时间：操作等待时间。 块数：分配内存的粒度。 操作：包括保留(reserve)一个区域、提交(commit)一个区域、释放(release)一个区域、回收(decommit)一个区域和加锁(lock)与解锁(unlock)一个区域，可以将这些操作编号存放于文件。保留是指保留进程的虚拟地址空间，而不分配物理 存储空间。提交在内存中分配物理存储空间。回收是指释放物理内存空间，但在虚拟地址空间仍然保留，它与提交相对应，即可以回收已经提交的内存块。释放是指将物理存储和虚拟地址空间全部释放，它与保留(reserve)相对应，即可以释放已经保留的内存块。 大小：块的大小。 访问权限：共五种，分别为PAGE_READONLY,PAGE_READWRITE ，PAGE_EXECUTE，PAGE_EXECUTE_READ 和PAGE EXETUTE_READWRITE。可以将这些权限编号存放于文件中跟踪线程将页面大小、已使用的地址范围、物理内存总量，以及虚拟内存总量等信息显示出来。 一、 JVM简介 JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。JVM工作原理和特点主要是指操作系统装入JVM是通过jdk中Java.exe来完成, 首先来说一下JVM工作原理中的jdk这个东西, .JVM 在整个jdk中处于最底层,负责于操作系统的交互,用来屏蔽操作系统环境,提供一个完整的Java运行环境,因此也就虚拟计算机. 操作系统装入JVM是通过jdk中Java.exe来完成。 通过下面4步来完成JVM环境. 1.创建JVM装载环境和配置 2.装载JVM.dll 3.初始化JVM.dll并挂界到JNIENV(JNI调用接口)实例 4.调用JNIEnv实例装载并处理class类。 对于JVM自身的物理结构，我们可以从下图了解： JVM的一个重要的特征就是它的自动内存管理机制，在执行一段Java代码的时候，会把它所管理的内存划分 成几个不同的数据区域，其中包括： 1. 程序计数器，众所周知，JVM的多线程是通过线程轮流切换并 分配CPU执行时间的方式来实现的，那么每一个线程在切换 后都必须记住它所执行的字节码的行号，以便线程在得到CPU 时间时进行恢复，这个计数器用于记录正在执行的字节码指令的地址，这里要强调的是“字节码”，如果执行的是Native方法，那么这个计数器应该为null； 2. 3. Java计算栈，可以说整个Java程序的执行就是一个出栈入栈 的过程，JVM会为每一个线程创建一个计算栈，用于记录线程中方法的调用和变量的创建，由于在计算栈里分配的内存出栈后立即被抛弃，因此在计算栈里不存在垃圾回收，如果线程请求的栈深度大于JVM允许的深度，会抛出StackOverflowError 异常，在内存耗尽时会抛出OutOfMemoryError异常； 4. Native方法栈，JVM在调用操作系统本地方法的时候会使用到 这个栈； 5. Java堆，由于每个线程分配到的计算栈容量有限，对于可能会 占据大量内存的对象，则会被分配到Java堆中，在栈中包含了指向该对象内存的地址；对于一个Java程序来说，只有一个Java堆，也就是说，所有线程共享一个堆中的对象；由于Java堆不受线程的控制，如果在一个方法结束之后立即回收这个方法使用到的对象，并不能保证其他线程是否正在使用该对象；因此堆中对象的回收由JVM的垃圾收集器统一管理，和某一个线程无关；在HotSpot虚拟机中Java堆被划分为三代：o新生代，正常情况下新创建的对象会被分配到新生代，但如果对象占据的内存足够大以致超过了新生代的容量限 制，也可能被分配到老年代；新生代对象的一个特点是最 新、且生命周期不长，被回收的可能性高； 两种常见的内存管理方法：堆和内存池 本文导读 在程序运行过程中，可能产生一些数据，例如，串口接收的数据，ADC采集的数据。若需将数据存储在内存中，以便进一步运算、处理，则应为其分配合适的内存空间，数据处理完毕后，再释放相应的内存空间。为了便于内存的分配和释放，AWorks提供了两种内存管理工具：堆和内存池。 本文为《面向AWorks框架和接口的编程（上）》第三部分软件篇——第9章内存管理——第1~2小节：堆管理器和内存池。 本章导读 在计算机系统中，数据一般存放在内存中，只有当数据需要参与运算时，才从内存中取出，交由CPU运算，运算结束再将结果存回内存中。这就需要系统为各类数据分配合适的内存空间。 一些数据需要的内存大小在编译前可以确定。主要有两类：一类是全局变量或静态变量，这部分数据在程序的整个生命周期均有效，在编译时就为这些数据分配了固定的内存空间，后续直接使用即可，无需额外的管理；一类是局部变量，这部分数据仅在当前作用域中有效（如函数中），它们需要的内存自动从栈中分配，也无需额外的管理，但需要注意的是，由于这一部分数据的内存从栈中分配，因此，需要确保应用程序有足够的栈空间，尽量避免定义内存占用较大的局部变量（比如：一个占用数K内存的数组），以避免栈溢出，栈溢出可能破坏系统关键数据，极有可能造成系统崩溃。 一些数据需要的内存大小需要在程序运行过程中根据实际情况确定，并不能在编译前确定。例如，可能临时需要1K内存空间用于存储远端通过串口发过来的数据。这就要求系统具有对内存空间进行动态管理的能力，在用户需要一段内存空间时，向系统申请，系统选择一段合适的内存空间分配给用户，用户使用完毕后，再释放回系统，以便系统将该段内存空间回收再利用。在AWorks中，提供了两种常见的内存管理方法：堆和内存池。9.1 堆管理器 第7章内存管理 复习题： 7.1.内存管理需要满足哪些需求？ 答：重定位、保护、共享、逻辑组织和物理组织。 7.2.为什么需要重定位进程的能力？ 答：通常情况下，并不能事先知道在某个程序执行期间会有哪个程序驻留在主存中。 此外还希望通过提供一个巨大的就绪进程池，能够把活动进程换入和换出主存，以便使处理器的利用率最大化。在这两种情况下，进程在主存中的确切位置是不可预知的。 7.3.为什么不可能在编译时实施内存保护？ 答：由于程序在主存中的位置是不可预测的，因而在编译时不可能检查绝对地址来确保保护。并且，大多数程序设计语言允许在运行时进行地址的动态计算（例如，通过计算数组下标或数据结构中的指针）。因此，必须在运行时检查进程产生的所有存储器访问，以便确保它们只访问了分配给该进程的存储空间。 7.4.允许两个或多个进程访问进程的某一特定区域的原因是什么？ 答：如果许多进程正在执行同一程序，则允许每个进程访问该程序的同一个副本要比让每个进程有自己单独的副本更有优势。同样，合作完成同一任务的进程可能需要共享访问同一个数据结构。 7.5.在固定分区方案中，使用大小不等的分区有什么好处？ 答：通过使用大小不等的固定分区：1.可以在提供很多分区的同时提供一到两个非常大的分区。大的分区允许将很大的进程全部载入主存中。2.由于小的进程可以被放入小的分区中，从而减少了内部碎片。 7.6.内部碎片和外部碎片有什么区别？ 答：内部碎片是指由于被装入的数据块小于分区大小而导致的分区内部所浪费的空间。外部碎片是与动态分区相关的一种现象，它是指在所有分区外的存储空间会变成越来越多的碎片的。 7.7.逻辑地址、相对地址和物理地址间有什么区别？ 答：逻辑地址是指与当前数据在内存中的物理分配地址无关的访问地址，在执行对内存的访问之前必须把它转化成物理地址。相对地址是逻辑地址的一个特例，是相对于某些已知点（通常是程序的开始处）的存储单元。物理地址或绝对地址是数据在主存中的实际位置。 7.8.页和帧之间有什么区别？ 答：在分页系统中，进程和磁盘上存储的数据被分成大小固定相等的小块，叫做页。 而主存被分成了同样大小的小块，叫做帧。一页恰好可以被装入一帧中。 7.9.页和段之间有什么区别？ 答：分段是细分用户程序的另一种可选方案。采用分段技术，程序和相关的数据被划分成一组段。尽管有一个最大段长度，但并不需要所有的程序的所有段的长度都相等。习题： 7.1. 2.3节中列出了内存管理的5个目标，7.1节中列出了5中需求。请说明它们是一致 的。 答: 重定位≈支持模块化程序设计; 保护≈保护和访问控制以及进程隔离; 共享≈保护和访问控制; 逻辑组织≈支持模块化程序设计; 物理组织≈长期存储及自动分配和管理. 实验五 Windows XP 虚拟内存管理 一实验目的 1) 了解存储器管理以及虚拟存储器管理的基本原理 2）了解和学习Windows系统管理工具中关于内存管理的设置和使用； 二实验环境 需要准备一台运行Windows XP操作系统的计算机。 三背景知识 虚拟存储器技术是当代计算机中广泛采用的内存管理方案，在Windows XP中合理的进行虚拟内存的设置，可以更有效的提高系统的工作效率。利用系统自带的系统监视器可以查看虚拟内存的使用情况，根据使用情况可以灵活的进行虚拟内存的管理。 四实验内容与步骤 启动并进入Windows环境，单击Ctrl + Alt + Del键，或者右键单击任务栏，在快捷菜单中单击“任务管理器”命令，打开“任务管理器”窗口。 步骤1：当前机器中由你打开，正在运行的应用程序有： 1) 5.doc[兼容模式]-Microsoft Word 2) 常州大学-Windows Internet Explorer 3) 常州大学教务单点登录接入平台- Windows Internet Explorer 步骤2：单击“进程”选项卡，一共显示了 33 个进程。请试着区分一下，其中： 系统 (SYSTEM) 进程有 19 个，填入表2-1中。 表2-1 实验记录 映像名称用户名CPU使用率内存使用进程实现的功能Svchost.exe SYSTEM 00 4416K NT Kernel &System Service.exe SYSTEM 00 3272K Windows会话管理器 Sqlservr.ex e SYSTEM 00 9580K Client Server Runtime Process LMS.exe SYSTEM 00 2912K 服务和控制器应用程序MDM.exe SYSTEM 00 3424K Local Security Authority Process Inetinfo.exe SYSTEM 00 9780K 本地会话管理器服务Spoolsv.exe SYSTEM 00 5612K Windows 服务主进程 Ati2evxx.e xe SYSTEM 00 4024K 360主动防御服务模块 Svchost.exe SYSTEM 00 24912K Windows 登录应用程序Svchost.exe SYSTEM 00 5084K Windows 服务主进程Service.exe SYSTEM 00 3476K 服务和控制器应用程序Isass.exe SYSTEM 00 1736K Local Security Authority Process 内存分段和请求式分页 在深入i386架构的技术细节之前，让我们先返回1978年，那一年Intel 发布了PC处理器之母：8086。我想将讨论限制到这个有重大意义的里程碑上。如果你打算知道更多，阅读Robert L.的80486程序员参考（Hummel 1992）将是一个很棒的开始。现在看来这有些过时了，因为它没有涵盖Pentium处理器家族的新特性；不过，该参考手册中仍保留了大量i386架构的基本信息。尽管8086能够访问1MB RAM的地址空间，但应用程序还是无法“看到”整个的物理地址空间，这是因为CPU寄存器的地址仅有16位。这就意味着应用程序可访问的连续线性地址空间仅有64KB，但是通过16位段寄存器的帮助，这个64KB大小的内存窗口就可以在整个物理空间中上下移动，64KB逻辑空间中的线性地址作为偏移量和基地址（由16位的段寄存器给处）相加，从而构成有效的20位地址。这种古老的内存模型仍然被最新的Pentium CPU支持，它被称为：实地址模式，通常叫做：实模式。 80286 CPU引入了另一种模式，称为：受保护的虚拟地址模式，或者简单的称之为：保护模式。该模式提供的内存模型中使用的物理地址不再是简单的将线性地址和段基址相加。为了保持与8086和80186的向后兼容，80286仍然使用段寄存器，但是在切换到保护模式后，它们将不再包含物理段的地址。替代的是，它们提供了一个选择器（selector），该选择器由一个描述符表的索引构成。描述符表中的每一项都定义了一个24位的物理基址，允许访问16MB RAM，在当时这是一个很不可思议的数量。不过，80286仍然是16位CPU，因此线性地址空间仍然被限制在64KB。 1985年的80386 CPU突破了这一限制。该芯片最终砍断了16位寻址的锁链，将线性地址空间推到了4GB，并在引入32位线性地址的同时保留了基本的选择器/描述符架构。幸运的是，80286的描述符结构中还有一些剩余的位可以拿来使用。从16位迁移到32位地址后，CPU的数据寄存器的大小也相应的增加了两倍，并同时增加了一个新的强大的寻址模型。真正的32位的数据和地址为程序员带了实际的便利。事实上，在微软的Windows平台真正完全支持32位模型是在好几年之后。Windows NT的第一个版本在1993年7月26日发布，实现了真正意义上的Win32 API。但是Windows 3.x程序员仍然要处理由独立的代码和数据段构成的64KB内存片，Windows NT提供了平坦的4GB地址空间，在那儿可以使用简单的32位指针来寻址所有的代码和数据，而不需要分段。在内部，当然，分段仍然在起作用，就像我在前面提及的那样。不过管理段的所有责任都被移给了操作系统。 基本概念【摘录】 每个进程都被赋予它自己的虚拟地址空间。对于32位进程来说，这个地址空间是4GB，因为32位指针可以拥有从0x000000000至0xFFFFFFFF之间的任何一个值。这使得一个指针能够拥有4 294 967 296个值中的一个值，它覆盖了一个进程的4GB虚拟空间的范围。这是相当大的一个范围。由于每个进程可以接收它自己的私有的地址空间，因此当进程中的一个线程正在运行时，该线程可以访问只属于它的进程的内存。属于所有其他进程的内存则隐藏着，并且不能被正在运行的线程访问。 注意在Windows 2000中，属于操作系统本身的内存也是隐藏的，正在运行的线程无法访问。这意味着线程常常不能访问操作系统的数据。Windows 98中，属于操作系统的内存是不隐藏的，正在运行的线程可以访问。因此，正在运行的线程常常可以访问操作系统的数据，也可以破坏操作系统（从而有可能导致操作系统崩溃）。在Windows 98中，一个进程的线程不可能访问属于另一个进程的内存。 前面说过，每个进程有它自己的私有地址空间。进程A可能有一个存放在它的地址空间中的数据结构，地址是0x12345678，而进程B则有一个完全不同的数据结构存放在它的地址空间中，地址是0x12345678。当进程A中运行的线程访问地址为0x12345678的内存时，这些线程访问的是进程A的数据结构。当进程B中运行的线程访问地址为0x12345678的内存时，这些线程访问的是进程B的数据结构。进程A中运行的线程不能访问进程B的地址空间中的数据结构。反之亦然。 记住，这是个虚拟地址空间，不是物理地址空间。该地址空间只是内存地址的一个范围。在你能够成功地访问数据而不会出现违规访问之前，必须赋予物理存储器，或者将物理存储器映射到各个部分的地址空间。 每个进程的虚拟地址空间都要划分成各个分区。地址空间的分区是根据操作系统的基本实现方法来进行的。不同的Windows内核，其分区也略有不同。 本文背景： 在编程中，很多Windows或C++的内存函数不知道有什么区别，更别谈有效使用；根本的原因是，没有清楚的理解操作系统的内存管理机制，本文企图通过简单的总结描述，结合实例来阐明这个机制。 本文目的： 对Windows内存管理机制了解清楚，有效的利用C++内存函数管理和使用内存。 本文内容： 3. 内存管理机制--虚拟内存 (VM) · 虚拟内存使用场合 虚拟内存最适合用来管理大型对象或数据结构。比如说，电子表格程序，有很多单元格，但是也许大多数的单元格是没有数据的，用不着分配空间。也许，你会想到用动态链表，但是访问又没有数组快。定义二维数组，就会浪费很多空间。 它的优点是同时具有数组的快速和链表的小空间的优点。 · 分配虚拟内存 如果你程序需要大块内存，你可以先保留内存，需要的时候再提交物理存储器。在需要的时候再提交才能有效的利用内存。一般来说，如果需要内存大于1M，用虚拟内存比较好。 · 保留 用以下Windows 函数保留内存块 VirtualAlloc (PVOID 开始地址，SIZE_T 大小，DWORD 类型，DWORD 保护 属性) 一般情况下，你不需要指定“开始地址”，因为你不知道进程的那段空间 是不是已经被占用了；所以你可以用NULL。“大小”是你需要的内存字 节；“类型”有MEM_RESERVE（保留）、MEM_RELEASE（释放）和 MEM_COMMIT（提交）。“保护属性”在前面章节有详细介绍，只能用前 六种属性。 如果你要保留的是长久不会释放的内存区，就保留在较高的空间区域， 这样不会产生碎片。用这个类型标志可以达到： MEM_RESERVE|MEM_TOP_DOWN。 C++程序：保留1G的空间 LPVOID pV=VirtualAlloc(NULL,1000*1024*1024,MEM_RESERVE|MEM_TOP_DOWN,PAGE_READW if(pV==NULL) cout<<"没有那么多虚拟空间!"<操作系统内存管理复习过程
linux内存管理子系统 笔记
动态内存管理知识总结
四川大学 操作系统上机实验 实验五 Windows虚拟存储器管理
全面介绍Windows内存管理机制
Solaris 8内存管理机制研究
内存管理
操作系统课程设计内存管理
JVM原理以及JVM内存管理机制
两种常见的内存管理方法：堆和内存池
操作系统第五版答案第7章内存管理
操作系统实验五 Windows XP 虚拟内存管理
操作系统内存管理原理
Windows虚拟内存管理
Windows内存管理机制及C++内存分配实例(三)：虚拟内存