个人备案网站会影响吗,公司备案证查询网站查询网站,电商网站维护,做喜报的网站《操作系统导论》第15章读书笔记#xff1a;机制#xff1a;地址转换#xff08;address translation#xff09; —— 杭州 2024-03-30 夜 文章目录 《操作系统导论》第15章读书笔记#xff1a;机制#xff1a;地址转换#xff08;address translation#xff09;1.前…《操作系统导论》第15章读书笔记机制地址转换address translation —— 杭州 2024-03-30 夜 文章目录 《操作系统导论》第15章读书笔记机制地址转换address translation1.前言2.一个例子3.动态(基于硬件)重定位(dynamic relocation)转换示例 4.硬件支持总结5.操作系统的问题6.小结 1.前言 受限直接访问Limited Direct ExecutionLDE。LDE背后的想法很简单让程序运行的大部分指令直接访问硬件只在一些关键点如进程发起系统调用或发生时钟中断由操作系统介入来确保“在正确时间正确的地点做正确的事”。为了实现高效的虚拟化操作系统应该尽量让程序自己运行同时通过在关键点的及时介入interposing来保持对硬件的控制。高效和控制是现代操作系统的两个主要目标。基于硬件的地址转换hardware-based address translation简称为地址转换address translation。它可以看成是受限直接执行这种一般方法的补充。利用地址转换硬件对每次内存访问进行处理即指令获取、数据读取或写入将指令中的虚拟virtual地址转换为数据实际存储的物理physical地址。因此在每次内存引用时硬件都会进行地址转换将应用程序的内存引用重定位到内存中实际的位置。当然仅仅依靠硬件不足以实现虚拟内存因为它只是提供了底层机制来提高效率。操作系统必须在关键的位置介入设置好硬件以便完成正确的地址转换。因此它必须管理内存manage memory记录被占用和空闲的内存位置并明智而谨慎地介入保持对内存使用的控制。同样所有这些工作都是为了创造一种美丽的假象每个程序都拥有私有的内存那 里存放着它自己的代码和数据。虚拟现实的背后是丑陋的物理事实许多程序其实是在同一时间共享着内存就像CPU或多个CPU在不同的程序间切换运行。通过虚拟化 操作系统在硬件的帮助下将丑陋的机器现实转化成一种有用的、强大的、易于使用的抽象。 2.一个例子 设想一个进程的地址空间如图 15.1 所示。这里我们要检查一小段代码,它从内存中加载一个值,对它加 3,然后将它存回内存。你可以设想,这段代码的 C 语言形式可能像这样: void func() {int x;x x 3; // this is the line of code we are interested in编译器将这行代码转化为汇编语句,可能像下面这样(x86 汇编)。我们可以用 Linux的 objdump 或者 Mac 的 otool 将它反汇编: 128: movl 0x0(%ebx), %eax ;load 0ebx into eax132: addl $0x03, %eax ;add 3 to eax register135: movl %eax, 0x0(%ebx) ;store eax back to mem这段代码相对简单,它假定 x 的地址已经存入寄存器 ebx,之后通过 movl指令将这个地址的值加载到通用寄存器eax(长字移动)。下一条指令对 eax 的内容加 3。最后一条指令将 eax中的值写回到内存的同一位置。 介入Interposition:介入是一种很常见又很有用的技术计算机系统中使用介入常常能带来很好的效果。在虚拟内存中硬件可以介入到每次内存访问中将进程提供的虚拟地址转换为数据实际存储的物理地址。 在图 15.1 中,可以看到代码和数据都位于进程的地址空间,3 条指令序列位于地址 128(靠近头部的代码段),变量 x 的值位于地址 15KB(在靠近底部的栈中)。如图 15.1 所示,x的初始值是 3000。 如果这 3 条指令执行,从进程的角度来看,发生了以下几次内存访问: 从地址 128 获取指令; 执行指令(从地址 15KB 加载数据); 从地址 132 获取命令; 执行命令(没有内存访问); 从地址 135 获取指令; 执行指令(新值存入地址 15KB)。 从程序的角度来看,它的地址空间(address space)从 0 开始到 16KB结束。它包含的所有内存引用都应该在这个范围内。然而,对虚拟内存来说,操作系统希望将这个进程地址空间放在物理内存的其他位置,并不一定从地址 0 开始。因此我们遇到了如下问题:怎样在内存中重定位这个进程,同时对该进程透明(transparent)?怎么样提供一种虚拟地址空间从 0 开始的假象,而实际上地址空间位于另外某个物理地址? 3.动态(基于硬件)重定位(dynamic relocation) 为了更好地理解基于硬件的地址转换,我们先来讨论它的第一次应用。在 20世纪50年代后期,它在首次出现的时分机器中引入,那时只是一个简单的思想,称为基址加界限机制(base and bound),有时又称为动态重定位(dynamic relocation),我们将互换使用这两个术语。 具体来说,每个 CPU 需要两个硬件寄存器:基址(base)寄存器和界限(bound)寄存器,有时称为限制(limit)寄存器。这组基址和界限寄存器,让我们能够将地址空间放在物理内存的任何位置,同时又能确保进程只能访问自己的地址空间。 采用这种方式,在编写和编译程序时假设地址空间从零开始。但是,当程序真正执行时,操作系统会决定其在物理内存中的实际加载地址,并将起始地址记录在基址寄存器中。在上面的例子中,操作系统决定加载在物理地址 32KB的进程,因此将基址寄存器设置为这个值。 当进程运行时,有趣的事情发生了。现在,该进程产生的所有内存引用,都会被处理器通过以下方式转换为物理地址: physical address virtual address base进程中使用的内存引用都是虚拟地址(virtual address),硬件接下来将虚拟地址加上基址寄存器中的内容,得到物理地址(physical address),再发给内存系统。 为了更好地理解,让我们追踪一条指令执行的情况。具体来看前面序列中的一条指令: 128: movl 0x0(%ebx), %eax程序计数器(PC)首先被设置为 128。当硬件需要获取这条指令时,它先将这个值加上基址寄存器中的32KB(32768),得到实际的物理地址 32896,然后硬件从这个物理地址获取指令。 接下来,处理器开始执行该指令。这时,进程发起从虚拟地址 15KB的加载,处理器同样将虚拟地址加上基址寄存器内容(32KB),得到最终的物理地址 47KB,从而获得需要的数据。 将虚拟地址转换为物理地址,这正是所谓的地址转换(address translation)技术。也就是说,硬件取得进程认为它要访问的地址,将它转换成数据实际位于的物理地址。由于这种重定位是在运行时发生的,而且我们甚至可以在进程开始运行后改变其地址空间,这种技术一般被称为动态重定位(dynamic relocation)。 提示:基于硬件的动态重定位 在动态重定位的过程中,只有很少的硬件参与,但获得了很好的效果。一个基址寄存器将虚拟地址转换为物理地址,一个界限寄存器确保这个地址在进程地址空间的范围内。它们一起提供了既简单又高效的虚拟内存机制。 现在你可能会问,界限(限制)寄存器去哪了?不是基址加界限机制吗?正如你猜测的那样,界限寄存器提供了访问保护。在上面的例子中,界限寄存器被置为 16KB。如果进程需要访问超过这个界限或者为负数的虚拟地址,CPU将触发异常,进程最终可能被终止。界限寄存器的用处在于,它确保了进程产生的所有地址都在进程的地址界限中。 这种基址寄存器配合界限寄存器的硬件结构是芯片中的(每个 CPU 一对)。有时我们将CPU的这个负责地址转换的部分统称为内存管理单元(Memory Management Unit,MMU)。随着我们开发更复杂的内存管理技术,MMU 也将有更复杂的电路和功能。 关于界限寄存器再补充一点,它通常有两种使用方式。在一种方式中(像上面那样),它记录地址空间的大小,硬件在将虚拟地址与基址寄存器内容求和前,就检查这个界限。另一种方式是界限寄存器中记录地址空间结束的物理地址,硬件在转化虚拟地址到物理地址之后才去检查这个界限。这两种方式在逻辑上是等价的。简单起见,我们这里假设采用第一种方式。 转换示例 为了更好地理解基址加界限的地址转换的详细过程,我们来看一个例子。设想一个进程拥有 4KB 大小地址空间(是的,小得不切实际),它被加载到从 16KB 开始的物理内存中。一些地址转换结果见表 15.1。 表 15.1 地址转换结果 虚拟地址→物理地址0→16KB1KB→17KB3000→193844400→错误(越界) 从例子中可以看到,通过基址加虚拟地址(可以看作是地址空间的偏移量)的方式,很容易得到物理地址。虚拟地址过大或者为负数时,会导致异常。 补充:数据结构——空闲列表 操作系统必须记录哪些空闲内存没有使用,以便能够为进程分配内存。很多不同的数据结构可以用于这项任务,其中最简单的(也是我们假定在这里采用的)是空闲列表(free list)。它就是一个列表,记录当前没有使用的物理内存的范围。 4.硬件支持总结 两种 CPU 模式。操作系统在特权模式(privileged mode,或内核模式,kernelmode),可以访问整个机器资源。应用程序在用户模式(user mode)运行,只能做有限的操作。只要一个位,也许保存在处理器状态字(processor status word)中,就能说明当前的CPU 运行模式。在一些特殊的时刻(如系统调用、异常或中断),CPU 会切换状态。 硬件要求解释特权模式需要,以防用户模式的进程执行特权操作基址/界限寄存器每个 CPU 需要一对寄存器来支持地址转换和界限检查能够转换虚拟地址并检查它是否越界电路来完成转换和检查界限,在这种情况下,非常简单修改基址/界限寄存器的特权指令在让用户程序运行之前,操作系统必须能够设置这些值注册异常处理程序的特权指令操作系统必须能告诉硬件,如果异常发生,那么执行哪些代码能够触发异常如果进程试图使用特权指令或越界的内存 硬件还必须提供基址和界限寄存器(base and bounds register),因此每个 CPU 的内存管理单元(Memory Management Unit,MMU)都需要这两个额外的寄存器。用户程序运行时,硬件会转换每个地址,即将用户程序产生的虚拟地址加上基址寄存器的内容。硬件也必须能检查地址是否有用,通过界限寄存器和 CPU 内的一些电路来实现。 硬件应该提供一些特殊的指令,用于修改基址寄存器和界限寄存器,允许操作系统在切换进程时改变它们。这些指令是特权(privileged)指令,只有在内核模式下,才能修改这些寄存器。想象一下,如果用户进程在运行时可以随意更改基址寄存器,那么用户进程可能会造成严重破坏。想象一下吧!然后迅速将这些阴暗的想法从你的头脑中赶走,因为它们很可怕,会导致噩梦。 最后,在用户程序尝试非法访问内存(越界访问)时,CPU必须能够产生异常(exception)。在这种情况下,CPU应该阻止用户程序的执行,并安排操作系统的越界异常处理程序(exception handler)去处理。操作系统的处理程序会做出正确的响应,比如在这种情况下终止进程。 类似地,如果用户程序尝试修改基址或者界限寄存器时,CPU也应该产生异常,并调用用户模式尝试执行特权指令的异常处理程序。xCPU 还必须提供一种方法,来通知它这些处理程序的位置,因此又需要另一些特权指令。 5.操作系统的问题 为了支持动态重定位硬件添加了新的功能使得操作系统有了一些必须处理的新问题。硬件支持和操作系统管理结合在一起实现了一个简单的虚拟内存。具体来说在一些关键的时刻操作系统需要介入以实现基址和界限方式的虚拟内存见表 15.3。 第一在进程创建时操作系统必须采取行动为进程的地址空间找到内存空间。由于我们假设每个进程的地址空间小于物理内存的大小并且大小相同这对操作系统来说很容易。它可以把整个物理内存看作一组槽块标记了空闲或已用。当新进程创建时操作系统检索这个数据结构常被称为空闲列表free list为新地址空间找到位置并将其标记为已用。如果地址空间可变那么生活就会更复杂我们将在后续章节中讨论。 我们来看一个例子。在图 15.2 中操作系统将物理内存的第一个槽块分配给自己然后将例子中的进程重定位到物理内存地址 32KB。另两个槽块1632KB4864KB空闲因此空闲列表free list就包含这两个槽块。 第二在进程终止时正常退出或因行为不端被强制终止操作系统也必须做一些工作回收它的所有内存给其他进程或者操作系统使用。在进程终止时操作系统会将这些内存放回到空闲列表并根据需要清除相关的数据结构。 第三在上下文切换时操作系统也必须执行一些额外的操作。每个 CPU 毕竟只有一个基址寄存器和一个界限寄存器但对于每个运行的程序它们的值都不同因为每个程序被加载到内存中不同的物理地址。因此在切换进程时操作系统必须保存和恢复基础和界限寄存器。具体来说当操作系统决定中止当前的运行进程时它必须将当前基址和界限寄存器中的内容保存在内存中放在某种每个进程都有的结构中如进程结构process structure或进程控制块Process Control BlockPCB中。类似地当操作系统恢复执行某个进程时或第一次执行也必须给基址和界限寄存器设置正确的值。 表 15.3 动态重定位操作系统的职责 操作系统的要求解释内存管理需要为新进程分配内存从终止的进程回收内存一般通过空闲列表free list来管理内存基址/界限管理必须在上下文切换时正确设置基址/界限寄存器异常处理当异常发生时执行的代码可能的动作是终止犯错的进程 需要注意当进程停止时即没有运行操作系统可以改变其地址空间的物理位置这很容易。要移动进程的地址空间操作系统首先让进程停止运行然后将地址空间拷贝到新位置最后更新保存的基址寄存器在进程结构中指向新位置。当该进程恢复执行时它的新基址寄存器会被恢复它再次开始运行显然它的指令和数据都在新的内存位置了。 第四操作系统必须提供异常处理程序exception handler或要一些调用的函数像上面提到的那样。操作系统在启动时加载这些处理程序通过特权命令。例如当一个进程试图越界访问内存时CPU 会触发异常。在这种异常产生时操作系统必须准备采取行动。通常操作系统会做出充满敌意的反应终止错误进程。操作系统应该尽力保护它运行的机器因此它不会对那些企图访问非法地址或执行非法指令的进程客气。再见了行为不端的进程很高兴认识你。 表15.4 为按时间线展示了大多数硬件与操作系统的交互。可以看出操作系统在启动时做了什么为我们准备好机器然后在进程进程A开始运行时发生了什么。请注意地址转换过程完全由硬件处理没有操作系统的介入。在这个时候发生时钟中断操作系统切换到进程B 运行它执行了“错误的加载”对一个非法内存地址这时操作系统必须介入终止该进程清理并释放进程B 占用的内存将它从进程表中移除。从表中可以看出我们仍然遵循受限直接访问limited direct execution的基本方法大多数情况下操作系统正确设置硬件后就任凭进程直接运行在CPU上只有进程行为不端时才介入。 表 15.4 受限直接执行协议动态重定位 时间操作系统启动内核模式硬件T0初始化陷阱表开始时钟在 x ms 后中断初始化进程表初始化空闲列表记住以下地址系统调用处理程序时钟处理程序非法内存处理程序非常指令处理程序开始中断时钟T1为了启动进程 A在进程表中分配条目为进程分配内存设置基址/界限寄存器从陷阱返回进入 A恢复 A 的寄存器转向用户模式跳到 A最初的程序计数器T2进程 A 运行获取指令执行指令……转换虚拟地址并执行获取如果显式加载/保存确保地址不越界转换虚拟地址并执行加载/保存T3时钟中断转向内核模式跳到中断处理程序T4处理陷阱调用 switch()例程将寄存器A保存到进程结构A包括基址/界限从进程结构B恢复寄存器B包括基址/界限从陷阱返回进入 BT5处理本期报告决定终止进程 B回收 B 的内存移除 B 在进程表中的条目恢复 B 的寄存器转向用户模式跳到 B 的程序计数器T6进程 B 运行执行错误的加载加载越界转向内核模式跳到陷阱处理程序 6.小结 本章通过虚拟内存使用的一种特殊机制即地址转换address translation扩展了受限直接访问的概念。利用地址转换操作系统可以控制进程的所有内存访问确保访问在地址空间的界限内。这个技术高效的关键是硬件支持硬件快速地将所有内存访问操作中的虚拟地址进程自己看到的内存位置转换为物理地址实际位置。所有的这一切对进程来说都是透明的进程并不知道自己使用的内存引用已经被重定位制造了美妙的假象。 我们还看到了一种特殊的虚拟化方式称为基址加界限的动态重定位。基址加界限的虚拟化方式非常高效因为只需要很少的硬件逻辑就可以将虚拟地址和基址寄存器加起来并检查进程产生的地址没有越界。基址加界限也提供了保护操作系统和硬件的协作确保没有进程能够访问其地址空间之外的内容。保护肯定是操作系统最重要的目标之一。没有保护操作系统不可能控制机器如果进程可以随意修改内存它们就可以轻松地做出可怕的事情比如重写陷阱表并完全接管系统。 遗憾的是这个简单的动态重定位技术有效率低下的问题。例如从图 15.2 中可以看到重定位的进程使用了从 32KB 到 48KB 的物理内存但由于该进程的栈区和堆区并不很大导致这块内存区域中大量的空间被浪费。这种浪费通常称为内部碎片internal fragmentation指的是已经分配的内存单元内部有未使用的空间即碎片造成了浪费。在我们当前的方式中即使有足够的物理内存容纳更多进程但我们目前要求将地址空间放在固定大小的槽块中因此会出现内部碎片①。所以我们需要更复杂的机制以便更好地利用物理内存避免内部碎片。第一次尝试是将基址加界限的概念稍稍泛化得到分段segmentation的概念我们接下来将讨论。