Lecture 3. ISA and Assembly
指令集 instruction set architecture 不只定义了指令的功能和格式，还定义了系统状态。
RISC 精简指令集 reduced IS computer，如 RISC-V 和 MIPS。CISC 复杂指令集 complex，如 x86-64。
RISC-V ISA and Assembly
课程介绍 RV32I，第五代 RISC-V，UC Berkeley。
基础的指令集如 RV32I，RV64I 和 RV128I。简化版本 RV32E。扩展版本 M（乘除法），A atomic，Q（浮点），C compressed，V（向量）。
所有指令都是 32-bit 长，包括 RV64I，除了 C 扩展。
System States
程序计数器 PC；寄存器；内存，在 RV32I 中四位对齐。
寄存器有自己的名字。x0 永远是 0。ra, sp, gp, tp 分别存储返回地址，栈指针，全局指针和线程指针。t0-6 存临时数据，s0-11 存长期数据，a0-7 存参数。
Arithmetic
<op> rd, rs1, rs2，op 可以是 add sub and or xor
忽略溢出。
Immediate Operands
立即操作，<op> rd, rs1, imm
imm 只有 12-bit 且符号填充，这样才能 fit 32-bit。对于更高 20-bit，有别的操作。
Shift
shift left logical sll rd, rs1, rs2 表示 rd = rs1 << rs2，逻辑左移，只用 rs2 的低 5 位。
srl 逻辑右移，多出来填充 0，sra 算数右移，多出来填充符号位。
slli rd, rs1, shamt 用左移 shamt 位，5-bit。
Comparison
set less than slt rd, rs1, rs2 表示 rd = [rs1 < rs2]。
无符号比较 sltu，立即数 slti，立即数无符号比较 sltiu。
Pseudo
伪指令可以理解为在指令集架构层面定义的宏。伪指令不是真实的硬件指令，但汇编器认识，并会自动翻译成一条或多条等效的真实指令。
sltz rd, rs 和 0 比较。mv rd, rs 将 rs 复制到 rd。nop 不进行任何操作，占位 & 指令对齐 & 延时。
Load & Store
只有 load 和 store 访问内存。
load word lw rd, offset(rs1)，其中 offset 是立即数。地址应当对齐到四字节。
load half-word lh, lhu, sh 是 16-bit，两字节，对齐到两字节；load byte lb, lbu, sb 是 8-bit，一字节。只有在读的时候需要解释是否有符号，并且在有符号时进行 符号扩展，否则是 0-扩展。
直接 load 立即数：addi rd, zero, imm 12-bit；load 高位立即数：lui rd, imm 20-bit
auipc rd, imm 获得 PC 的地址，rd = PC + (imm << 12)，20-bit。
Change Control Flow
branch if equal to beq rs1, rs2, L，若相等则跳转到 L。bne, blt, bge, bltu, bgeu。
jump and link jal rd, L，将 PC + 4 存入 rd 并跳转到 L。
jalr rd, rs1, offset 跳转到 rs1 + offset。
伪指令: j L，jr rs1
switch-case：预处理 jtable，将对应标签 load 到 register 然后直接跳转。
Procedure Calls and RISC-V Calling Convention
返回地址存在 ra，跳转即 jal ra, L，返回即 jr ra。
调用函数之前，将前 8 个参数传入 a0-7。返回之前，将前 2 个返回值传入 a0-1
不能随意调用寄存器。caller 保存 ra, t0-6, a0-7；callee 保存 sp, s0-11（s 开头）。
栈指针 fp 是 s0，但和 sp 一起移动，RISC-V 会忽略。
Lecture 4. RISC-V Encoding; Vector Extension
学习 RISC-V 的二进制表示以设计处理器。
RISC-V Encoding
所有指令都是 32-bit 且在内存中对齐，方便寻址。六种指令格式。
R-format
- 为什么要 f：省下来位表示不同类型的操作，op 一样。op 只表示如何解码？
- 为什么要分开 f：对齐，有些类型的指令需要用到这些位。
add 的 f 全是 0；右移的 f3 是 101（左移是 001），f7 的第二位决定是逻辑还是算术。
I-format
shift 只用立即数的最后五位。load f3 的后两位决定大小，第一位决定符号。
S-format
保持寄存器在相同的位置，方便解码，甚至在知道操作类型之前就知道哪些位置要操作了 speculation，使得数据访问和解码可以并行。MIPS 则不行。
U-format
有 lui 和 auipc。
B-format
编码 beq rs1, rs2, L：分支标记是对应指令的地址，32-bit，但只有 12 位可以用。解决方法是目标和当前指令一般比较接近，否则调用 jump。
指令的字节数是偶数，imm[0] 一定是 0，所以用 imm[12:1]。如果是 32 位则再乘以 2，PC 加 imm[12:1] * 2。
顺序是为了保证 imm[10:1] 在原来的位置，imm[12] 是符号位在最高位。
J-format
19-12 与 U 一致，10-1 与 I 一致。注意只有 jal。jalr 是 I 格式。
RISC-V 的寻址模式：立即数，寄存器，寄存器 + 偏移，PC + 偏移。
RISC 非常简洁，但劣势是指令数变多，单个指令耗费空间更多。对性能影响不显著，主要是空间大。
RISC-V Vector Extension
SSE/AVX
寄存器 xmm(128), ymm(256), zmm(512) 是重叠的。
SIMD 指令是 C-风格 的。
缺点：长度硬编码。
RISC-V Vector Extension
向量长度可变，软硬件不再相互依赖；不需要一直引入新指令，编译器和处理器的设计都更简单；代码便携性更高，自动适应新的硬件。
32 个寄存器 v0-31，长度是 VLEN，硬件寄存器长度。
向量长度 vl（元素个数），软件寄存器长度。
向量种类寄存器 vtype，里面有 vlmul 和 vsew。
- LMUL 表示将多少个寄存器打包在一起，等于 2 ^ vlmul。
- SEW 表示每个元素的宽度，等于 2 ^ (3 + vsew)。
vset(i)vl(i) rd, rs1 / uimm, rs2 / vtypei 设置 vl 和 vtype 寄存器。AVL application vector length 由 rs1 或 uimm 确定。rs2 / vtypei 编码了 SEW，LMUL 等。
vl 不超过 VLMAX = LMUL * VLEN / SEW，且不超过 AVL。最终的 vl 会存入 rd。
存储: 顺序 vle<w>.v vd, (rs1)；条状 vlse<w>.v vd, (rs1), rs2，rs2 表示 offset；下标 vluxei<w>.v vd, (rs1), vs2。
mask：条件运行，v0.t。vmslt.vv v0, v2, v1，只有 v2 < v1 的那些位在 v0.t 是 1。
Lecture 5. Processor: Single-Cycle & Pipelined
设计 RISC 的处理器。
- 多路选择器 multiplexer, MUX。
- 编码器 / 解码器 encoder / decoder。
- 算数逻辑单元 ALU。
如何存储状态：锁存器 latches，触发器 flip-flops，寄存器 register。
A Single-Cycle Processor
一个处理器分成数据通路 data path 和控制通路 control path。传递数据和控制数据通路。
硬件组成：状态元素，组合逻辑和控制逻辑。
指令分成 Fetch，Decode，Execute，Load/Store to memory，Store to register。
一些结构：
- 寄存器堆 register file，输入寄存器编号，输出寄存器内容。也可以输入写寄存器编号和写的内容。
- 指令内存 instruction memory，输入指令地址，输出指令结果。
- 数据内存 data memory，输入地址，支持读写。
控制信号：
- ALU 的运算类型：ALUOp。
- 内存和寄存器的读写权限：RegWrite，MemRead，MemWrite。
- 数据选择：ALUSrc（寄存器还是立即数），MemToReg（选择 ALU 还是读内存的结果）。
- 下一个 PC 的控制流：Branch（是否有分支），Jump（是否无条件跳转）。
这些控制信号是由组合逻辑根据 op 和 f 生成的。
多层解码：将控制电路分成根据 op 生成除了 ALUOp 以外所有信号的主控制器和生成 ALUOp 的 Local ALU 控制器。
CPU 的 CCT clock cycle time 由最慢的指令决定，因为一个周期必须让最慢的指令也可以执行完毕。
以上处理器的 CPI = 1，但一个周期的时间很长，直接影响了 CPU 的效率。
Pipelining
将流程分成 \(k\) 个阶段。设原来要 \(t\) 的时间，访问寄存器的时间 \(t_{r}\)，则新的频率为 \(f = (t / k + t_r) ^ {-1}\)，但延迟 \(t + kt_r\) 会变高。
吞吐量受到最慢阶段的限制，延迟也是最慢阶段的用时乘以 \(k\)。
设总共 \(n\) 个任务，则总用时 \(\frac {k - 1} k T + N\frac T k\)。第一项是因为前 \(k - 1\) 个周期没有任何任务完成。
在不同的位置分段，寄存器访问的时间也不同。平衡阶段本身的用时和寄存器访问的时间。
A Pipelined Processor
五阶段，每周期一个阶段。
- IF instruction fetch：从内存中获取指令。
- ID instruction decode：将指令解码，读寄存器。
- EX execute：执行操作，计算地址。
- MEM memory：内存访问。
- WB writeback：将结果写回寄存器。
注意在 pipeline 的时候需要传播之后所有阶段的数据（数据通路），包括控制信号（控制通路）。
流水线化之后 IC 不变，CPI 会略微增加，CCT 会有大幅优化。
Pipeline Stalling
流水线会引发一系列问题：不同指令会在一个周期内同时读写寄存器；下一个指令要用到上一个指令的结果；对于分支和跳转，无法立刻得到下一个指令的 PC。必须停顿（气泡 bubble）。
如何停顿？
在软件层面，插入独立指令或 nop。这会导致二进制文件变成流水线特化，降低便携性。
在硬件层面，手动停顿，对软件透明，但可能失去优化机会。之前的指令继续执行，之后的指令停顿。用 nop 信号实现。
Lecture 6. Processor: Avoiding Pipeline Stalls
停顿是由 流水线冒险 pipeline hazard 造成的。
Structural Hazard
两个不同指令用了相同的硬件。
- 寄存器堆同时被读写。用不同的读写端口，写只在前半周期进行，读只在后半周期进行。
- 旁路 bypassing 导致不同的指令执行相同操作。
- 同时访问指令和内存。用独立的内存或多个 port。
- 多周期指令（乘除法）。令所有单元彻底流水线化；复制计算单元；停顿（代价较小，因为乘除法数量不多）。
Data Hazard
两个不同指令通过内存或寄存器使用了相同的数据。
- RAW read after write, true dependency，j 读 i < j 的写。
- WAW output dependency，j 覆盖 i < j 的写。
- WAR anti dependency，j 写 i < j 的读。
只有 RAW 冒险有问题，解法是停顿。WAW 都在 WB 阶段写回；WAR 的写回在 WB 阶段，但是读取在 ID 阶段。这种冒险和特定的流水线设计有关。
Forwarding
前递使得一个数据在还没写回寄存器的时候就能使用。
- 对于多个 R 指令而言，数据在上个指令的 EX 结束后可用，且在当前指令的 EX 前才需要。所以理论上可以消去停顿。
- 对于 load-use 的情况，数据在上个指令的 MEM 结束后可用，可以只有一个停顿。
目的地是需要数据的阶段，源头是产生数据的下一个阶段（产生的数据放在流水线寄存器）。
前递的控制：需要比较各个流水线的寄存器和编号。
MEM 到 EX 适用于上一条指令是 R 类型。
WB 到 EX 适用于上上条指令是 R 类型或上条指令是 load（停顿之后）。
注意停顿是在 ID 执行的时候就要判断，和 nop 的产生有关（不太清楚）。
如何避免加载使用停顿：在之前找一个独立的指令移动到它们之间。
Control Hazard
PC 的数据冒险。
只有在 MEM 结束后才知道跳转的地址，需要三个周期的停顿。所需数据在 ID 阶段就已知（PC，指令和寄存器的值），可以挪到 ID 执行，只要一个周期。
Branch Prediction
但是我们必须做到更好，因为每个指令都会有一个周期的停顿。分支预测 在大部分情况下程序顺序执行。
控制流的 CPI 开销是控制指令的占比，乘以错误预测 misprediction 的概率，乘以错误预测的惩罚。
- 挪到 ID 需要额外的前递逻辑。如果源是 ALU（EX）则一周期停顿，如果是内存（MEM）则两周期停顿。
Exceptions and Interrupts
异常是内部的非预期行为，中断是外部行为。
当异常或中断发生时：
- 处理器保存当前的 PC Supervisor Exception Program Counter (SEPC) 和原因 Supervisor Exception Cause Register (SCAUSE)。
- 将控制权交给内核，跳转至固定地址。如果处理器需要使用寄存器，会保存并恢复，类似函数调用。
- 异常处理器 exception handler 根据 SEPC 和 SCAUSE 处理。
另一种处理方式是向量中断处理器：内核中 exception table 的特定地址对应特定的异常原因。
Precise Exceptions
精确异常要求之前的指令都完成，且之后的指令都没有开始执行。为什么？精确的异常位置，方便调试，程序状态一致，可靠地恢复执行。
流水线发生异常时，要让之前的操作全部执行完毕，且当前与接下来操作已经执行的部分无效 nullify。类似分支预测失效。
Multiple Exceptions
对于 多重异常，较早的指令的异常会在较晚的指令的异常之后发生。最终的异常是最早的指令给出的，能够正常清空之后的指令已经执行的部分。
Nested Interrupts
对于 中断嵌套 nested interrupts，中断发生时不能有其它中断发生，否则会覆写 SEPC 和 SCAUSE 导致无法回到原始用户的程序。但对于长时间运行的异常处理器，必须保存必要信息并重新启用中断，否则可能会导致高优先级中断无法及时相应，系统性能下降，丢失重要外部事件。
Lecture 7. Processor: Advanced Techniques
Branch Prediction
Task 1: Predicting Branch Directions
注意到大部分分支都是跳转的（如循环），所以假设不跳转的成功率不高。我们希望基于当前 PC 预测是否跳转，并且在跳转时预测目标。
- 程序：
__builtin_expect。 - 编译器：profile-guided optimization, PGO。
基于硬件的动态预测，核心是基于最近的历史进行预测。
分支历史表 branch history table, BHT。对于大小 \(2 ^ m\) 的 BHT，只用 PC 的 \(m\) 位索引。
BHT 没有标签，因为不需要保证使用的数据是对应的 PC。
BHT 存储的信息是 饱和计数器 saturate counter。跳转则 +1，否则 -1，用结果的大小决定是否跳转。
简单的 2-bit BHT 就可以对大部分程序做到 90% 的正确率。
Task 2: Predicting Branch Targets
在绝大部分的分支中，offset 都是常数。
分支目标缓冲 branch target buffer, BTB 使用当前 PC 的部分位作为索引，但存储标签以区分不同的 PC，以防用了错误的 offset。
Superscalar and Out-of-Order
流水线优化了 CCT，但是让 CPI 更大。我们考虑降低 CPI，也就是每个周期执行更多指令。
Instruction-Level Parallelism, ILP
对于一系列指令，定义 \(T_1\) 表示只有一个计算单元的用时，\(T_{\infty}\) 表示有任意多计算单元的用时，则平均 ILP 等于 \(\frac {T_1} {T_{\infty}}\)。
ILP 衡量了指令内部的依赖程度，是 IPC 的上界。
超标量流水线 superscalar pipeline 将 \(N\) 个处理器放在一起。\(N\) 的主要限制是大部分程序的 ILP 其实不高，以及控制复杂度随着 \(N\) 呈平方级增长。
如何获得更高的 ILP 呢？在更大的范围内尝试，以及乱序执行 OoO。
Out of Order (OoO) Execution
也称为动态调度 dynamic scheduling。
用不同的功能单元尽快执行指令避免阻塞，用阶段间的缓冲解耦 decoupling 和重排 reordering 指令。
Fetch and Decode
按序执行，需要有 \(\geq N\) 路的读取和解码。
fetch: 从当前 PC 到下一个被预测跳转的分支。使用复杂的分支预测。
decode: 将 CISC 分解成 RISC-like 的微操作。
Dispatch
需要解决 WAR 和 WAW 的问题，方法是重命名寄存器，由硬件完成，因为硬件有更多物理寄存器 physical register（相比于架构寄存器 architectural register）。
动态维护映射。当需要写入 \(r_i\) 时，找到空的 \(p_j\) 并且 \(r_i\to p_j\)。不需要时就释放。
重命名必须按序进行，但执行可以乱序。
Issue
从 dispatch 有序到 issue 乱序中间有指令窗口 instruction window。IW 大小一般是 100-200 左右，以增大 ILP。
一个指令的完成会释放依赖其的指令，调度器会尝试找到最佳执行顺序。当有多个指令同时就绪时，有一些启发性的优先级算法，比如 FCFS，有多少个指令依赖，期望延迟等。
Commit
精确异常：按顺序 commit 所有指令。没有 commit 但是结束运行的指令 speculative。每次检查最旧的一些指令是否完成，如果完成则 commit。如果有异常则刷新流水线。
类似有重排缓冲 re-order buffer, ROB，循环队列式的缓冲区，维护每个指令是否执行完毕。队首是最旧的指令。
Limitations of Modern Processors
现代处理器的限制：程序的 ILP 有限；流水线开销（冒险）；前端瓶颈（过深流水线使得分支误判开销大）；内存访问低效；实现复杂。
除此以外还要考虑能量效率 energy efficiency：让 CPU 变快不如用更多 CPU，一个 2x 速度的 CPU 的耗能比原来的两倍更大。设计更好的架构减少能量开销。
更好的设计需要分析开销的占比。95% 的低效来源于指令的读取和调度，和内存的数据访问。
指令开销：数据层面的并行，如向量，SIMD；定制化设计 ASIC application-specific integrated circuits，专用集成电路。
数据访问的挑战：内存墙。当处理器速度变快时，内存的效率和能量占据了主导地位。
