实用指南：spark的静态内存管理机制

Spark的静态内存管理机制

Apache Spark 是一个分布式计算框架，其内存管理机制对于性能至关重要。静态内存管理（Static Memory Management）是 Spark 早期版本（如 1.6 之前）中采用的一种固定内存分配策略。它通过预先划分内存区域来管理执行和存储任务，确保资源隔离但缺乏灵活性。下面我将逐步解释其工作机制、部署方式、优缺点以及后续演进。

根据Spark 静态内存管理机制，堆内存被划分为了两块，Storage 和Execution。Storage 主要用于缓存RDD 数据和broadcast 内容，Execution 主要用于缓存在shuffle 过程中产生的中间内容，Storage 占架构内存的60%，Execution 占架构内存的 40%，并且两者完全独立很紧张，而task 的算子中创建的对象很多，Execution 内存又相对较小，这回导致频繁的minor gc，甚至于频繁的full gc，进而导致Spark 频繁的停止工作，性能影响会很大。在Spark UI 中可以查看每个stage 的运行情况，包括每个task 的运行时间、gc 时间等等，如果发现gc 太频繁，时间太长，就行考虑调节Storage 的内存占比，让task 执行算子函数式，有更多的内存能够采用。就是。在一般情况下，Storage 的内存都提供给了cache 操作，然而若是在某些情况下cache 操作内存不

1. 基本概念

在静态内存管理中，Spark 的堆内存（Heap Memory）被划分为两个固定大小的区域：

• 执行内存（Execution Memory）：用于任务执行过程中的临时资料，如 shuffle、join、排序和聚合操作。这部分内存是任务独占的，不能被其他任务抢占。
• 存储内存（Storage Memory）：用于缓存持久化的信息，例如 RDD（Resilient Distributed