fastutil 实战指南：用原始类型集合把性能“薅满”

当你在 Java 里用 `Map<Integer, Double>`、`Set<Long>`、`List<Integer>` 处理大数据，会被装箱/拆箱与对象头开销“慢到怀疑人生”。fastutil 针对每种原始类型提供成套集合与工具（int/long/double…），直接存取原始值，通常能显著降低内存占用和 GC 压力，并提升吞吐。

为什么选 fastutil
- 原始类型专用集合（如 `Int2ObjectMap`、`IntOpenHashSet`、`IntArrayList`），避免装箱。
- 更丰富的变体（保持插入顺序、定制哈希/等价、支持超大规模 “Big” 容器）。
- 辅助 I/O、迭代器、分割器工具，面向大文件与并行处理。

安装

Maven:
```xml
<dependency>
<groupId>it.unimi.dsi</groupId>
<artifactId>fastutil</artifactId>
<version>8.5.12</version> <!-- 替换为实际最新 -->
</dependency>
```
Gradle:
```gradle
implementation("it.unimi.dsi:fastutil:8.5.12")
```

关键概念（读我先）

- 默认返回值 defaultReturnValue：原始类型 `Map` 的 `get(k)` 返回“默认值”（默认是 0/false）。用 `containsKey(k)` 判断键是否存在；或自定义默认值避坑。
- 装载因子与容量：开放定址哈希（OpenHash）构造可设 `(expectedSize, loadFactor)`，负载低=更快但更占内存。
- 顺序：`LinkedOpenHash*` 保插入顺序；树结构按排序；普通 `OpenHash*` 不保序。
- 线程安全：默认非线程安全；用 `IntCollections.synchronize(x)` 获得同步包装；高并发建议分片或外部锁。
- “Big” 容器：突破 `int` 索引上限，单容器存 2^31+ 元素，通过分段二维数组实现。

常用集合详解与实战示例

1) Int2ObjectOpenHashMap：用 int 做键的高性能映射
- **用途**：图算法（邻接表）、用户 ID → 聚合对象、稠密 ID 映射。
- **要点**：开放定址哈希，摊销 O(1)；可设默认返回值；注意存在性判断。

示例：构建邻接表（int 节点 → 邻居列表）

import it.unimi.dsi.fastutil.ints.*;Int2ObjectOpenHashMap<IntArrayList> graph = new Int2ObjectOpenHashMap<>(1 << 20, 0.75f);
graph.defaultReturnValue(null);void addEdge(int u, int v) {
IntArrayList adj = graph.get(u);
if (adj == null) {
adj = new IntArrayList(4);
graph.put(u, adj);
}
adj.add(v);
}

高效遍历条目：

for (Int2ObjectMap.Entry e : graph.int2ObjectEntrySet()) {
int u = e.getIntKey();
IntArrayList adj = e.getValue();
// 处理 u 的邻居
}

设置更易辨识的默认值（如 null）来区分“缺失”：

graph.defaultReturnValue(null);
IntArrayList list = graph.get(7);
if (list == null) { /* 不存在 */ }

2) Object2IntOpenHashMap：对象键 → int 值（计数器的“神兵利器”）
- **用途**：词频统计、类别/ID 编码、对象到稠密索引。
- **优势**：无装箱的 int 值；提供 `addTo(key, delta)` 便捷累加。

示例：词频统计

import it.unimi.dsi.fastutil.objects.*;Object2IntOpenHashMap<String> freq = new Object2IntOpenHashMap<>(1 << 18);
freq.defaultReturnValue(0);void addWord(String w) {
freq.addTo(w, 1); // 不存在则从 0 开始加 1
}int count = freq.getInt("hello"); // 直接取 int

遍历（无装箱）：

for (Object2IntMap.Entry<String> e : freq.object2IntEntrySet()) {
String word = e.getKey();
int c = e.getIntValue();
}

3) IntOpenHashSet：原始 int 集合（去重/成员查询）
- **用途**：ID 去重、布隆后备集合、过滤。
- **要点**：摊销 O(1) `add`/`contains`；比 `HashSet<Integer>` 更省内存。

示例：快速去重

import it.unimi.dsi.fastutil.ints.*;IntOpenHashSet seen = new IntOpenHashSet(1 << 20);
if (!seen.contains(uid)) seen.add(uid);

4) IntArrayList：高吞吐动态数组
- **用途**：批量收集、随机访问、需排序的序列。
- **API**：`add`, `getInt`, `set`, `ensureCapacity`, `trim`，以及 `IntArrays` 辅助算法。

示例：构建、排序、去重

import it.unimi.dsi.fastutil.ints.*;IntArrayList arr = new IntArrayList(1 << 20);
arr.add(5); arr.add(3); arr.add(5); arr.add(1);// 就地排序（原始类型快速排序）
IntArrays.quickSort(arr.elements(), 0, arr.size());// 去重输出
int last = Integer.MIN_VALUE;
for (IntIterator it = arr.iterator(); it.hasNext();) {
int x = it.nextInt();
if (x != last) {
// 处理去重后的 x
last = x;
}
}

减少扩容抖动：

arr.ensureCapacity(10_000_000);
// ... 批量 add ...
arr.trim(); // 释放多余容量

5) Int2IntOpenHashMap：int → int 的计数/映射
- **用途**：计数器、离散化映射、双射索引的一侧。
- **技巧**：自定义默认值避免歧义；常配 `addTo` 或手动累加。

示例：计数器（手动累加）

import it.unimi.dsi.fastutil.ints.*;Int2IntOpenHashMap counter = new Int2IntOpenHashMap(1 << 20);
counter.defaultReturnValue(0);void inc(int k) {
counter.put(k, counter.get(k) + 1);
}

6) Int2ObjectLinkedOpenHashMap：保持插入顺序的哈希映射
- **用途**：既要 O(1) 操作，又要稳定迭代顺序（如导出、日志回放）。
- **特性**：在开放定址哈希上叠加双向链，迭代顺序为插入顺序。

示例：稳定地写出键值对

import it.unimi.dsi.fastutil.ints.*;Int2ObjectLinkedOpenHashMap<String> m = new Int2ObjectLinkedOpenHashMap<>();
m.put(2, "b"); m.put(1, "a"); m.put(3, "c");for (Int2ObjectMap.Entry e : m.int2ObjectEntrySet()) {
// 输出顺序：2, 1, 3
}

7) Int2DoubleRBTreeMap / AVLTreeMap：有序映射与范围查询
- **用途**：需要排序、范围视图 `subMap/headMap/tailMap`、就地区间遍历。
- **对比**：AVL 查更快、变更稍慢；红黑树变更更省旋转。

示例：区间统计

import it.unimi.dsi.fastutil.ints.*;Int2DoubleRBTreeMap tm = new Int2DoubleRBTreeMap();
tm.put(1, 1.0); tm.put(5, 5.0); tm.put(9, 9.0);// 半开区间 [from, to)
for (Int2DoubleMap.Entry e : tm.subMap(2, 9).int2DoubleEntrySet()) {
int k = e.getIntKey();
double v = e.getDoubleValue();
}

8) 队列与堆：IntArrayFIFOQueue / IntHeapPriorityQueue
- **用途**：BFS（FIFO 队列）、最短路径/调度（优先队列）。
- **复杂度**：FIFO O(1)；二叉堆插入/删除极值 O(log n)。

示例：最小堆

import it.unimi.dsi.fastutil.ints.*;IntHeapPriorityQueue pq = new IntHeapPriorityQueue();
pq.enqueue(7); pq.enqueue(3); pq.enqueue(5);
int top = pq.dequeueInt(); // 3

若需频繁“减小键值”（如 Dijkstra），可考虑 `IntIndirectHeapPriorityQueue`（队列内存索引，键在外部数组上）。

---

9) “Big” 集合与 I/O：超大数据集的读写
- **BigList / BigArrays**：突破 2^31 限制（采用分段数组）。
- **BinIO / TextIO**：批量读写原始数组/集合，面向大文件。

示例：批量写读二进制

import it.unimi.dsi.fastutil.io.*;
import java.io.File;int[] a = new int[1 << 20];
// ... 填充 a ...
BinIO.storeInts(a, new File("ints.bin"));int[] b = BinIO.loadInts("ints.bin");

性能与内存实践清单
- 预估容量优先：构造 `new IntOpenHashSet(expected, 0.75f)`，避免多次 rehash。
- 小集合用数组变体：`IntArraySet`/`Int2ObjectArrayMap`，n≤几千常胜于哈希。
- 顺序需求：用 `LinkedOpenHash*` 而非普通 `OpenHash*`。
- 避免歧义：设置 `defaultReturnValue(-1)` 或 `null`，并用 `containsKey` 判存在。
- 批量场景：`ensureCapacity` + 最后 `trim`，减少扩容与峰值内存。
- 浮点键：注意 `NaN`、`+0.0/-0.0`；若需特殊相等性，用 `...OpenCustomHash...` 搭配 `Strategy`。
- 遍历取原始值：优先 `getInt`/`getLong` 等专用方法与特化迭代器，避免装箱。
- 线程场景：读多写少用同步包装；高并发用分片/分段锁或无锁汇聚后合并。

---

与 JDK 集合的互操作
- 大多实现 `java.util` 接口，能与现有代码协作。
- 工具类提供只读/同步包装与空/单例集合（如 `IntCollections.unmodifiable(list)`、`IntSets.singleton(x)`）。
- 需要与 JDK Stream 协作时，可通过 `spliterator` 或桥接。

---

适用场景速配
- 计数/频率统计：`Object2IntOpenHashMap`（用 `addTo`）。
- 稠密 ID → 对象：`Int2ObjectOpenHashMap`。
- 去重/过滤：`IntOpenHashSet`。
- 高吞吐序列：`IntArrayList` + `IntArrays.quickSort`。
- 有序/区间：`Int2DoubleRBTreeMap`（或 AVL）。
- 稀疏但顺序稳定：`Int2ObjectLinkedOpenHashMap`。
- 超大规模：`LongBigArrayBigList`、`ObjectBigArrayBigList` + `BinIO`。

参考与主页：[fastutil 官方站点](https://fastutil.di.unimi.it/)（文档与 API 列表）

---

结语
如果你正用 `HashMap<Integer, ?>`、`HashSet<Long>` 处理中大规模数据，迁移到 fastutil 常能带来可观的内存与速度改善。优先替换热点路径的集合类型，并结合上面的容量规划、默认值与遍历技巧，通常即可拿到“零业务改动”的性能红利。

- 如需，我可以根据你的业务数据规模与访问模式，给出定制选型与 API 最小示例。

- 也可把你现有的 JDK 集合用法贴过来，我帮你逐一替换为等价的 fastutil 实现与代码片段。

- - -

- 这篇文章概述 fastutil 的动机、关键概念、以及 8 类常用集合（含 `Int2ObjectOpenHashMap`、`Object2IntOpenHashMap`、`IntOpenHashSet`、`IntArrayList`、`Int2IntOpenHashMap`、`Int2ObjectLinkedOpenHashMap`、`Int2DoubleRBTreeMap`、优先队列）的特性与示例。
- 提供了“Big+I/O”用法与一份高频实践清单，便于直接落地。