📘 全光学神经网络（All-Optical Neural Networks, AONN）学习清单
——论文 + 源码 + 学习顺序推荐（适合从你当前AFNN水平向更高层深入）
🥇 阶段 1：入门与经典模型（了解光学实现神经网络的原理）
1️⃣ 《All-Optical Machine Learning Using Diffractive Deep Neural Networks》（Science, 2018）
📎 原论文链接（UCLA Ozcan Lab）
📦 GitHub 源码：Diffractive-Deep-Neural-Network
📘 简介
-
史上首个“可训练的全光学神经网络”
-
利用 5 层衍射层（Diffractive Layers）替代电子网络的加权连接
-
完全在光学域执行矩阵乘法
-
实现 MNIST 分类（0~9）
💡 启发：你现在的 AFNN（Fourier 网络）就是它的频域形式
🧩 学习重点
-
理解光传播方程如何等价于矩阵乘法
-
训练在电子侧进行，相位图加载在 SLM 上
-
非线性来自探测器（|E|²）
-
对应代码结构和你
afnn-mnist_corr4f.py几乎相同
2️⃣ 《Diffractive Deep Neural Networks at Visible Wavelengths》（Nat. Commun., 2020）
📎 原文（Nature Communications）
📦 GitHub: ONNet
📘 简介
-
把 D²NN 从红外扩展到可见光
-
研究波长、分辨率、衍射层数对性能的影响
-
兼容 PyTorch 的可微分光学仿真框架（ONNet）
💡 启发：可帮你理解为什么 N、K、δ 参数与分辨率有关
🧩 学习重点
-
学习如何在 PyTorch 中定义可训练衍射层
-
观察他们如何在每层加相位噪声并保持鲁棒性
🥈 阶段 2：鲁棒性与工程实现（接近你现在的AFNN）
3️⃣ 《Misalignment-Resilient Diffractive Optical Networks》（Nat. Mach. Intell., 2020）
📎 arXiv 链接
📦 GitHub: fancompute/neuroptica
📘 简介
-
针对制造和装配误差，提出“Vaccinated D²NN”训练方法
-
在训练阶段注入位移/旋转扰动
-
验证网络在“非理想光路”下仍然可用
💡 启发：和你论文中的“部分相干光”理念一样，都是在训练阶段注入物理噪声来提高鲁棒性
🧩 学习重点
-
如何在光学神经网络中建模实际物理误差
-
为什么“数据增强”在光学域表现为“相干度调节”
4️⃣ 《All-Optical Graph Representation Learning Using Integrated Diffractive Photonic Computing Units》（Optica, 2022）
📎 arXiv
📘 简介
-
首次尝试让光学网络学习“图结构数据”
-
提出光学 GNN（Graph Neural Network）
💡 启发：证明光学网络不仅能分类图像，还能处理图结构/关系型数据
🧩 学习重点
-
光学系统如何表示图邻接矩阵
-
如何将傅里叶层扩展为“光学卷积核”
🥉 阶段 3：扩展与混合结构（CNN、Transformer、Mamba方向）
5️⃣ 《Diffractive Optical Neural Networks Beyond Classification: Optical CNNs》（Photonics Research, 2022）
📎 Paper
📘 简介
-
提出可实现“卷积层”的全光学CNN
-
在频域上利用多透镜系统实现可学习的滤波核
💡 启发：如果你想继续研究“光学CNN”，这篇是理想起点
6️⃣ 《Optical Transformer: Fourier Optical Attention Network》（arXiv, 2023）
📎 Paper Link
📘 简介
-
将 Transformer 的自注意力机制映射到光学域
-
利用 4f 系统实现 Query–Key 乘积（相关计算）
-
光强检测实现 Softmax-like 归一
💡 启发：这篇就是“光学版 Transformer”，拓展性极高
7️⃣ 《Photonic State-Space Models for Optical Sequence Learning》（arXiv, 2024）
📎 Paper Link
📘 简介
-
把「状态空间模型（Mamba）」投影到光波导阵列
-
光场传播=状态转移，延迟线=记忆单元
💡 启发：说明 Mamba 这类“线性状态空间模型”理论上可以光学实现
🔧 工具与代码库推荐
| 名称 | 链接 | 用途 |
|---|---|---|
| neuroptica | github.com/fancompute/neuroptica | Python光学神经网络仿真工具 |
| DeepLens | github.com/singer-yang/DeepLens | 可微分光学仿真框架 |
| ONNet | github.com/closest-git/ONNet | 全光D²NN实现，PyTorch兼容 |
| awesome-deep-optics | github.com/singer-yang/awesome-deep-optics | 收录所有主流光学深度学习论文、代码汇总 |
📈 推荐学习路线（从你现在的位置出发）
| 阶段 | 目标 | 建议 |
|---|---|---|
| 🧩 入门 | 理解光学神经网络与全连接层的等价关系 | 复现 D²NN 2018 |
| ⚙️ 提升 | 掌握噪声鲁棒性和可训练光学层 | 学 Misalignment-Resilient D²NN |
| 🌈 拓展 | 探索光学卷积 / 光学 Transformer | 读 Optical CNN / Optical Transformer |
| 🔮 创新 | 探索光学状态网络 / 光学Mamba | 阅读 Photonic SSM 论文 |
🎯 建议你亲手实践的三个方向
-
在你现有 AFNN 上堆叠两层相位面（模拟多层D²NN）
-
实现“光学卷积核”（将 ROI 换成局部卷积）
-
加入时间延迟环路（模拟 Mamba 的状态传播）
