DeepLens 论文精读 · 复现笔记论文Curriculum Learning for ab initio Deep Learned Refractive Optics作者Xinge Yang, Qiang Fu, Wolfgang HeidrichKAUST 计算成像组发表Nature Communications 15, 6572 (2024) · arXiv:2302.01089代码vccimaging/DeepLens自动设计已迁至 AI4Optics/AutoLens原文存档H:\zj\Curriculum Learning\Curriculum Learning .pdf整理日期2026-10-06目录摘要一、问题定义为什么复合透镜无法从零学起二、方法框架一条课程化的可微优化流水线2.1 训练主循环2.2 三大机制消融 Table 1缺一不可2.3 两类设计产出三、复现路线P0–P4 五阶段规划四、成本账分级复现要花多少钱五、常见误区与避坑清单5.1 上次很贵的两个真凶5.2 省钱清单六、结论与延伸附录 A术语速查附录 B自查清单摘要DeepLens 以可微光线追迹为引擎从近平板随机结构出发经正弦课程调度逐步收紧视场与光圈配合三项光学正则及重加权掩码实现复合透镜免初值自动设计EDoF 分支以混合表面与 NAFNet 联合优化。本笔记梳理其方法框架规划 P0–P4 复现路线并分级核算成本。一、问题定义为什么复合透镜无法从零学起深度光学优化此前受限于两条路只能设计单片式元件DOE、metalens——自由度低梯度好驾驭只能从 Zemax 导出的好初值微调复合透镜——本质仍是局部优化没有摆脱对人工初值结构的依赖。根本障碍复合透镜参数空间高度非凸随机初始化的几何几乎必然产生表面自交、光线溢出等病态结构梯度直接失效。二、方法框架一条课程化的可微优化流水线2.1 训练主循环近平板随机初始化 → 可微光线追迹dO 引擎PyTorch autograd渲染传感器图像 → 图像空间损失反传 → 更新光学参数 θ曲率、间距、conic、非球面系数。两个易错点损失是图像域 MSE‖M(Ĩ−I)‖²不是 RMS spot size——RMS 仅用于评估256 个视场内存靠伴随渲染解决先无梯度追迹拿误差图固定种子重放带梯度追迹配合 patch 反传。2.2 三大机制消融 Table 1缺一不可机制细节摘除后果正弦课程调度t_i t_a (t_b−t_a)·sin(iπ/2N)FoV 47.5°→80.8°F/2.8→F/2.0后期步进更小60% 初始化解自交光学正则 ×3ω0.02光线倾角 ε0.7表面间距 ε0.4/0.2 mm面形梯度 ε0.5不越界零梯度100% 自交重加权掩码 畸变松弛RMS 0.8×均值的视场置零主光线估计畸变后对物体预畸变收敛变慢 / 局部极小核心洞见一句话像差随孔径与视场超线性恶化所以先设计简单镜头再逐步逼近最终规格——传统逐级收紧手工流程的可微化、自动化版本。2.3 两类设计产出经典镜头FoV 80.8°、F/2.0、焦距 4.5 mm20 组随机初始化下 Avg/Min RMS 15.74/12.50 μmEDoF 计算镜头第一表面替换为偶次非球面 奇次多项式混合面立方相位板思想推广与 NAFNet 联合训练3 波长486/587/656 nm、8 深度10 cm–10 m、DIV2K10 cm–10 m 全程 PSNR 高于经典镜头约 1–2 dB。三、复现路线P0–P4 五阶段规划阶段内容工作量验收物P0环境复检AutoDL 实例确认、git log锁 commit、重跑最小 demo、固定种子半天可复现的环境日志P1经典镜头复现近平板随机初始化 → 完整课程收敛对应 Fig.1 手机镜头1–2 天课程各阶段镜头剖面演化图 RMS 网格热图P2Table 1 消融课程/正则/掩码 2³ 组合 × 种子指标无自交比例、Avg/Min RMS2–3 天独立回答哪个机制贡献最大P3EDoF 端到端混合面 NAFNetDIV2K、3 波长 8 深度PSNR/SSIM 10cm/20cm/10m3–5 天 GPU与论文 Table 2 对比P4延伸选题ray-wave 衍射混合透镜 / neural PSF 代理 / 制造公差鲁棒微调自选—执行要点P0 别跳过否则消融没有可比性P2 是性价比最高的实验算力要求低结论独立可信P3 先 512² 跑通管线再上 1024²避免烧钱在 bug 上P4 优先 ray-wave 分支——与模块缝合方向天然衔接可微光学 衍射元件 ≈ 物理模块拼接L1/L2 建议用AI4Optics/AutoLens仓库活跃维护DeepLens 主仓库留给 ray-wave / PSF 代理方向。四、成本账分级复现要花多少钱AutoDL 现价4090 ¥1.88/h3090 ¥1.32/h无卡模式 ≈ ¥0.1/h。估算依据2_autolens_rms.py课程设计默认 5000 iter/阶段约 4–6 阶段 微调1_design_geolens.py单次设计 10000 iterEDoF 每步含可微渲染 伴随渲染 patch 反传为全流程最重部分。层级内容GPU 时费用3090/4090L1单次课程设计Fig.1 手机镜头1 次完整 run3–10 h¥5–19L2 缩水版消融5 配置 × 3 种子15 run50–150 h¥66–280L2⁺ 论文级消融5 配置 × 20 种子100 run300–1000 h¥400–1880L3EDoF 端到端联合优化 微调 鲁棒扰动200–500 h¥380–9404090论文全量L1L2⁺L3—500–1500 h¥700–2800结论分级做的话¥10–20 拿 L1¥100–300 拿 L1L2论文全量复现才需要千元级。五、常见误区与避坑清单5.1 上次很贵的两个真凶实例空转计费AutoDL 按秒计费但开机即扣。demo 跑完没关机挂一晚就是几十块大卡跑轻任务经典镜头课程设计全是光线追迹batch 小、显存低3090 足够。5.2 省钱清单无卡模式装环境、改配置、验证启动~¥0.1/h调试用最便宜卡开训才切 3090消融种子数 20 → 3成本降 85%趋势不变EDoF 先 512² 验证损失下降再上 1024²每阶段存 checkpoint 固定种子可崩溃续跑训练结束立刻关机 / 设自动关机脚本六、结论与延伸推荐路径先花 ¥10–20 在 3090 上跑 L1AutoLens配置见configs/2_auto_lens_design.ymlfoclen 6.1 / fov 85° / fnum 1.9拿到镜头演化图和 RMS 曲线信息缺口正文未写的三处细节需翻 Supplementary——逐阶段参数解锁与收敛判据Note 1、镜头片数案例Note 4、EDoF 评估细节Note 5延伸方向ray-wave 混合模型SIGGRAPH Asia 2024与模块缝合方法论同构适合作为下一篇笔记的选题。附录 A术语速查术语含义ab initio从零开始无人工初值结构dO前身可微光线追迹引擎IEEE TCI 2022EDoFExtended Depth-of-Field扩展景深混合表面偶次非球面 奇次多项式的复合面形伴随渲染分两遍追迹以省显存的反传技巧重加权掩码将已收敛视场从损失中置零的机制附录 B自查清单能说出为什么损失用图像域 MSE 而非 RMS spot能解释正弦课程为何后期步进更小能列出三项正则各自的物理目的能估算自己下一步实验的算力预算 DeepLens 论文精读 · 复现笔记
DeepLens 论文精读 · 复现笔记论文Curriculum Learning for ab initio Deep Learned Refractive Optics作者Xinge Yang, Qiang Fu, Wolfgang HeidrichKAUST 计算成像组发表Nature Communications 15, 6572 (2024) · arXiv:2302.01089代码vccimaging/DeepLens自动设计已迁至 AI4Optics/AutoLens原文存档H:\zj\Curriculum Learning\Curriculum Learning .pdf整理日期2026-10-06目录摘要一、问题定义为什么复合透镜无法从零学起二、方法框架一条课程化的可微优化流水线2.1 训练主循环2.2 三大机制消融 Table 1缺一不可2.3 两类设计产出三、复现路线P0–P4 五阶段规划四、成本账分级复现要花多少钱五、常见误区与避坑清单5.1 上次很贵的两个真凶5.2 省钱清单六、结论与延伸附录 A术语速查附录 B自查清单摘要DeepLens 以可微光线追迹为引擎从近平板随机结构出发经正弦课程调度逐步收紧视场与光圈配合三项光学正则及重加权掩码实现复合透镜免初值自动设计EDoF 分支以混合表面与 NAFNet 联合优化。本笔记梳理其方法框架规划 P0–P4 复现路线并分级核算成本。一、问题定义为什么复合透镜无法从零学起深度光学优化此前受限于两条路只能设计单片式元件DOE、metalens——自由度低梯度好驾驭只能从 Zemax 导出的好初值微调复合透镜——本质仍是局部优化没有摆脱对人工初值结构的依赖。根本障碍复合透镜参数空间高度非凸随机初始化的几何几乎必然产生表面自交、光线溢出等病态结构梯度直接失效。二、方法框架一条课程化的可微优化流水线2.1 训练主循环近平板随机初始化 → 可微光线追迹dO 引擎PyTorch autograd渲染传感器图像 → 图像空间损失反传 → 更新光学参数 θ曲率、间距、conic、非球面系数。两个易错点损失是图像域 MSE‖M(Ĩ−I)‖²不是 RMS spot size——RMS 仅用于评估256 个视场内存靠伴随渲染解决先无梯度追迹拿误差图固定种子重放带梯度追迹配合 patch 反传。2.2 三大机制消融 Table 1缺一不可机制细节摘除后果正弦课程调度t_i t_a (t_b−t_a)·sin(iπ/2N)FoV 47.5°→80.8°F/2.8→F/2.0后期步进更小60% 初始化解自交光学正则 ×3ω0.02光线倾角 ε0.7表面间距 ε0.4/0.2 mm面形梯度 ε0.5不越界零梯度100% 自交重加权掩码 畸变松弛RMS 0.8×均值的视场置零主光线估计畸变后对物体预畸变收敛变慢 / 局部极小核心洞见一句话像差随孔径与视场超线性恶化所以先设计简单镜头再逐步逼近最终规格——传统逐级收紧手工流程的可微化、自动化版本。2.3 两类设计产出经典镜头FoV 80.8°、F/2.0、焦距 4.5 mm20 组随机初始化下 Avg/Min RMS 15.74/12.50 μmEDoF 计算镜头第一表面替换为偶次非球面 奇次多项式混合面立方相位板思想推广与 NAFNet 联合训练3 波长486/587/656 nm、8 深度10 cm–10 m、DIV2K10 cm–10 m 全程 PSNR 高于经典镜头约 1–2 dB。三、复现路线P0–P4 五阶段规划阶段内容工作量验收物P0环境复检AutoDL 实例确认、git log锁 commit、重跑最小 demo、固定种子半天可复现的环境日志P1经典镜头复现近平板随机初始化 → 完整课程收敛对应 Fig.1 手机镜头1–2 天课程各阶段镜头剖面演化图 RMS 网格热图P2Table 1 消融课程/正则/掩码 2³ 组合 × 种子指标无自交比例、Avg/Min RMS2–3 天独立回答哪个机制贡献最大P3EDoF 端到端混合面 NAFNetDIV2K、3 波长 8 深度PSNR/SSIM 10cm/20cm/10m3–5 天 GPU与论文 Table 2 对比P4延伸选题ray-wave 衍射混合透镜 / neural PSF 代理 / 制造公差鲁棒微调自选—执行要点P0 别跳过否则消融没有可比性P2 是性价比最高的实验算力要求低结论独立可信P3 先 512² 跑通管线再上 1024²避免烧钱在 bug 上P4 优先 ray-wave 分支——与模块缝合方向天然衔接可微光学 衍射元件 ≈ 物理模块拼接L1/L2 建议用AI4Optics/AutoLens仓库活跃维护DeepLens 主仓库留给 ray-wave / PSF 代理方向。四、成本账分级复现要花多少钱AutoDL 现价4090 ¥1.88/h3090 ¥1.32/h无卡模式 ≈ ¥0.1/h。估算依据2_autolens_rms.py课程设计默认 5000 iter/阶段约 4–6 阶段 微调1_design_geolens.py单次设计 10000 iterEDoF 每步含可微渲染 伴随渲染 patch 反传为全流程最重部分。层级内容GPU 时费用3090/4090L1单次课程设计Fig.1 手机镜头1 次完整 run3–10 h¥5–19L2 缩水版消融5 配置 × 3 种子15 run50–150 h¥66–280L2⁺ 论文级消融5 配置 × 20 种子100 run300–1000 h¥400–1880L3EDoF 端到端联合优化 微调 鲁棒扰动200–500 h¥380–9404090论文全量L1L2⁺L3—500–1500 h¥700–2800结论分级做的话¥10–20 拿 L1¥100–300 拿 L1L2论文全量复现才需要千元级。五、常见误区与避坑清单5.1 上次很贵的两个真凶实例空转计费AutoDL 按秒计费但开机即扣。demo 跑完没关机挂一晚就是几十块大卡跑轻任务经典镜头课程设计全是光线追迹batch 小、显存低3090 足够。5.2 省钱清单无卡模式装环境、改配置、验证启动~¥0.1/h调试用最便宜卡开训才切 3090消融种子数 20 → 3成本降 85%趋势不变EDoF 先 512² 验证损失下降再上 1024²每阶段存 checkpoint 固定种子可崩溃续跑训练结束立刻关机 / 设自动关机脚本六、结论与延伸推荐路径先花 ¥10–20 在 3090 上跑 L1AutoLens配置见configs/2_auto_lens_design.ymlfoclen 6.1 / fov 85° / fnum 1.9拿到镜头演化图和 RMS 曲线信息缺口正文未写的三处细节需翻 Supplementary——逐阶段参数解锁与收敛判据Note 1、镜头片数案例Note 4、EDoF 评估细节Note 5延伸方向ray-wave 混合模型SIGGRAPH Asia 2024与模块缝合方法论同构适合作为下一篇笔记的选题。附录 A术语速查术语含义ab initio从零开始无人工初值结构dO前身可微光线追迹引擎IEEE TCI 2022EDoFExtended Depth-of-Field扩展景深混合表面偶次非球面 奇次多项式的复合面形伴随渲染分两遍追迹以省显存的反传技巧重加权掩码将已收敛视场从损失中置零的机制附录 B自查清单能说出为什么损失用图像域 MSE 而非 RMS spot能解释正弦课程为何后期步进更小能列出三项正则各自的物理目的能估算自己下一步实验的算力预算