计算机硕士AIGC方向学习内容规划

大模型学习：

类型	学习主题	时间	学习内容
基础篇	数据理解	2周	数据处理，理解，可视化（为了发论文做准备，关注可视化的python工具）
	大模型原理	2周	Attention，Transformer，GPT，Deepseek，T5，Qwen等，了解原理和实现能跑通
	大模型微调	2周	微调方法，不同微调的方式的优势，简单的实现
	大模型压缩	4周	了解压缩方法有哪些？了解模型压缩，数据压缩等优势和实现，这块是你的重点
	大模型评估	2周	了解大模型的评估方法以及技巧，代码可以实现一些评估，重点关注压缩的模型的评估方法

强化学习&智能体学习：

学习阶段	模块细分	核心学习内容	实践要求	建议学习时间（每周 15-20 小时）	总周期占比
一、强化学习基础理论（3-4 周）	1.1 RL 核心框架与数学基础	1. 智能体 - 环境交互循环（Agent-Environment Loop）；2. 核心概念：状态（State）、动作（Action，离散 / 连续）、奖励（Reward）、马尔可夫决策过程（MDP）五要素；3. 价值函数：V (s)（状态价值）、Q (s,a)（动作价值）、贝尔曼方程推导。	1. 手动推导 MDP 贝尔曼方程；2. 用 Excel/Matlab 计算 “格子世界” 的状态价值。	1 周（10-15 小时）	25%
	1.2 目标函数与评估准则	1. 累积回报（Return）：有限 horizon / 无限 horizon 定义，折扣因子（γ）的物理意义；2. 策略评估（Policy Evaluation）与策略改进（Policy Improvement）迭代逻辑；3. 优势函数（A (s,a)）：定义与作用（减少价值估计方差）。	基于“格子世界”，用 Python 实现 “策略评估 - 改进” 手动迭代（2-3 轮）。	1 周（10-15 小时）	25%
	1.3 经典无模型基础算法	1. 时序差分学习（TD Learning）原理；2. 在线策略（SARSA）与离线策略（Q-Learning）的区别与实现；3. 探索 - 利用平衡：ε-greedy、Softmax 策略；4. Double Q-Learning（解决 Q 值过估计问题）。	用 Python 实现 Q-Learning，解决 OpenAI Gym FrozenLake-v1 环境（目标：成功率≥80%）。	1-2 周（15-20 小时）	50%
二、进阶算法与理论深化（4-5 周）	2.1 策略梯度方法	1. 策略梯度定理（Policy Gradient Theorem）数学推导；2. REINFORCE 算法：蒙特卡洛策略梯度实现；3. 基准线（Baseline）引入：减少梯度方差的原理；4. 策略梯度的目标函数优化逻辑。	用 PyTorch 实现 REINFORCE，解决 CartPole-v1 环境（目标：持续 200 步不失败）。	1.5 周（15-20 小时）	30%
	2.2 近邻策略优化（PPO）与进阶算法	1. PPO 核心：Clip 截断机制（避免策略更新幅度过大）、PPO-Penalty（KL 散度惩罚）；2. Actor-Critic 框架：优势与实现要点（目标网络、经验回放）；3. TRPO（信任区域策略优化）基本逻辑。	用 PyTorch 实现 PPO，解决 LunarLander-v2 环境（目标：得分≥200）。	2 周（20-25 小时）	40%
	2.3 连续动作空间与深度 RL	1. DDPG（深度确定性策略梯度）：适用于连续动作的 Actor-Critic 实现；2. TD3（双延迟 DDPG）：目标 Q 值裁剪、延迟策略更新（解决过估计）；3. SAC（软 Actor-Critic）：熵正则化与最大熵 RL 思想。	用 PyTorch 实现 DDPG，控制 Pendulum-v1 环境（目标：奖励≥-100）。	1.5 周（15-20 小时）	30%
三、智能体 RL 工程落地（3-4 周）	3.1 环境构建与状态表示	1. 标准化环境接口：Gym/Gymnasium API 设计（reset ()、step () 方法）；2. 状态特征工程：离散状态编码（One-Hot）、连续状态归一化（Min-Max/Standard Scaling）；3. 自定义环境：游戏 / 机器人 / 推荐场景的抽象逻辑。	1. 自定义 “迷宫寻路” 环境，适配 Gym 接口；2. 完成状态观测与动作反馈的闭环。	1 周（12-15 小时）	30%
	3.2 经验回放与训练优化	1. 经验回放（Replay Buffer）：实现与作用（打破样本相关性）；2. 优先经验回放（PER）：基于 TD 误差的样本权重分配；3. 训练稳定性优化：梯度裁剪、学习率调度、Batch Normalization 在 RL 中的适配。	在 PPO 代码中加入经验回放机制，对比优化前后的收敛速度（如训练步数减少 20%）。	1 周（12-15 小时）	30%
	3.3 评估与部署	1. 评估指标：平均回报、收敛速度、鲁棒性（不同初始状态测试）；2. 训练监控：TensorBoard 记录损失 / 奖励曲线；3. 模型部署：PyTorch state_dict 保存 / 加载、ONNX 格式导出（适配边缘设备）。	1. 用 TensorBoard 监控 PPO 训练过程；2. 将训练好的模型导出为 ONNX，在新环境中评估性能。	1-2 周（10-20 小时）	40%
四、领域专项应用（2-3 周，按需选学）	4.1 医疗场景			1年
	4.2 机器人与控制场景	1. 机械臂控制：抓取 / 装配任务的 RL 训练（如 SAC+PyBullet）；2. 移动机器人：SLAM 与 RL 结合的导航；3. 传统控制融合：RL 与 PID 结合（提升动态响应）。	用 SAC 控制 PyBullet 中的机械臂，完成简单抓取动作（目标：抓取成功率≥70%）。	1-2 周（15-20 小时）	可选