RAG技术不是解决大模型长期记忆的最佳方法，DeepSeek最新发表的论文《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》为大模型记忆提供了新的思路：
DeepSeek提出的新方法：Conditional Memory（条件记忆）
Conditional Memory（条件记忆），出了一个可规模化、可工程化、可量化分析的实现。
Engram架构Engram架构不是 RAG，也不是 KNN，而是模型内的“可学习查表”，核心流程如下：
1.构造 N-gram： 从 token 序列中滑动窗口提取 2-gram、3-gram 等
2.Hash 映射： 每个 N-gram 通过多个 hash 函数映射到固定大小的索引空间 避免组合爆炸，同时保持 O(1) 查询
3.N-gram Embedding表：Hash 索引对应到可学习的 embedding 向量， 这些 embedding 构成模型内部的“静态记忆库”
这里的关键在于：这些记忆不依赖上下文动态生成，而是像参数一样被存储和复用。
- 多路 N-gram 融合：Concat 而不是 Attention
图中可以看到：
- 不同阶的 N-gram（2-gram、3-gram）
- 不同 hash head
- 多个 embedding 向量
这些向量首先被Concat（拼接），而不是立即做加权或 Attention。
这样做的动机是：
- 保留不同粒度模式的完整信息
- 将“选择权”延迟到后续的 gating 阶段
- Context-aware Gating：让记忆服从上下文
这是 Engram 最关键、也最现代化的设计。
在 Concat 之后，模块引入了一个上下文感知的融合机制：
- 输入 hidden state（Input Hidden）
- 来自 Transformer 当前层
- 代表“模型此刻的语义理解”
- 线性映射 + Scaled Dot Product
- hidden state 与 N-gram memory 做相似度计算
- 本质上是一个轻量级、单步 Attention
- 门控（⊗）
- 计算一个标量或向量 gate
- 决定：“当前上下文是否信任这些静态记忆”
- Depthwise Causal Conv
- 在时间维度上引入局部上下文
- 增强连续 token 间的模式一致性
- 代价极低，但效果显著
最终，经过 gating 的记忆信息被注入回主干 hidden state。
DeepSeek-OCR：上下文压缩的新方法
另外，更早一段时间，DeepSeek的另外一篇论文《DeepSeek-OCR: Contexts Optical Compression》中提出了创新的方法：专注于通过视觉token压缩长文本上下文，实现高效的OCR（光学字符识别）功能。该模型将文本映射为二维图像，并在解码时保持高精度，被广泛视为解决LLM长上下文效率问题的潜在突破。
DeepSeek OCR架构这一方法潜在价值是：高效解决大模型记忆问题，为大型语言模型（LLMs）的历史长上下文压缩、记忆遗忘机制等## 学AI大模型的正确顺序，千万不要搞错了
🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！
有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！
就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！
我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
研究方向展现出巨大潜力。
