我们先来做一个思想实验：AlphaZero 在没有任何人类棋谱输入的情况下，仅凭几行代码写就的游戏规则，通过自我博弈训练成了超人类的棋手。它的权重文件中包含了数以亿计的参数，那是关于“如何赢棋”的深邃知识。
但如果你去问信息论祖师爷香农（Claude Shannon），或者算法信息论的奠基人柯尔莫哥洛夫（Kolmogorov），他们会告诉你：AlphaZero 没有产生任何新信息。因为它的一切产出都源自确定的规则和代码，从信息论的角度看，确定性变换后的信息量（熵）不可能增加 。
这显然不符合我们的直觉。那些存储在神经网络权重里的“智能”是从哪来的？
这就是这篇论文《From Entropy to Epiplexity》试图回答的核心问题。作者们并没有修补旧理论，而是直接掀了桌子：在算力有限的现实世界里，我们需要一种新的度量——Epiplexity（认识复杂性）。
论文：From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence
链接：https://arxiv.org/pdf/2601.03220v1
当经典理论撞上 AI 现实：三大悖论
为了说明为什么我们需要新理论，让我们看看经典信息论在现代 AI 面前显得多么苍白无力。作者敏锐地指出了三个“房间里的大象” ：
悖论 1：确定性过程能不能创造信息？
在经典理论中，数据处理不等式（Data Processing Inequality）告诉我们，对数据做确定性变换（Deterministic Transformations）绝不会增加信息量。但是，现在的 LLM 大量使用合成数据（Synthetic Data）来提升能力，数学家通过推理公理得到新定理。如果计算不能创造信息，那训练神经网络的过程究竟在干什么？ 。
悖论 2：信息的顺序重要吗？
数学上，，这意味着先学 A 再学 B，和先学 B 再学 A，总信息量是一样的。 但在训练大模型时，我们不仅发现数据的顺序至关重要（Curriculum Learning），甚至对同一段文本，从左到右建模（预测下一个词）和从右到左建模的效果截然不同。如果信息是对称的，为什么 AI 对“时间箭头”如此敏感？ 。
悖论 3：似然建模 = 仅仅是拟合分布？
通常我们认为，训练模型就是为了拟合数据生成分布。如果生成过程很简单（比如康威生命游戏 Game of Life 的规则），模型似乎就不应该学到比规则更复杂的东西。 但事实是，算力受限的模型为了预测那些简单的规则产生的复杂现象，往往需要“涌现”出比生成规则更高级的认知结构（比如识别滑翔机、飞船等高级模式） 。
Epiplexity：观察者的算力决定了看见什么
为了解决这些矛盾，作者引入了一个核心变量：观察者的计算能力（Computational Constraints）。
在此基础上，数据的总信息量被拆解为两部分：
Time-bounded Entropy ()：那些对当前算力水平的观察者来说，完全无法预测、像噪声一样的部分。
Epiplexity ()：那些可以通过计算被“以此为据”地压缩、学习到的结构化规律。
图注：见图左侧。对于一个计算能力有限的模型，真正的随机噪声（下）和高度复杂的加密数据看起来都是“高熵”的。唯有中间那类具有可学习结构的数据（如代码逻辑、动物图像），才具有高 Epiplexity。
这里有一个非常精彩的洞察：对于一个拥有无限算力的上帝（God-like observer），伪随机数生成器（PRNG）生成的数字序列没有任何随机性，全是结构，因为它是确定的。但在我们有限算力的计算机看来，它就是纯噪声（高熵，低 Epiplexity）。 反之，一段复杂的自然语言文本，如果我们算力太弱，看不出语法规律，它也是噪声；只有当算力足够强去理解语法时，噪声才转化为了 Epiplexity 。
公式定义：作者利用时间受限的最小描述长度（Time-bounded MDL）来定义 Epiplexity。假设我们有一个算力预算，我们要找一个程序来解释数据：
其中是在运行时间不超过 的限制下，使得“程序长度 + 预测误差”最小的那个模型 。简单来说，Epiplexity 就是你的模型为了在有限时间内解释数据，不得不“长”出来的脑子（权重结构）。
如何测量“认知复杂度”？
既然 Epiplexity 这么重要，怎么算？我们不可能遍历所有图灵机程序。作者巧妙地用神经网络的训练过程来近似。
主要方法被称为Prequential Coding（序列编码）： 想象你在训练一个网络。起初，模型什么都不懂，Loss 很高。随着训练进行，模型学到了规律，Loss 下降。
Epiplexity 可以被近似为 Loss Curve 下方、且在最终收敛 Loss 之上的那部分面积。
图注：见图(a) Prequential estimation。黄色虚线是 Entropy（不可约的随机性），绿色区域就是 Epiplexity。
直觉解释：如果数据很简单（比如全是 1），模型瞬间就学会了，Loss 瞬间掉到底，面积很小 -> Epiplexity 低。
直觉解释：如果数据全是随机乱码，模型怎么学 Loss 都不掉，面积为 0（因为那条基线很高） -> Epiplexity 低（全是熵）。
直觉解释：如果数据有深层逻辑（比如小说情节），模型需要漫长的过程去一点点“顿悟”，Loss 缓慢下降，积累了巨大的面积 ->Epiplexity 高！这就是我们要的数据。
实验：当逆序比正序更“有营养”
论文通过几个极具创意的实验验证了 Epiplexity 的有效性。
1. 国际象棋中的“教学顺序”
作者做了一个反直觉的实验：用 Transformer 训练下棋数据 。
顺序 A (Forward)：输入每一步棋的序列 -> 预测最终棋盘局面。这很简单，甚至不需要懂棋，死记硬背就行。
顺序 B (Reverse)：输入最终局面 -> 预测之前的每一步棋。这太难了！模型必须深刻理解棋子的攻防逻辑，进行复杂的推理（Induction）才能反推回去。
图注：见图 Chess orderings。Reverse ordering（逆序）虽然 Loss 更高（更难学），但它产生的 Epiplexity 显著高于正序。
结果令人震惊：尽管逆序任务更难，训练出的模型 Epiplexity 更高。更重要的是，用逆序数据预训练的模型，在解决 OOD（分布外）的死活题和局面评估时，性能远超正序模型！。 这证明了：困难的、需要消耗更多算力去“挤压”数据的过程，能迫使模型学到更通用的结构。
2. 元胞自动机：混乱不是复杂
作者对比了 Rule 30（混沌系统）和 Rule 54（具有滑翔机等结构的系统）。
Rule 30 对有限算力的观察者来说，几乎全是熵（随机性），学不到东西。
Rule 54 则展现了丰富的结构，随着算力增加，模型能学到越来越多的“涌现规律”，Epiplexity 持续上升 。
这完美解释了为什么不是所有“难学”的数据都是好数据——只有那些包含可被挖掘结构的数据（High Epiplexity），而非纯噪声数据，才对 AI 有价值。
总结与展望
这篇文章的贡献在于它提供了一种“去人类中心化”的信息视角。传统的香农信息论是以“上帝视角”看数据，认为信息是静态的。而 Epiplexity 告诉我们：信息是主观的，它取决于观察者（模型）有多少算力去“解码”数据中的结构。
给我们的启示：
合成数据的价值：确定性计算之所以能创造价值，是因为它将我们要学的“结构”从隐性状态（如公理）转化为了有限算力观察者可及的显性状态（如定理步骤）。
数据筛选的标准：以后选 Pre-training 数据，别只看 Perplexity（困惑度/熵），要看 Epiplexity。那些能让模型 Loss 持续下降、且最终收敛得足够低的数据，才是让模型产生“智能”的黄金数据 。
计算即信息：在 AI 时代，算力（Compute）本身就是一种将熵转化为 Epiplexity 的炼金术。
一句话总结：模型学到的不是数据本身，而是为了“压缩”数据而不得不构建的那个复杂的“程序”——这就是智能的本质。
