网站搭建的费用,上海网站建设 普送,做房产网站需要了解什么东西,营销型网站建设的原则来源#xff1a;集智俱乐部作者#xff1a;Guillem Collell、Jordi Fauquet译者:张澳审校#xff1a;刘培源编辑#xff1a;邓一雪导语信息和能量之间的关系已经在物理学、化学和生物学中得到了广泛的研究。然而#xff0c;这种联系并没有在神经科学领域形式化。2015年集智俱乐部作者Guillem Collell、Jordi Fauquet译者:张澳审校刘培源编辑邓一雪导语信息和能量之间的关系已经在物理学、化学和生物学中得到了广泛的研究。然而这种联系并没有在神经科学领域形式化。2015年美国麻省理工学院与西班牙巴塞罗那自治大学的研究者合作发表文章梳理了信息论与热力学的理论联系提出了链接物理大脑和认知模型的框架。本文是对论文的全文翻译。研究领域自由能负熵大脑热力学认知模型信息论目录摘要1. 引言2. 热力学与大脑活动3. 信息论与认知4. 热力学与信息论的关系5. 讨论摘要脑与心智的关系是一个重要的科学和哲学问题我们还远远没有完全理解。我们工作的一个关键点是注意到热力学提供了一个方便的框架来模拟大脑活动而认知可以用信息论的术语来模拟。事实上到目前为止已经提出了几个与这两种方法相悖的模型。第二个关键点是热力学和信息论之间存在着深刻的理论联系。事实上一些著名学者声称热力学定律只不过是信息论中的定律。与物理学或化学不同神经科学目前缺乏对信息和能量间关系的形式化。本文从信息论与热力学的理论联系出发提出了一个连接物理大脑和认知模型的框架。最后本文旨在进一步探讨认知和神经活动之间的形式关系。1. 引言大脑是一种用于处理信息的热力学装置。因此经常以热力学术语 (La Cerra, 2003; Varpula et al., 2013) 建模大脑活动以信息论术语 (Anderson, 1996; Friston, 2010) 建模认知过程。这两种不同的方法分别产生了对大脑和认知过程的精确描述。然而他们的统一将极大地增加我们对大脑活动如何与认知相关的理解并反过来将促进两种观点 (Colell and Fauquet, 2014) 的发展。至关重要的是信息论与热力学之间有着深刻的理论联系。这两个学科之间的一些经典联系是兰道尔极限 (Landauer, 1961) 、处理信息的能量成本 (Bennett, 1982) 、吉布斯和玻尔兹曼公式以及熵与负熵的概念 (Schrodinger, 1944; Brillouin,1953)。有趣的是熵同时是信息论和热力学中的核心概念。尽管在不同理论中它是不同量的度量但这些量呈现出重要的理论关系下面将讨论这些关系。事实上一些作者认为热力学和信息论之间的关系更为密切并声称热力学定律只不过是信息论中的定律而已 (Rothstein, 1951; Brillouin, 1953)。值得注意的是上述联系可以作为一套强大的工具以统一基于热力学的大脑模型和基于信息的认知模型 (Colell and Fauquet, 2014)。例如两个模型的方程是否一致还有待研究。在这个意义上如果将热力学度量转换为信息度量那么以能量度量来预测系统在某方向变化的热力学模型其预测结果应该与基于信息的预测模型一致。为了简要介绍信息与物理间的关系让我们回顾1867年提出的思想实验即麦克斯韦妖悖论。在我们看来这个悖论不仅有助于理解热力学和信息论之间的关系而且有助于深入了解思维计算如何与能量和信息相联系。简而言之考虑一个被分成两部分的容器a 和 b两者在相同的温度下装入相同的气体。一个微小的麦克斯韦妖守卫着 a 和 b 之间的活动门当一个速度比平均值快的分子朝 a 移动时麦克斯韦妖过快速地打开活动门在分子通过后立即将门关闭。类似地麦克斯韦妖允许比平均速度慢的分子进入 b。经过一段时间后a 中的温度即平均分子速度将高于 b 中的温度。这意味着系统的熵 (目前为止是无序的) 会减少从而明显违反了热力学第二定律定律即熵在孤立系统中只能增加。之后这种温差可以用来做功 (Feynman et al.,1998)。直到提出麦克斯韦妖悖论一个多世纪后人们才完全解决它。后文将给出解决方案及简要评论。值得注意的是即使以前从未见过信息和熵的任何形式化概念人们也可以直观地从这个思想实验中认识到关于系统冷分子和热分子的“知识”译注知识属于信息可以以某种方式转化为有用的能量。而与此相反的事实即能量可以转化为信息也许从一开始被广泛接受。因为在数字时代对于任何人来说电脑消耗能量就是为了编码或删除数据这并不令人惊奇。迄今为止从热力学的观点 (Kirkaldy,1965; La Cerra,2003; Varpula et al., 2013) 以及从信息论框架 (Anderson,1996; Friston and Stephan,2007) 已经提出了几个大脑和认知模型。然而信息论和热力学之间的联系还没有在神经科学中形式化 (Del Castillo and Vera-Cruz, 2011; Colell and Fauquet, 2014) 。本文旨在进一步阐述我们在前一篇论文 (Collell and Fauquet, 2014) 中介绍的观点即建立一个合适的框架来连接基于信息的认知模型和基于热力学的大脑模型。在这方面这项工作的主要贡献是从信息论和热力学间经典联系 (见图1) 的角度来研究这种关系。最终本文旨在扩展脑活动和认知之间的形式联系。图1. 通过热力学和信息论之间的经典联系大脑活动(左)和认知模型(右)之间的联系(中)本文的结构如下。第一节中我们将分析如何以热力学框架对大脑活动建模。第二节中我们提出了Friston基于信息的模型并列举了从大脑和认知活动中获取信息度量的不同方法。第三节中我们首先讨论了信息论和热力学之间的经典联系并分析应该如何将其应用到大脑中。其次我们应用信息论和热力学之间的经典联系在先前描述的大脑模型和认知模型间搭建桥梁。随后我们给出了如何通过该框架解决自发性适用于大脑和认知活动问题的建议。最后我们总结和分析了该方法的贡献并提出了未来的研究方向。2. 热力学与大脑活动开放耗散系统热力学综述热力学的一个核心概念是熵。它通常被认为是系统的无序程度但是它的精确定义 (Feynman et al.,1965) 等于以分子振动形式耗散而不能用于产生功的能量。例如回顾麦克斯韦妖的背景初始状态和最终状态的能量相同因为两个状态分子振动的数量相同。但在初始状态下不可能使用该能量来产生功。物理熵(即 S )的第一个形式化定义是在1856年由克劳修斯Classius提出的。状态 a1和 a2之间的熵变化 ΔS 对应于其中 δQ 代表热力学过程增加的热量T 代表系统的绝对温度。物理熵的国际单位为焦耳/开尔文(J/K) (Feynman et al., 1965)。如上所述热力学第二定律表明除了根据其概率公式的小的随机涨落任何孤立系统的熵只会增加。更形式化地说该定理可以表示为 dS/dt ≥0 (Prigogine,1978) 。其中系统如果不与环境交换物质与能量则为孤立系统如果两者都被交换则为开放系统。值得注意的是热力学第二定律能够完整刻画自发过程即无需外界帮助即可发生的过程。只有当宇宙总体的熵增加时自发过程才会发生。因此熵不像能量能量既不能被创造也不能被破坏能量守恒定律熵在一个孤立的系统中只能被创造而不能被破坏热力学第二定律。在这一点上为了理解生命的热力学特别是大脑的热力学一个基本问题自然而然地出现了生命系统怎么可能倾向于进化到熵值较低的状态也就是说更高层次的组织事实上这并不是一个真实的矛盾而只是与热力学第二定律的矛盾。首先让我们回顾一下热力学第二定律是为孤立系统而制定的相比之下活系统则是典型的开放系统。因此为了减少生命系统的熵值必须在其它地方增加熵值从而使宇宙总体上熵增加。例如在 DNA 合成过程中有序性增加但其代价是ATP三磷酸腺苷分子在生物中普遍存在的供能分子的破坏即增加无序性熵从总体而言仍是增加的。至关重要的是生命系统的一个基本定律表明如果熵达到一定的阈值有机体的结构和功能将受到威胁 (Schrodinger,1944)。因此系统内任何显著的熵增必须通过其边界被迅速消除。例如呼吸作用不仅产生 ATP 分子而且还会产生一种废物这种废物必须随后从细胞中排出。负熵或自由能作为熵的“对立”概念随即产生。它是由薛定谔 (1944) 引入的能够提供一个适用于研究生命系统的热力学框架。他最初将其称之为负熵因为在物理意义上它可以被解释为产生功的可用能量这与熵的定义恰相反。例如在神经元出现尖峰主要是 ATP前或者当神经元中存在温度梯度时像麦克斯韦妖的情况一样。物理负熵可以用亥姆霍兹自由能公式来描述 (Prigogine,1978)式1其中 U 是系统的总内能T 是其温度。大脑的热力学模型一般来说大脑活动的热力学模型均表现出两个重要特征: (1)大脑被认为是一个通过其边界消除熵的装置并由自由能产生于以 ATP 为主的化学物质提供能量(2)热力学第二定律被认为是驱动大脑活动的主要原理 (Kirkaldy,1965; La Cerra,2003; Del Castillo and Vera-Cruz,2011; Varpula et al.,2013)。考虑到生命系统为了维持生命必须满足熵的约束应用普利高津 (1978) 提出的以下方法是方便的。也就是说将熵的总变化 dS 分解为内部熵的增加 diS 和穿过系统如大脑区域或神经元见图2边界交换的熵 deS。图2.神经元内外的熵交换。改编自普利高津 (1978).重要的是由于系统内部必须满足热力学第二定律所以在每个神经过程之后必须立即得出 diS 0。然而这种熵增必须通过神经元的边界被消除。这可以被表示 (Del Castillo and Vera-Cruz, 2011) 为自组织系统的一个基本特性是当熵的增加超过当前系统结构可以耗散的极限时可能会涌现新的结构Prigogine,1978; Stephen et al.,2009)如认知重组。此外为了恢复产生功如传递一系列新的神经元刺激的能力必须有自由能 (ATP) 流入神经元或大脑区域。这种自由能是通过氧气和葡萄糖的反应来提供的而氧气和葡萄糖的输送则由血液完成 (Howarth et al.,2010)。下面的等式描述了开放耗散系统尤其是大脑的局部熵交换率 (Del Castillo and Vera-Cruz,2011) 式2更详细的描述可将 diS/dt 分解为不同的不可逆过程及其对应的广义力即 式3其中 Jρ 是各种不可逆过程 ρ (化学反应、热流、扩散等) 的速率 Xρ (吸引力、温度梯度、化学势梯度等为其对应的广义力。需要注意的是上述描述对平衡系统和满足局部平衡假设的系统都适用。该假说认为在给定时刻可将失去平衡的系统视为处于平衡状态的齐次系统如果一个系统的性质不依赖于其位置则该系统被称为齐次系统。换句话说局部平衡假设系统分裂为一定数量的胞室这些胞室足够大使其可以忽略微观涨落的影响但同时它又足够小使得平衡对每个胞室都是很好的近似。因此在一个给定的是个每个胞室都达到平衡 (Lebon et al.,2008)。局部平衡假说适用于那些微观时间尺度大大短于宏观时间尺度的过程。例如两个连续粒子碰撞的间隔所对应的微观时间比如10-12秒相比于一个宏观过程比如持续约1秒。然而一些远离平衡的过程不能满足局部平衡假设。当微观时间尺度和宏观时间尺度具有可比性时就会发生这种情况。例如在涉及缓慢弛豫时间的过程中如聚合物溶液或超导体; 或在高频现象中如超声波在稀释气体中的传播或液体中的中子散射。然而如果系统与其他更快弛豫的变量耦合那么仍然可以在远离平衡的情况下定义热力学量如温度或熵(Vilar and Rubí,2001)从而能够描述系统。其基本思想是引入其它自由度来增加维数从而减少弛豫时间。例如在扩散过程中Vilar 和 Rubí (2001) 提议将速度作为一个新的变量尽管并不总是需要这样。总之为了准确描述任何涉及变量的慢弛豫时间或高频率的神经过程需要考虑将不可逆热力学的设置拓展。Varpula 等人 (2013年) 用热力学第二定律作为中心假设模拟了神经元电流活动。该模型指出在最短的时间内消耗自由能是驱动大脑电活动的主要原理。换句话说神经网络中的电流会自己寻找在最短时间内消耗更多自由能的通路。从这个意义上讲神经网络被认为是记忆的寄存器可以通过激活特定的路径来检索、巩固或重新组织记忆类似于河流侵蚀自己的景观并影响自己的流量。因此记忆通过一次又一次地刷新特定的能量流模式而增强并且在路径未得到加强时而消失。值得注意的是该模型仅利用热力学第二定律就能够解释许多大脑过程如学习、联想或记忆检索。值得指出的是几种神经成像技术可以用于测量大脑中的能量活动。一个广泛使用的方法是功能性磁共振成像fMRI。该方法测量与血氧水平相关的blood oxygen level dependentBOLD信号这些代谢变化间接地反映了潜在的神经活动。另一个著名的测量方法是脑电图EEG。用这种方法记录的神经电活动是通过测量分布在头皮上的多个电极的电压差来获得的。最后单细胞记录是测量单个神经元能量活动最准确的方法。该方法将微电极插入大脑测量单个神经元的动作电位。但是这是一种侵入性的方法不能应用于人类研究。因此最佳的测量方法在很大程度上取决于研究的情境和对象。3. 信息论与认知在介绍Friston基于信息的模型之前我们将简要概述一些重要的定义和信息论的结果。香农的信息论最早是在1948年的通信背景下提出的该场景包括一个发送端、一个接收端和一个通过信道发送的消息组成(Shannon,1948)。符号 xi 的信息被定义为其中 p(xi)对应给定消息中符号 xi 出现的概率。当对数的底数为2时信息以比特位表示。因此I(xi)等于编码仅由符号 xi 组成的消息所必需的位数。xi 的可能性越小所需的位数就越多。或者可以将I(xi)理解为观察 xi 的“惊奇surprise”量。香农熵用 H 表示其对应于消息中的期望信息或每个符号的不确定性其中消息为 n 个不同符号 x{xi} i ∈{1... n}每个符号出现的概率为 p(xi)。即式4在无噪声信道的背景下信息论的一个基本结果就是所谓的香农信源编码定理Shannons source coding theorem。该定理指出不能将消息压缩到熵的界限以内而不丢失信息。Friston基于信息的模型在我们看来特别值得关注 Friston 基于信息的模型Friston and Stephan,2007; Friston, 2010最近的贡献。它提供了对认知过程如知觉、学习或推理的广泛描述并准确地解释了知觉过程 (Moran et al.,2013)。Friston理论的核心概念叫做自由能free energy。在该情况下自由能 F 被定义为“惊奇”的上界或[ log-evidence-ln p (| m)]它与感官输入和世界模型m相关的。可以将自由能理解为惊奇加上一个正项后者为 Kullback-Liebler 散度或交叉熵即式5其中 ϑ 是引起感官状态的未知量μ 代表大脑的内部状态。假定个体将世界的概率表征编码为内部状态 μ。则D (q (ϑ | μ) | p (ϑ |))项是交叉熵代表认知密度 q (ϑ | μ)与导致 ϑ 的真实分布 p (ϑ |)之间的差异。认知密度recognition density对应于主体对输入原因的概率表征。从概念上讲可以将自由能 (公式5) 看作: F 惊奇 交叉熵。FSurpriseCross EntropyFriston理论的核心原理是所谓的自由能最小化。也就是说为了保存生命自组织的生物主体应该避免出现令人惊奇的状态。为此它们的自由能必须最小化。例如鱼可以通过避免离开水来最小化自由能 (Friston,2010)。至关重要的是主体可以通过改变其内部表征来使交叉熵项最小化也就是说通过改变识别密度来更好地逼近真实分布。通过主动推理即优化感知主体通过贝叶斯推断更新其内部表征使随后的预测错误最小化。在这个意义上系统隐含地编码了环境的概率模型。至关重要的是主动推理即改变期望和行动改变结构和避免惊奇状态是主体最小化其自由能的两种可能机制。有趣的是通过方程(5)的代数操作可以得到以下自由能的重新表述式6其中- lnp (, ϑ|m) q 项是[在密度 q(ϑ|μ)下]主体寻找由某个 ϑ 引起的感官输入的预期惊奇。Friston和Stephan (2007) 根据该项的物理类比将其称为期望吉布斯能。第二项对应于变量 ϑ 引起的熵。因此该公式在概念上等价于以下关系: F 期望能量-熵这与物理学中的亥姆霍兹和吉布斯自由能公式有着惊人的相似。Friston模型借用了统计物理学、生物学、微观经济学或机器学习等不同学科的概念和想法 (Friston,2010)。然而可以用信息论的术语清晰解释其方程。事实上自由能是一个来自信息论的概念用来作为一个模型的证据度量。统计学中的信息极大原理只是自由能最小化原理的一个特例。这种方法采用了同样的自由能概念但以感官输入为数据并通过大脑对模型编码。此外在简化的假设条件下自由能只能看作是预测误差。值得注意的是Friston 的假设已经得到了实证数据的支持。例如脑电图记录显示自由能最小化原理能够预测神经元在重复暴露后的神经反应抑制 (Moran et al.,2013) 。此外值得注意的是存在其它关于认知的计算模型例如著名的 ACT-R  (Anderson,1996)。然而Friston模型以信息的视角对学习过程提供了一个合适的描述使其更符合本文提出的框架。此外其方程展示了一个与其对应热力学概念的惊人相似性与基于物理原则的模型建立了桥梁。大脑活动与认知的信息度量在这一点上人们很自然地会问从哪里可以获得大脑活动和认知中的信息量这些信息是刺激本身所固有的还是在大脑计算中产生的。事实上不同的信息度量可能适合不同的情况、研究对象或度量的可得性。例如在主要的认知过程中如视知觉刺激的信息内容可能很容易获得。然而这种方法显然不可能用于研究像问题解决这样的高级认知过程。下面我们介绍了一些已经应用的方法以及一些新的想法。方法1信息测量可以直接从刺激特征中获得。这种方法尤其适用于感知任务因为这些任务的相关刺激特征很容易获取。值得注意的是Laughlin 等人 (1998) 第一次应用这种方法获得了苍蝇视觉感官系统处理一比特信息所需的能量成本。特别是已知数量的信息以光强波动的形式传递到苍蝇视网膜的感光器。有关这种方法的更详细描述请参阅 Borst 和 Theunissen (1999) 的评论。方法2信息度量可以直接从任务的复杂性中估计出来。对于一个特定的认知任务系统可能状态中间步骤、反应、响应等等的数量通常是有限的每种状态都有一定的发生概率。该方法的基本思想是计算一个任务的香农熵 H -∑pilog2(pi)。直观地说记忆 ABBA 序列[ I log2(24) 4位]与记忆ABBBAABAABABAB序列[ I log2(214) 14位]的成本并不相同。这种方法类似于用吉布斯公式估计物理熵见第三节。计算过程中可能有多个中间步骤的组合 (微观态) 导致相同的结果或行为响应宏观状态。特别是任务总体的熵或信息负荷与所有可能的微观态的信息含量的加权平均数相对应。另一个简单的假设案例见图3。图3. 两个选择任务的决策树。图3中有两个不同的选择一个关于形状另一个关于颜色。假设这四个结果可能性相等那么这个任务的信息估计将是 log2(22) 2位或者相当于回答两个是/否问题。当然这个简化的描述只是为了给这个方法一个直观的概念并没有试图描述任何在真实的感知情况下会严重影响其信息内容的颜色或形状的细微差别。需要指出这是一种非常灵活的方法在确定合理描述任务的方案前需要进行详尽的检查。例如Stephen 等人 (2009) 在一个实验中采用了类似的方法参与者必须从一个相互连接的齿轮系统中预测最后一个齿轮的旋转方向。然而在这种情况下随机噪声即不可预测性被引入任务并被参与者视为信息内容的度量。方法3神经成像技术如单细胞记录、功能磁共振成像和脑电图可以提供能量消耗的度量。同样也可以用它来推断大脑计算的信息内容也就是说直接从神经编码对信息进行估计。在这种情况下信息内容是从数据的“复杂性”推断出来的。单细胞记录已经被广泛用于动物实验Borst and Theunissen, 1999 但最近有人提出非侵入性的方法如功能磁共振成像或脑电图也可以是一个合适的选择Assecondi et al.,2015)。该方法中有许多不同的特征可用于从原始数据估计熵。这些特征包括反应时间一个脑电波成分的振幅或时延行为测量一个或多个体元voxel中与血氧水平相关的响应的参数等Assecondi et al.,2015。方法4机器学习中的一些算法如人工神经网络ANN可对人的学习过程建模。这些技术的优点是学习的信息成本低且模型参数易得。有趣的是人工神经网络不仅能很好地从数据中学习而且还能展示多个互联神经元处理信息的实际神经生物学结构。然而不能以此推断出算法的其余部分是否复制了实际的底层生物学。事实上该模型通常通过随机梯度下降法拟合而不打算模拟任何生物过程。尽管如此如果任务难度发生变化人工神经网络和实际大脑计算成本之间存在相互关系也是合理的。感知器的现代版本Rosenblatt, 1958比如反向传播算法Hecht-Nielsen,1989或者 Neocognitron一种多层次的人工神经网络 Fukushima,1980可能是估计简单的学习或感知任务信息成本的合适选择。有趣的是Brunel 等人 (2004) 已经成功地测试了一种类似的方法他们使用感知器模型的突触权重来估计小脑浦肯野细胞Purkinje cell处理的信息量。因此人们认为突触功效的改变是记忆和学习的基础他们的发现揭示了每个浦肯野细胞存储多达5 kb 的信息。另一个有趣的方法是 EDLUT一种便于对实验设置如机械臂的执行建模的模拟软件该软件基于生物上可行的神经模型Ros et al.,2006。最后我们认为使用 Friston 的学习算法是合适的它在很大程度上结合了机器学习方法并且已经被证明能够精确拟合神经数据Moran et al.,2013。此外该模型还具有已经用信息论术语定义的优点。前三种方法的关键点是必须特别注意相关特征任务、刺激或数据的选择和它们将包含在熵计算中的级数Borst and Theunissen,1999。信息估计的可靠性在很大程度上取决于这一选择。换句话说我们“字母表”的符号数目的定义将对最终的香农熵产生相当大的影响。在这方面选择一些提供信息的特征通常会比考虑太多没有明确假设的特征得到更准确的估计Assecondi et al.,2015。4. 热力学与信息论的关系能量与信息的经典关系如上所述麦克斯韦首先指出了交换信息和物理熵的可能性从那时起许多作者进一步研究了这种关系 (Feynman et al.,1998)。下面我们介绍了热力学和信息论之间的一些经典的理论联系。吉布斯和玻尔兹曼公式玻尔兹曼 (1877) 从统计力学的角度提出了熵的第一个定义。波尔兹曼公式假设存在 W 个等概率微观态且系统处于热力学平衡。在这种情况下系统的熵 S 为式7其中 k 是波兹曼常数大约为1.38 × 10-23J/K。物理学中微观态的数量是指系统中粒子能够呈现的所有能量状态组合的数量。一般来说这个数字会随着温度的升高而增加 (Feynman et al.,1965)。通常会有大量的微观态导致相同的宏观状态即相同的能量(E)、体积(E)、压力(P)和温度(T)。值得注意的是玻尔兹曼公式描述了微观条件下的熵微观态和宏观条件下的克劳修斯公式热交换。此外玻尔兹曼公式很好地说明了热力学第三定律即熵在0 K 的温度下恰好为零。在这种情况下完全没有分子振动只能导致一种可能的微观态。更一般地吉布斯指出一个系统的熵可以计算如下 (Feynman et al.,1998) :式8其中 pi 对应于从平衡系综中得到微观态 i 的概率。我们立刻注意到两件事。首先吉布斯公式与香农熵具有相同的形式除了波兹曼常数 k 带来的单位变化; 其次在所有的微观态都是等概率的情况下进一步假设热力学平衡吉布斯方程将简化为玻尔兹曼公式。直观地看假设系统的宏观状态是已知的根据吉布斯公式可以把物理熵看作是为了完全确定系统的微观态而需要回答的是/否问题的数量。重要的是吉布斯公式提供了一个信息视角下的热力学第二定律: 我们关于一个孤立的系统的信息永远不会增加因为自发过程总是导致信息的丢失 (Rothstein,1951)。因此根据吉布斯的说法熵的增加等于我们对系统的信息的减少。负熵 (布里渊负熵)如上所述物理自由能用亥姆霍兹Helmholtz公式(方程1)描述。至关重要的是布里渊Brillouin(1953) 创造了“负熵”这个术语并将这个概念与信息联系起来。他把信息熵和物理熵统一于同一个方程。下面我们用布里渊 (1953) 论文的简短推理来推导这个公式。首先我们考虑一个具有P0个等概率状态的系统。如果我们获得关于这个系统的信息 I并且像麦克斯韦妖对气体所做的那样利用信息系统可能的状态数量减少到 P1。把两数量比值的自然对数作为信息的度量这就得到了其中是一个常数。例如通过选择 log2(e) 我们可以用比特来度量信息 I log2(P0/P1)。通过选择  k (即波兹曼常数) 应用 Boltzmann 公式[ s kln (p)]并重新排列项得到以下关系式:式9其中 I 对应于负熵。布里渊提出的信息和物理熵可互换的观点已被广泛接受 (Prigogine,1978; Plenio and Vitelli,2001; Maruyama et al. ,2009)。值得注意的是利用布里渊方程对于每个孤立系统可以通过引入一个信息项(S0-I)≥0来推广热力学第二定律 (Brilouin,1953)。此外后一种说法带来了一个更深刻的结果即香农信源编码定理和热力学第二定律之间存在着内在的联系违反其中一个则另一个也不成立。信息处理Szilard (1929) 证明了从一个系统中获取信息的行为产生熵或者说该过程本质上需要能量成本。他指出确定一比特信息所需的最小能量是 kTln (2) J 或者等价的 kln (2)J/K 熵增。后来Landauer (1961) 在计算中研究了同样的现象发现擦除一比特信息例如在磁盘中会产生同样数量的最小热量。一个有趣的事实是热量的产生是限制现代计算机处理速度的主要原因而且事实上计算机还远远没有达到兰道尔极限。至关重要的是确定每比特所需的 kTln (2) J 的最小能量成本可以推广到任何其他“操纵”或处理信息的方式如测量、编码、显示、是/否决定等。有趣的是该原理为麦克斯韦妖悖论提供了一个解决方案即麦克斯韦妖不能以零成本执行所有的计算和测量。因此麦克斯韦妖必须为测量 (Szilard,1929)、擦除 (Landauer,1961) 或编码 (Bennett,1982) 记忆中的信息付出成本。或者可以将麦克斯韦妖简单地解释为一种将负熵转化为信息的装置反之亦然 (Brillouin,1953)。从神经科学的角度可以从麦克斯韦妖悖论中得出神经计算的下限。事实上这意味着麦克斯韦妖如何在大脑中进行计算并不重要但是计算每比特或者每个二进制决策冷分子和热分子的能量成本最低为 kTln (2) J。兰道尔极限在大脑中的合理性将在下一节讨论。大脑中的能量和信息之间的联系关键是要注意到大脑并不是熵约束的例外因为它必须服从热力学定律。例如De Castro (2013) 解析性地发现了兰道尔极限为大脑计算的热力学下限。然而即使进化被认为是“选择”了能量最有效的过程大脑真实的计算成本并未达到物理下限。首先因为物理学中考虑的最小处理单元是原子/分子其运作方式与大脑神经元相距甚远; 其次神经网络包含了显著的冗余和噪声因素大大降低其效率 (Narayanan et al.,2005)。Laughlin et al. (1998) 首次给出了处理感官信息所需的明确能量成本。他们在苍蝇身上的发现表明对于视觉感官数据来说一比特信息的能量成本大约是5×10-14焦耳相当于104个 ATP 分子。因此神经处理的效率仍然远远低于兰道尔的极限 kTln(2)J。但是一个奇怪的事实是它仍然比现代计算机高效得多。我们想强调的是这一能量成本对应于苍蝇的视觉感官处理因此会因大脑区域、神经元类型或认知过程的不同而有很大差异 (Howarth et al.,2010)。此外神经噪声和冗余与地形和种群大小有关。一般来说能量成本随着神经集群的大小而增加 (Narayanan et al.,2005年)。也许一个更具挑战性的目标是根据来自内部表征而不是来自外部如对感官信息的处理的数据来估计神经信息 (Colell and Fauquet,2014)。深思熟虑、解决问题或创造性思维就是这类任务的实例。我们认为从“能源-信息交换”的框架来处理这些情况特别方便因为在这种情况下只能间接推断信息内容。例如通过使用前面章节中提出的一些方法如机器学习、模拟软件或香农熵估计。相反在任务执行过程中可以首先采取能量度量如脑电图或功能性磁共振成像然后利用这些度量推断其信息含量。为了实现从能量到信息的转换必须考虑到以前关于相关脑区冗余和噪音因素的知识 (Collell and Fauquet,2014)。可以将这些推断的信息度量与独立从执行相同任务的机器学习或模拟软件中获得的估计信息进行对比。我们建议初始测试应该在简单的感知任务中进行以便逐渐将该方法应用到日益复杂的认知任务中并且避免估计信息与实证度量相关的初步结果。从这个意义上说比起高阶认知任务知觉更少受启发式的影响。例如有许多不同的方法来执行心算其计算成本差异巨大。值得注意的是最近的研究为之前的假设提供了有希望的实证。Anderson 和 Fincham (2014年) 表明多体元模式识别可以用来发现任务执行过程中的精神状态。他们能够识别解决数学问题的不同阶段编码、规划、解决和响应并通过考虑任务的难度和新颖性来预测每个阶段的处理时间。大脑皮层网络表现出不同的活动模式如振荡、同步和神经雪崩neural avalanches(Beggs and Plenz,2003) 。其中神经雪崩与本工作相关因为它与一个被广泛研究的物理学概念——临界性——相关。临界性存在于一些由局部相互作用的非线性单元组成的物理系统中。诸如地震、森林火灾、沙堆、核连锁反应、神经激活等系统都存在临界性。在这些系统中从某些参数值超过临界值 (阈值) 的单元开始将相同的变化传递到相邻的单元。因此级联通过系统中的大量单元进行传播。系统临界点附近的时空分布由幂律描述具有标度不变性。也就是说可以在不同的尺度上观察到同样的动力学。至关重要的是实证证据倾向于证实大脑皮层活动表现出类似的临界行为神经雪崩的规模分布遵循幂律Beggs and Plenz,2003; Haimovici et al. ,2013。此外大脑在大部分时间里几乎处于临界状态。在这种情况下临界参数对应于所谓的分支branching参数该参数被定义为来自同一个祖先的后代的平均数量。也就是说当一个神经元在当前时间区处于激活状态时下一个时间区该神经元激活的神经元的平均数量。在分支参数等于1的临界值处神经雪崩反复发生信息传输能力最大化。相比之下亚临界网络产生衰减信号超临界网络产生类似癫痫的激活Beggs and Plenz,2003; Haimovici et al. ,2013。值得注意的是在神经雪崩和大脑自由能动力学之间建立联系的可能性被建模为寻求在最短时间内消耗自由能Varpula et al.,2013。事实上两个模型都描述了某些神经集群的激活因此两个框架必须表现出一致性。此外临界也是从认知角度研究的对象在该例中用信息论术语对其研究。在这方面临界值不是指任何热力学量而是指来自输入的香农熵。Stephen等人 (2009) 提供了一个初步证实的假设新的认知结构的涌现遵循临界性的普遍原则。他们发现在熵达到一定的阈值之后对象对任务的理解经历了一个不连续的变化从而很快洞察到任务的功能。本质上仍然有待从不同的角度研究临界值热力学Varpula et al.,2013) 神经分支 (Beggs and Plenz,2003) 和认知信息论 (Stephen et al.,2009) 是相互联系的。此外临界性在大脑和认知动力学中的存在对信息的处理和传递具有影响因此当模型存在引起系统不连续变化的变量时必须特别注意。然而如上所述实证证明似乎证实了大脑在大多数时间处于临界状态附近在那里信息传输最大化。连接大脑和认知模型至关重要的是基于热力学的模型和基于信息的模型共享一些功能假设: (i)大脑必须避免相变 (即其结构和功能的剧烈变化) 以及大量熵增加ーー如果出现大量熵增加必须将其迅速消除(ii)大脑总是在最短的时间内使自由能 (物理或信息) 最小化(iii)大脑对内部状态、感官输入、行为响应和这些行为结果的适应值之间的概率关系进行编码(Kirkaldy,1965; La Cerra,2003; Friston,2010; Del Castillo and Vera-Cruz,2011; Varpula et al.,2013; Colell and Fauquet,2014)。上述考虑表明当处于给定情况时两种模型将在同一方向上激发系统的行为。换句话说大脑中的物理自由能的变化方式与Friston信息自由能的变化方式相似。例如让我们假设主体正面临一个新的情况比如一个新的环境。由于情况的新颖性Friston 的惊奇项 ln p (| m)将会很大导致自由能增加。同样大脑中也会由于血流量增加而消耗大量的物理自由能ATP。随着在最短时间内能够消耗更多能量的神经通路的激活这些自由能迅速减少因此 ΔFH 0。与此类似随着系统采取行动或在大脑中编码新信息而避免惊奇状态Friston自由能也会迅速降低。自由能最小值 ΔF 0 也由此达成。此外两模式还完成了编码的任务。也就是说在Friston模型中系统通过准确更新输入的成因减少了预测误差。类似地在热力学模型中新激活的神经通路将在未来将更容易检索。从社会心理学的角度来看适应行为可以被理解为个体减少其物理熵和Friston熵的一种机制。例如法律建立了社会约束和公共教育最终目的是保证个体的熵不会增加到一个危险的阈值。例如一个没有受过教育的人可能会面临一些危险情况而受过教育的人则会避免这些情况。从这个意义上说对于没有受过教育的个体来说其Friston熵会更高因为他大多数时间处于大量的可能状态。换句话说他将更频繁地处于惊奇的环境中而Friston熵可以视为令人惊奇的平均值因此他的Friston熵将增加。Friston自由能 F 和布里渊的自由能 I 有区别和相似之处。首先这两个术语都以概率分布的负对数来定义系统的信息量。从这个意义上说Friston自由能对应于“统计上的惊奇”—— −lnp(|m) (还需加上一个正项) 也就是说大脑接收刺激的不可能性 (即信息量) 有多大。因此对频繁发生事件的编码仅需较少的比特比如对于个体而言它几乎没有新的信息。相比之下为减少未来遇到的惊奇事件在神经网络中对极不可能发生的事件进行编码需要更多比特。类似地布里渊的负熵项 I 也指的是如果系统获得/处理了更多关于环境或自身的信息那么信息量将会增加。此外布里渊的自由能不仅是信息的度量更重要的是它与物理意义上的实际自由能相对应。因此布里渊公式 S1 S0-I 提供了一个度量 (下限) 通过处理 I 位信息 (例如通过合并环境中的 I 位比特) 大脑内的物理熵S1 - S0可以减少多少。因此该分析表明布里渊自由能和Friston自由能在神经处理的背景下具有类似的意义。然而很明显Friston公式为布里渊自由能的“浓缩”特别是应用于自组织生物系统尤其是大脑并包括内部状态 μ 等特定参数时。然而不同于同为能量和信息量的布里渊自由能没有任何已知热力学单位 (例如J 或 J/K) 能够明确解释Friston自由能它只是显示了与亥姆霍兹方程 (公式1) 的相似之处。在我们看来进一步研究Friston信息测度(如自由能和熵)的热力学含义和等效性是一个有趣的问题。神经认知活动中的自发性在先前的工作中我们认为自发性可以成为神经科学中一个有趣的研究课题 (Collell and Fauquet,2014)。也就是说已知系统的某些变量在不借助外界帮助的条件下要找到条件来确定什么样的神经过程将自然发生。自发的神经活动已经成为神经科学研究的对象主要目的是为神经雪崩寻找实证证明。然而据我们所知到目前为止还没有关于信息或热力学度量的参考文献。自发过程在物理学中已经被热力学第二定律物理实验室很好地描述了。此外布里渊 (1953) 推广了这一原则并允许在信息术语中定义物理自发性。同样化学中的自发过程也有其热力学第二定律即所谓的吉布斯自由能公式 ΔG ΔH-TΔS其中 H 是焓 (即内能加上一个正项)。在这方面只有当一个过程导致吉布斯自由能 ΔG ≤0时自发性才是可能的。关键是这些计算在实际情况下是可行的因此可以应用于实际预测。然而神经科学并没有一个可操作的描述自发过程的可计算方程式。在这个方向上Varpula 等人 (2013) 最短时间内自由能消耗的原理为神经层面上的自发性的提供了理论基础。然而为了预测认知或神经过程的发生而使用这种自由能度量是不可行的。事实上需要从不同的神经网络实时记录自由能以验证电信号确实流入预测的路径。重要的是Beggs 和 Plenz  (2003) 描述了自发神经激活该过程在分支参数处于临界值比如公式1时发生。该描述大量采用文献中的实证支撑有效地刻画了自发性。尽管如此它的初始形式需要网络中的每个神经元的单细胞记录。在信息论术语中Friston模型隐含地将自发过程描述为那些导致信息自由能 F 减少的过程。然而在实践中计算方程(5)或(6)中的所有量仍然是不可行的因为其中某些量如隐藏的心理状态或原因对我们和行为主体来说都是不可达的。因此应该允许同时以信息和热力学度量对其进行定义。在这方面布里渊公式 (公式9) 提供了一个强有力的工具把信息和能量值置于同一个公式中并且不加区分地处理它们。我们认为将布里渊公式适当地应用于大脑处理环境可以得到有趣的理论和实验结果。5. 讨论到目前为止我们已经回顾了有关大脑活动的热力学模型的最新进展 (Prigogine,1978; La Cerra,2003; Varpula et al.,2013) 并提出了 Friston 基于信息的模型。此外我们还讨论并提出了从大脑活动和认知中获取信息的方法。然后我们把信息论和热力学之间最重要的经典联系放在一起。此外我们分析了大脑活动的热力学模型和Friston模型在概念上的细微差别并通过信息和能量之间的经典联系将它们联系起来。我们重点讨论了来自Friston模型的自由能、惊奇和熵与热力学中等价概念间的理论关系。信息和能量之间的关系已经在物理学、化学和生物学中得到了广泛的研究(Brilouin,1953; Prigogine,1978; Feynman et al.,1998; Del Castillo and Vera-Cruz,2011)。然而这种联系并没有在神经科学领域形式化 (Del Castillo and Vera-Cruz,2011; Colell and Fauquet,2014) 。在这方面本工作的主要贡献是从信息论和热力学之间的经典联系来解决大脑活动和认知的关联问题。在我们看来理解大脑能量和认知信息间的权衡、边界和交换将极大促进神经科学的发展。此外我们认为为解决哲学和科学问题如意识的难题、大脑和心智的关系或自由意志的存在必须将信息和能量连接大脑的方式适当形式化。此外如上所述该方法可以很方便地将大脑和认知活动中的自发性概念形式化。总之我们的目标是激励更多的科学家从该框架中进一步研究大脑和认知之间的关系。也就是说构建新的数学模型以连接现有的基于热力学和信息的模型并设计实证检验。参考文献Anderson, J. R. (1996). ACT: a simple theory of complex cognition. Am. Psychol. 51, 355–365. doi: 10.1037/0003-066x.51.4.355Anderson, J. R., and Fincham, J. M. (2014). Discovering the sequential structure of thought. Cogn. Sci. 38, 322–352. doi: 10.1111/cogs. 12068Assecondi, S., Ostwald, D., and Bagshaw, A. P. (2015). Reliability of information-based Integration and fMRI data: a simulation study. Neural Comput. 27, 281–305. doi: 10.1162/NECO_a_00695Beggs, J. M., and Plenz, D. (2003). Neuronal avalanches in neocortical circuits. J. Neurosci. 23, 11167–11177.Bennett, C. H. (1982). The thermodynamics of computation—a review. Int. J. Theor. Phys. 21, 905–940. doi: 10.1007/BF02084158Boltzmann, L. (1877). Uber die beziehung dem zweiten Haubtsatze der mechanischen Wärmetheorie und der Wahrscheinlichkeitsrechnung respektive den Sätzen über das Wärmegleichgewicht [On the relationship between the second main theorem of mechanical heat theory and the probability calculation with respect to the results about the heat equilibrium]. Wien. Ber. 76, 373–435.Borst, A., and Theunissen, F. E. (1999). Information theory and neural coding. Nat. Neurosci. 2, 947–957. doi: 10.1038/14731Brillouin, L. (1953). The negentropy principle of information. J. Appl. Phys. 24, 1152–1163. doi: 10.1063/1.1721463Brunel, N., Hakim, V., Isope, P., Nadal, J. P., and Barbour, B. (2004). Optimal information storage and the distribution of synaptic weights: perceptron versus Purkinje cell. Neuron 43, 745–757. doi: 10.1016/j.neuron.2004.08.023 Collell, G., and Fauquet, J. (2014). “How the relationship between information theory and thermodynamics can contribute to explaining brain and cognitive activity: an integrative approach,” in Proceedings of the IEEE Sixth International Conference on Advanced Cognitive Technologies and Applications (COGNITIVE 2014) (Venice), 269–273.De Castro, A. (2013). The thermodynamic cost of fast thought. Minds Mach. 23, 473–487. doi: 10.1007/s11023-013-9302-xDel Castillo, L. F., and Vera-Cruz, P. (2011). Thermodynamic formulation of living systems and their evolution. J. Mod. Phys. 2, 379–391. doi: 10.4236/jmp.2011.25047Feynman, R. P., Hey, J. G., and Allen, R. W. (1998). Feynman Lectures on Computation. Boston, MA: Addison-Wesley Longman Publishing Co. Feynman, R. P., Leighton, R. B., Sands, M., and Hafner, E. M. (1965). The feynman lectures on physics. Am. J. Phys. 33, 750–752. doi: 10.1119/1.1972241Friston, K. (2010). The free-energy principle: a unified brain theory? Nat. Rev. Neurosci. 11, 127–138. doi: 10.1038/nrn2787Friston, K. J., and Stephan, K. E. (2007). Free-energy and the brain. Synthese 159, 417–458. doi: 10.1007/s11229-007-9237-yFukushima, K. (1980). Neocognitron: a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biol. Cybern. 36, 193–202. doi: 10.1007/BF00344251Haimovici, A., Tagliazucchi, E., Balenzuela, P., and Chialvo, D. R. (2013). Brain organization into resting state networks emerges at criticality on a model of the human connectome. Phys. Rev. Lett. 110:178101. doi: 10.1103/PhysRevLett.110.178101Hecht-Nielsen, R. (1989). “Theory of the backpropagation neural network,” in Neural Networks. International Joint Conference on Neural Networks(Washigton, DC), 593–605. Howarth, C., Peppiatt-Wildman, C. M., and Attwell, D. (2010). The energy use associated with neural computation in the cerebellum. J. Cereb. Blood Flow Metab. 30, 403–414. doi: 10.1038/jcbfm.2009.231Kirkaldy, J. S. (1965). Thermodynamics of the human brain. Biophys. J. 5, 981–986. doi: 10.1016/S0006-3495(65)86763-7La Cerra, P. (2003). The first law of psychology is the second law of thermodynamics: the energetic evolutionary model of the mind and the generation of human psychological phenomena. Hum. Nat. Rev. 3, 440–447.Landauer, R. (1961). Irreversibility and heat generation in the computing process. IBM J. Res. Dev. 5, 183–191. doi: 10.1147/rd.53.0183Laughlin, S. B., de Ruyter van Steveninck, R. R., and Anderson, J. C. (1998). The metabolic cost of neural information. Nat. Neurosci. 1, 36–41. doi: 10.1038/236Lebon, G., Jou, D., and Casas-Vázquez, J. (2008). Understanding Non-Equilibrium Thermodynamics. Berlin: Springer-Verlag. Maruyama, K., Nori, F., and Vedral, V. (2009). Colloquium: the physics of Maxwell’s demon and information. Rev. Mod. Phys. 81, 1–23. doi: 10.1103/RevModPhys.81.1Moran, R. J., Campo, P., Symmonds, M., Stephan, K. E., Dolan, R. J., and Friston, K. J. (2013). Free energy, precision and learning: the role of cholinergic neuromodulation. J. Neurosci. 33, 8227–8236. doi: 10.1523/JNEUROSCI.4255-12.2013Narayanan, N. S., Kimchi, E. Y., and Laubach, M. (2005). Redundancy and synergy of neuronal ensembles in motor cortex. J. Neurosci. 25, 4207–4216. doi: 10.1523/JNEUROSCI.4697-04.2005Plenio, M. B., and Vitelli, V. (2001). The physics of forgetting: landauer’s erasure principle and information theory. Contemp. Phys. 42, 25–60. doi: 10.1080/00107510010018916Prigogine, I. (1978). Time, structure, and fluctuations. Science 201, 777–785. doi: 10.1126/science.201.4358.777Ros, E., Carrillo, R., Ortigosa, E. M., Barbour, B., and Agís, R. (2006). Event-driven simulation scheme for spiking neural networks using lookup tables to characterize neuronal dynamics. Neural Comput. 18, 2959–2993. doi: 10.1162/neco.2006.18.12.2959Rosenblatt, F. (1958). The perceptron: a probabilistic model for information storage and organization in the brain. Psychol. Rev. 65, 386–408. doi: 10.1037/h0042519Rothstein, J. (1951). Information, measurement, and quantum mechanics. Science 114, 171–175. doi: 10.1126/science.114.2955.171Schrodinger, E. (1944). What is Life? Cambridge: Cambridge University Press. Shannon, C. E. (1948). A mathematical theory of communication. Bell Labs Tech. J. 27, 379–423. doi: 10.1002/j.1538-7305.1948.tb01338.xStephen, D. G., Dixon, J. A., and Isenhower, R. W. (2009). Dynamics of representational change: entropy, action, and cognition. J. Exp. Psychol. Hum. Percept. Perform. 35, 1811–1832. doi: 10.1037/a0014510Szilard, L. (1929). On the decrease of entropy in a thermodynamic system by the intervention of intelligent beings. Physik 53, 124–133.Varpula, S., Annila, A., and Beck, C. (2013). Thoughts about thinking: cognition according to the second law of thermodynamics. Adv. Stud. Biol. 5, 135–149.Vilar, J. M. G., and Rubí, J. M. (2001). Themodynamics “beyond” local equilibrium. Proc. Natl. Acad. Sci. U.S.A. 98, 11081–11084. doi: 10.1073/pnas.191360398参考文献可上下滑动查看原文链接https://www.frontiersin.org/articles/10.3389/fpsyg.2015.00818/full未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。  如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”