原文：http://blog.csdn.net/ecitnet/article/details/1799444
.
(Neural Networks in Plain English)
| 因为我们没有很好了解大脑，我们经常试图用最新的技术作为一种模型来解释它。在我童年的时候，我们都坚信大脑是一部电话交换机。(否 则它还能是什么呢？)我当时还看到英国著名神经学家谢林顿把大脑的工作挺有趣地比作一部电报机。更早些时候，弗罗伊德经常把大脑比作一部水力发电机，而莱 布尼茨则把它比作了一台磨粉机。我还听人说，古希腊人把大脑功能想象为一付弹弓。显然，目前要来比喻大脑的话，那只可能是一台数字电子计算机了。 －John R.Searle[注1] |
曾有很长一个时期，人工神经网络对我来说是完全神秘的东西。当然，有关它们我在文献中已经读过了，我也能描述它们的结构和工作机理，但我始终没有能“啊 哈！”一声，如同你头脑中一个难于理解的概念有幸突然得到理解时的感觉那样。我的头上好象一直有个榔头在敲着，或者像电影Animal House(中文片名为“动物屋”)中那个在痛苦地尖叫“先生，谢谢您，再给我一个啊！”的可怜家伙那样。我无法把数学概念转换成实际的应用。有时我甚至 想把我读过的所有神经网络的书的作者都抓起来，把他们缚到一棵树上，大声地向他们吼叫：“不要再给我数学了，快给我一点实际东西吧！”。但无需说，这是永远不可能发生的事情。我不得不自己来填补这个空隙...由此我做了在那种条件下唯一可以做的事情。我开始干起来了。<一笑>
生物学的神经网络-大脑
(A Biological Neural Network–The Brain)
.... 你的大脑是一块灰色的、像奶冻一样的东西。它并不像电脑中的CPU那样，利用单个的处理单元来进行工作。如果你有一具新鲜地保存到福尔马林中的尸体，用一 把锯子小心地将它的头骨锯开，搬掉头盖骨后，你就能看到熟悉的脑组织皱纹。大脑的外层象一个大核桃那样，全部都是起皱的[图0左]，这一层组织就称皮层(Cortex)。如果你再小心地用手指把整个大脑从头颅中端出来，再去拿一把外科医生用的手术刀，将大脑切成片，那么你将看到大脑有两层[图0右]: 灰色的外层(这就是“灰质”一词的来源，但没有经过福尔马林固定的新鲜大脑实际是粉红色的。) 和白色的内层。灰色层只有几毫米厚，其中紧密地压缩着几十亿个被称作neuron（神经细胞、神经元）的微小细胞。白色层在皮层灰质的下面，占据了皮层的 大部分空间，是由神经细胞相互之间的无数连接组成。皮层象核桃一样起皱，这可以把一个很大的表面区域塞进到一个较小的空间里。这与光滑的皮层相比能容纳更 多的神经细胞。人的大脑大约含有1OG（即100亿）个这样的微小处理单元;一只蚂蚁的大脑大约也有250,OOO个。
 |  |
| 图0-1 大脑半球像核桃 | 图0-2 大脑皮层由灰质和白质组成 |
图0 大脑的外形和切片形状
| 动 物 | 神经细胞的数目（数量级） |
| 蜗 牛 | 10,000 （=10^4） |
| 蜜 蜂 | 100,000 （=10^5） |
| 蜂 雀 | 10,000,000 （=10^7） |
| 老 鼠 | 100,000,000 （=10^8） |
| 人 类 | 10,000,000,000 （=10^10） |
| 大 象 | 100,000,000,000 （=10^11） |
 |
| 图1神经细胞的结构 |
在人的生命的最初9个月内，这些细胞以每分钟25,000个的惊人速度被创建出来。神经细胞和人身上任何其他类型细胞十分不同，每个神经细胞都长着一根 像电线一样的称为轴突（axon）的东西，它的长度有时伸展到几厘米［译注］，用来将信号传递给其他的神经细胞。神经细胞的结构如图1所 示。它由一个细胞体(soma)、一些树突(dendrite) 、和一根可以很长的轴突组成。神经细胞体是一颗星状球形物，里面有一个核(nucleus)。树突由细胞体向各个方向长出，本身可有分支，是用来接收信号 的。轴突也有许多的分支。轴突通过分支的末梢(terminal)和其他神经细胞的树突相接触,形成所谓的突触（Synapse，图中未画出），一个神经 细胞通过轴突和突触把产生的信号送到其他的神经细胞。
| 有趣的事实 曾经有人估算过，如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来，并拉成一根直线，可从地球连到月亮，再从月亮返回地球。如果把地球上所有人脑的轴突和树突连接起来，则可以伸展到离开们最近的星系！ |
神经细胞利用电-化学过程交换信号。输入信号来自另一些神经细胞。这些神经细胞的轴突末梢（也就是终端） 和本神经细胞的树突相遇形成突触（synapse），信号就从树突上的突触进入本细胞。信号在大脑中实际怎样传输是一个相当复杂的过程，但就我们而言，重 要的是把它看成和现代的计算机一样，利用一系列的0和1来进行操作。就是说，大脑的神经细胞也只有两种状态：兴奋（fire）和不兴奋（即抑制）。发射信 号的强度不变，变化的仅仅是频率。神经细胞利用一种我们还不知道的方法,把所有从树突上突触进来的信号进行相加，如果全部信号的总和超过某个阀值，就会激 发神经细胞进入兴奋（fire）状态，这时就会有一个电信号通过轴突发送出去给其他神经细胞。如果信号总和没有达到阀值，神经细胞就不会兴奋起来。这样的 解释有点过分简单化，但已能满足我们的目的。
能实现无监督的学习。 有 关我们的大脑的难以置信的事实之一，就是它们能够自己进行学习，而不需要导师的监督教导。如果一个神经细胞在一段时间内受到高频率的刺激，则它和输入信号 的神经细胞之间的连接强度就会按某种过程改变，使得该神经细胞下一次受到激励时更容易兴奋。这一机制是50多年以前由Donard Hebb在他写的Organination of Behavior一书中阐述的。他写道:
| “当神经细胞 A的一个轴突重复地或持久地激励另一个神经细胞B后，则其中的一个或同时两个神经细胞就会发生一种生长过程或新陈代谢式的变化，使得励 B细胞之一的A细胞，它的效能会增加” |
.
(连载之二)
| 有趣的事实 有 一个叫 Hugo de Garis的同行，曾在一个雄心勃勃的工程中创建并训练了一个包含1000,000,000个人工神经细胞的网络。这个人工神经网络被他非常巧妙地建立起 来了，它采用蜂房式自动机结构，目的就是为一机器客户定制一个叫做CAM BrainMachine(“CAM大脑机器”) 的机器（CAM就是Cellular Automata Machine的缩写）。此人曾自夸地宣称这一人工网络机器将会有一只猫的智能。许多神经网络研究人员认为他是在“登星”了，但不幸的是，雇用他的公司在 他的梦想尚未实现之前就破产了。此人现在犹他州，是犹他州大脑工程（Utah Brain Project）的领导。时间将会告诉我们他的思想最终是否能变成实际有意义的东西。[译注] |
我想你现在可能很想知道，一个人工神经细胞究竟是一个什么样的东西？但是，它实际上什么东西也不像; 它只是一种抽象。还是让我们来察看一下图2吧，这是表示一个人工神经细胞的一种形式。
图2 一个人工神经细胞
如果到目前为止你对这些还没有获得很多感觉，那也不必担心。窍门就是: 不要企图去感觉它，暂时就随波逐流地跟我一起向前走吧。在经历本章的若干处后，你最终就会开始弄清楚它们的意义。而现在，就放松一点继续读下去吧。
今后讨论中，我将尽量把数学降低到绝对少量，但学习一些数学记号对下面还是很有用的。我将把数学一点一点地喂给你，在到达有关章节时向你介绍一些新概 念。我希望采用这样的方式能使你的头脑能更舒适地吸收所有的概念，并使你在开发神经网络的每个阶段都能看到怎样把数学应用到工作中。现在首先让我们来看一 看，怎样把我在此之前告诉你的所有知识用数学方式表达出来。
神经网络的各个输入，以及为各个神经细胞的权重设置，都可以看作一个n维的向量。你在许多技术文献中常常可以看到是以这样的方式来引用的。
for(int i=0; i<n; ++i)
{
activation += x[i] * w[i];
}
在进一步读下去之前，请你一定要确切弄懂激励函数怎样计算。
表2 神经细胞激励值的计算
| 输 入 | 权 重 | 输入*权重的乘积 | 运行后总和 |
| 1 | 0.5 | 0.5 | 0.5 |
| 0 | -0.2 | 0 | 0.5 |
| 1 | -0.3 | -0.3 | 0.2 |
| 1 | 0.9 | 0.9 | 1.1 |
| 0 | 0.1 | 0 | 1.1 |
3.2 行，我知道什么是神经细胞了，但用它来干什么呢？
大脑里的生物神经细胞和其他的神经细胞是相互连接在一起的。为了创建一个人工神经网络，人工神经细胞也要以同样方式相互连接在一起。为此可以有许多不同 的连接方式，其中最容易理解并且也是最广泛地使用的，就是如图5所示那样，把神经细胞一层一层地连结在一起。这一种类型的神经网络就叫前馈网络 （feedforword network）。这一名称的由来，就是因为网络的每一层神经细胞的输出都向前馈送（feed）到了它们的下一层（在图中是画在它的上面的那一层)，直到 获得整个网络的输出为止。
图5 一个前馈网络
到此我能想象你或许已对所有这些信息感到有些茫然了。我认为，在这种情况下，我能做的最好的事情，就是向你介绍一个神经网络在现实世界中的实际应用例子，它有望使你自己的大脑神经细胞得到兴奋！不错吧？好的，下面就来了...
你可能已听到或读到过神经网络常常用来作模式识别。这是因为它们善于把一种输入状态（它所企图识别的模式）映射到一种输出状态（它曾被训练用来识别的模式）。
下面我们来看它是怎么完成的。我们以字符识别作为例子。设想有一个由8x8个格子组成的一块面板。每一个格子里放了一个小灯，每个小灯都可独立地被打开（格子变亮）或关闭（格子变黑），这样面板就可以用来显示十个数字符号。图6显示了数字“4”。
一旦神经网络体系创建成功后，它必须接受训练来认出数字 “4”。为此可用这样一种方法来完成：先把神经网的所有权重初始化为任意值。然后给它一系列的输入，在本例中，就是代表面板不同配置的输入。对每一种输入 配置，我们检查它的输出是什么，并调整相应的权重。如果我们送给网络的输入模式不是“4”， 则我们知道网络应该输出一个0。因此每个非“4”字符时的网络权重应进行调节，使得它的输出趋向于0。当代表“4”的模式输送给网络时，则应把权重调整到 使输出趋向于1。
如果你考虑一下这个网络，你就会知道要把输出增加到10是很容易的。然后通过训练，就可以使网络能识别0到9 的所有数字。但为什么我们到此停止呢？我们还可以进一步增加输出，使网络能识别字母表中的全部字符。这本质上就是手写体识别的工作原理。对每个字符，网络 都需要接受许多训练，使它认识此文字的各种不同的版本。到最后，网络不单能认识已经训练的笔迹，还显示了它有显著的归纳和推广能力。也就是说，如果所写文 字换了一种笔迹，它和训练集中所有字迹都略有不同，网络仍然有很大几率来认出它。正是这种归纳推广能力，使得神经网络已经成为能够用于无数应用的一种无价 的工具，从人脸识别、医学诊断，直到跑马赛的预测，另外还有电脑游戏中的bot（作为游戏角色的机器人）的导航，或者硬件的robot（真正的机器人）的 导航。
这种类型的训练称作有监督的学习（supervised learnig），用来训练的数据称为训练集（training set）。调整权重可以采用许多不同的方法。对本类问题最常用的方法就是反向传播（backpropagation，简称backprop或BP）方法。 有关反向传播问题，我将会在本书的后面，当你已能训练神经网络来识别鼠标走势时，再来进行讨论。在本章剩余部分我将集中注意力来考察另外的一种训练方式， 即根本不需要任何导师来监督的训练，或称无监督学习（unsupervised learnig）。
这样我已向你介绍了一些基本的知识，现在让我们来考察一些有趣的东西，并向你介绍第一个代码工程。
图7 运行中的演示程序。
怎么样，很酷吧？
| 提示（重要） 如果你跳过前面的一些章节来到这里，而你又不了解怎样使用遗 传算法，则在进一步阅读下面的内容之前，你应回到前面去补读一下有关遗传算法的内容。 |
首先让我解释人工神经网络(ANN)的体系结构。我们需要决定输入的数目、输出的数目、还有隐藏层和每个隐藏层中隐藏单元的数目。
那么，人工神经网络怎样控制扫雷机的行动呢？很好！我们把扫雷机想象成和坦克车一样，通过左右2个能转动的履带式轮轨（track）来行动的。见图案9.8。
扫雷机向前行进的速度，以及向左、向右转弯的角度，都是通过改变2个履带轮的相对速度来实现的。因此，神经网络需要2个输入，1个是左侧履带轮的速度，另一个是右侧履带轮的速度。
啊，但是...,我听见你在嘀咕了。如果网络只能输出一个１或一个０，我们怎么能控制车轨移动的快慢呢？ 你是对的；如果利用以前描述的阶跃函数来决定输出，我们就根本无法控制扫雷机实际移动。幸好，我有一套戏法，让我卷起袖子来，把激励函数的输出由阶跃式改 变成为在０－１之间连续变化的形式，这样就可以供扫雷机神经细胞使用了。为此，有几种函数都能做到这样，我们使用的是一个被称为逻辑斯蒂S形函数 （logistic sigmoid function）[译注1]。该函数所实现的功能，本质上说，就是把神经细胞原有的阶跃式输出曲线钝化为一光滑曲线，后者绕y轴0.5处点对称[译注 2]，如图9所示。
[译注1] logistic有’计算的’或’符号逻辑的’等意思在内，和’逻辑的(logic)’意义不同。
[译注2] 点对称图形绕对称点转180度后能与原图重合。若f(x)以原点为点对称,则有f(-x)=-f(x)
图9 S形曲线。
注：“S型”的英文原名Sigmoid 或Sigmoidal 原来是根据希腊字“Sigma”得来的，但非常巧它也可以说成是曲线的一种形状。
图7。10 不同的S形响应曲线。
上面我们已经把输出安排好了，现在我们来考虑输入，确定网络需要什么样的输入？为此，我们必须想象一下扫雷机的具体细节：需要什么样的信息才能使它朝地雷前进？你可能想到的第一个输入信息清单是：
- 扫雷机的位置(x1,y1)
- 与扫雷机最靠近的地雷的位置(x2,y2)
- 代表扫雷机前进方向的向量(x3,y3)
只要作少量的额外考虑，就能够把输入的个数减少为4，这就是图11中所画出的两个向量的４个参数。
把神经网络的所有输入进行规范化是一种好想法。这里的意思并不是说每个输入都要改变大小使它们都在0～1间，而是说每一个输入应该受到同等重视。例如，拿 我们已经讨论过的扫雷机输入为例。瞄准向量或视线向量（look-at vector）总是一个规范化向量，即长度等于1，分量x和y都在0～1间。但从扫雷机到达其最近地雷的向量就可能很大，其中的一个分量甚至有可能和窗体 的宽度或高度一样大。如果这个数据以它的原始状态输入到网络，网络对有较大值的输入将显得更灵敏，由此就会使网络性能变差。因此，在信息输入到神经网络中 去之前，数据应预先定比（scaled）和标准化（standardized），使它们大小相似（similar）。在本特例中，由扫雷机引到与其最接近 地雷的向量需要进行规范化（normalized）。这样可以使扫雷机的性能得到改良。
图11 选择输入。
| 小技巧： 有时，你把输入数据重新换算（rescale）一下，使它以0点为中心，就能从你的神经网络获得最好的性能。这一小窍门在你设计网络时永远值得一试。但我在扫雷机工程中没有采用这一方法，这是因为我想使用一种更直觉的方法。 |
到此我们已把输入、输出神经细胞的数目和种类确定下来了，下一步是确定隐藏层的数目，并确定每个隐藏层中神经细胞必须有多少？但遗憾的是，还没有一种确 切的规则可用来计算这些。它们的开发又需要凭个人的“感觉”了。某些书上和文章中确实给过一些提纲性的东西,告诉你如何去决定隐藏神经细胞个数，但业内专 家们的一致看法是：你只能把任何建议当作不可全信的东西，主要还要靠自己的不断尝试和失败中获得经验。但你通常会发现，你所遇到的大多数问题都只要用一个 隐藏层就能解决。所以，本领的高低就在于如何为这一隐藏层确定最合适的神经细胞数目了。显然，个数是愈少愈好，因为我前面已经提及，数目少的神经细胞能够 造就快速的网络。通常，为了确定出一个最优总数，我总是在隐藏层中采用不同数目的神经细胞来进行试验。我在本章所编写的神经网络工程的.
.
(连载之四)
在CNeuralNet.h 文件中，我们定义了人工神经细胞的结构、定义了人工神经细胞的层的结构、以及人工神经网络本身的结构。首先我们来考察人工神经细胞的结构。
{
// 进入神经细胞的输入个数
int m_NumInputs;
// 为每一输入提供的权重
vector<double> m_vecWeight;
//构造函数
SNeuron(int NumInputs);
};
(
// 我们要为偏移值也附加一个权重，因此输入数目上要 +1
for (int i=0; i<NumInputs+1; ++i)
{
// 把权重初始化为任意的值
m_vecWeight.push_back(RandomClamped());
}
}
由上可以看出，构造函数把送进神经细胞的输入数目NumInputs作为一个变元，并为每个输入创建一个随机的权重。所有权重值在-1和1之间。
这是什么？ 我听见你在说。这里多出了一个权重！不 错，我很高兴看到你能注意到这一点，因为这一个附加的权重十分重要。但要解释它为什么在那里，我必须更多地介绍一些数学知识。回忆一下你就能记得，激励值 是所有输入*权重的乘积的总和，而神经细胞的输出值取决于这个激励值是否超过某个阀值(t)。这可以用如下的方程来表示:
神经细胞层SNeuronLayer的结构很简单；它定义了一个如图13中所示的由虚线包围的神经细胞SNeuron所组成的层。
{
// 本层使用的神经细胞数目
int m_NumNeurons;
// 神经细胞的层
vector<SNeuron> m_vecNeurons;
SNeuronLayer(int NumNeurons, int NumInputsPerNeuron);
}；
{
private:
int m_NumInputs;
vector<SNeuronLayer> m_vecLayers;
void CreateNet();
// 从神经网络得到（读出）权重
vector<double> GetWeights()const;
// 返回网络的权重的总数
int GetNumberOfWeights()const;
void PutWeights(vector<double> &weights);
这一函数所做的工作与函数GetWeights所做的正好相反。当遗传算法执行完一代时，新一代的权重必须重新插入神经网络。为我们完成这一任务的是PutWeight方法。
// S形响应曲线
inline double Sigmoid(double activation, double response);
当已知一个神经细胞的所有输入*重量的乘积之和时，这一方法将它送入到S形的激励函数。
// 根据一组输入，来计算输出
vector<double> Update(vector<double> &inputs);
void CNeuralNet::CreateNet()
{
// 创建网络的各个层
if (m_NumHiddenLayers > 0)
{
//创建第一个隐藏层［译注］
m_vecLayers.push_back(SNeuronLayer(m_NeuronsPerHiddenLyr,
m_NumInputs));
for( int i=O; i<m_NumHiddenLayers-l; ++i)
{
m_vecLayers.push_back(SNeuronLayer(m_NeuronsPerHiddenLyr，
m_NeuronsPerHiddenLyr));
}
［译注］如果允许有多个隐藏层，则由接着for循环即能创建其余的隐藏层。
// 创建输出层
m_vecLayers.push_back(SNeuronLayer(m_NumOutput,m_NeuronsPerHiddenLyr));
}
{
// 创建输出层
m_vecLayers.push_back(SNeuronLayer(m_NumOutputs, m_NumInputs));
}
}
4.4.3.2 CNeuralNet::Update（神经网络的更新方法）
{
// 保存从每一层产生的输出
vector<double> outputs;
if (inputs.size() != m_NumInputs)
{
// 如果不正确，就返回一个空向量
return outputs;
}
// 对每一层,...
for (int i=0; i<m_NumHiddenLayers+1; ++i)
{
if (i>O)
{
inputs = outputs;
}
outputs.clear();
cWeight = 0;
// 对每个神经细胞,求输入*对应权重乘积之总和。并将总和抛给S形函数,以计算输出
for (int j=0; j<m_vecLayers[i].m_NumNeurons; ++j)
{
double netinput = 0;
int NumInputs = m_vecLayers[i].m_vecNeurons[j].m_NumInputs;
// 对每一个权重
for (int k=O; k<NumInputs-l; ++k)
{
// 计算权重*输入的乘积的总和。
netinput += m_vecLayers[i].m_vecNeurons[j].m_vecWeight[k] *
inputs[cWeight++];
}
// 加入偏移值
netinput += m_vecLayers[i].m_vecNeurons[j].m_vecWeight[NumInputs-1] *
CParams::dBias;
// 激励总值首先要通过S形函数的过滤，才能得到输出
outputs.push_back(Sigmoid(netinput,CParams::dActivationResponse)); cWeight = 0:
}
}
}
.
(连载之五)
在本书的开始几章中，你已经看到过怎样用各种各样的方法为遗传算法编码。但当时我并没有向你介绍过
一个用实数编码的具体例子，因为我知道我要留在这里向你介绍。我曾经讲到，为了设计一个前馈型神经网络，
编码是很容易的。我们从左到右读每一层神经细胞的权重，读完第一个隐藏层，再向上读它的下一层，把所读
到的数据依次保存到一个向量中，这样就实现了网络的编码。因此，如果我们有图14所示的网络，则它的权重
编码向量将为:
个权重，否则你肯定无法获得你所需要的结果。
4.6 遗传算法（The Genetic Algorithm）
到此，所有的权重已经象二进制编码的基因组那样，形成了一个串，我们就可以象本书早先讨论过的那样
来应用遗传算法了。遗传算法（GA）是在扫雷机已被允许按照用户指定的帧数（为了某种缘故, 我下面更喜欢
将帧数称作滴答数，英文是ticks）运转后执行的。你可以在ini文件中找到这个滴答数（iNumTicks）的设置。
下面是基因组结构体的代码。这些对于你应该是十分面熟的东西了。
Struct SGenome
{
vector <double> vecWeights;
double dFitness;
SGenome():dFitness(0) {}
SGenome(vector <double> w, double f):vecWeights(w),dFitness(f){}
//重载'<'的排序方法
friend bool operator<(const SGenome& lhs, const SGenome& rhs)
{
return (lhs.dFitness < rhs.dFitness);
}
};
操作。但突变操作则稍微有些不同，这里的权重值是用一个最大值为dMaxPerturbation的随机数来搔扰的。这一
参数dMaxPerturbation在ini文件中已作了声明。另外，作为浮点数遗传算法，突变率也被设定得更高些。在本工
程中，它被设成为0.1。
{
// 遍历权重向量，按突变率将每一个权重进行突变
for (int i=0; i<chromo.size(); ++i)
{
// 我们要骚扰这个权重吗？
if (RandFloat() < m_dMutationRate)
{
// 为权重增加或减小一个小的数量
chromo[i] += (RandomClamped() * CParams::dMaxPerturbatlon);
}
}
}
就能给你留下许多余地，可让你利用以前学到的技术来改进它。就象大多数别的工程一样，v1.O版只用轮盘赌
方式选精英，并采用单点式杂交。
当程序运行时，权重可以被演化成为任意的大小，它们不受任何形式的限制。
4.7 扫雷机类（The CMinesweeper Class）
这一个类用来定义一个扫雷机。就象上一章描述的登月艇类一样，扫雷机类中有一个包含了扫雷机位置、
速度、以及如何转换方向等数据的纪录。类中还包含扫雷机的视线向量（look-at vector）；它的2个分量被用
来作为神经网络的2个输入。这是一个规范化的向量，它是在每一帧中根据扫雷机本身的转动角度计算出来的，
它指示了扫雷机当前是朝着哪一个方向，如图11所示。
{
private:
// 扫雷机的神经网络
CNeuralNet m_ItsBrain;
SVector2D m_vPosition;
// 扫雷机面对的方向
SVector2D m_vLookAt;
double m_dRotation;
double m_lTrack,
m_rTrack;
这些就是用来决定扫雷机的移动速率和转动角度的数值。
double m_dFitness;
double m_dScale;
int m_iClosestMine;
而m_iClosestMine就是代表最靠近扫雷机的那个地雷在该向量中的位置的下标。
bool Update(vector<SVector2D> &mines);
void WorldTransform(vector<SPoint> &sweeper);
// 返回一个向量到最邻近的地雷
5Vector2D GetClosestMine(vector<SVector2D> &objects);
int CheckForMine(vector<SVector2D> &mines, double size);
void Reset();
SVector2D Position()const { return m_vPosition; }
void IncrementFitness(double val) { m_dFitness += val; }
double Fitness()const { return m_dFitness; }
void PutWeights(vector<double> &w) { m_ItsBrain.PutWeights(w); }
int GetNumberOfWeights()const
{ return m_ItsBrain.GetNumberOfWeights(); }
};
4.7.1 The CMinesweeper::Update Function（扫雷机更新函数）
都要被调用，以更新扫雷机神经网络。让我们考察这函数的肚子里有些什么货色:
//这一向量用来存放神经网络所有的输入
vector<double> inputs;
SVector2D vClosestMine = GetClosestMine(mines);
Vec2DNormalize(vClosestMine);
的长度等于1。）但扫雷机的视线向量（look-at vector）这时不需要再作规范化，因为它的长度已经等于1了。
由于两个向量都有效地化成了同样的大小范围，我们就可以认为输入已经是标准化了，这我前面已讲过了。
//加入扫雷机->最近地雷之间的向量
Inputs.push_back(vClosestMine.x);
Inputs.push_back(vCIosestMine.y);
Inputs.push_back(m_vLookAt.x);
Inputs.push_back(m_vLookAt.y);
vector<double> output = m_ItsBrain.Update(inputs);
用这些信息来更新扫雷机网络，并返回一个std::vector向量作为输出。
if (output.size() < CParams::iNumOutputs)
{
return false;
}
m_lTrack = output[0];
m_rTrack = output[1];
到扫雷机左、右履带轮轨上的力。
double RotForce = m_lTrack - m_rTrack;
Clamp(RotForce, -CParams::dMaxTurnRate, CParams::dMaxTurnRate);
m_dSpeed = (m_lTrack + m_rTrack);
扫雷机车的转动力是利用施加到它左、右轮轨上的力之差来计算的。并规定，施加到左轨道上的力减去施
加到右轨道上的力，就得到扫雷机车辆的转动力。然后就把此力施加给扫雷机车，使它实行不超过ini文件所规
定的最大转动率的转动。而扫雷机车的行进速度不过就是它的左侧轮轨速度与它的右侧轮轨速度的和。既然我
们知道了扫雷机的转动力和速度，它的位置和偏转角度也就都能更新了。
m_dRotation += RotForce;
// 更新视线角度
m_vLookAt.x = -sin(m_dRotation);
m_vLookAt.y = cos(m_dRotation);
m_vPosition += (m_vLookAt* m_dSpeed);
If (m_vPosition.x > CParams::WindowWidth) m_vPosition.x = 0;
If (m_vPosition.x < 0) m_vPosition.x = CParams::WindowWidth;
If (m_vPosition.y > CParams::WindowHeight) m_vPosition.y = 0;
If (m_vPosition.y < D) m_vPosition.y = CParams::WindowHeight;
为了使事情尽可能简单，我已让扫雷机在碰到窗体边框时就环绕折回(wrap)。采用这种方法程序就不再需
要做任何碰撞-响应方面的工作。环绕一块空地打转对我们人来说是一桩非常不可思议的动作，但对扫雷机，这
就像池塘中的鸭子。
}
CController类是和一切都有联系的类。图15指出了其他的各个类和CController类的关系。
下面就是这个类的定义:
class CController
{
private:
// 基因组群体的动态存储器（一个向量）
vector<SGenome> m_vecThePopulation;
图15 minesweeper工程的程序流程图
// 保存扫雷机的向量
vector<CMinesweeper> m_vecSweepers;
// 保存地雷的向量
vector<SVector2D> m_vecMines;
CGenAIg* m_pGA;
int m_NumSweepers;
int m_NumMines;
int m_NumWeightsInNN;
vector<SPoint> m_SweeperVB;
vector<SPoint> m_MineVB;
vector<double> m_vecAvFitness;
// 存放每一代的最高适应性分
vector<double> m_vecBestFitness;
HPEN m_RedPen;
HPEN m_BluePen;
HPEN m_GreenPen;
HPEN m_OldPen;
HWND m_hwndMain;
bool m_bFastRender;
// 每一代的帧数（滴答数）
int m_iTicks;
int m_iGenerations;
int cxClient，cyClient;
void PlotStats(HDC surface);
SVector2D vPos);
bool FastRender() { return m_bFastRender; }
void FastRender(bool arg){ m_bFastRender = arg; }
void FastRenderToggle() { m_bFastRender = !m_bFastRender; }
};
统计神经网络中所使用的权重的总数，然后此数字即被利用来初始化遗传算法类的一个实例。
从遗传算法对象中随机提取染色体(权重)并(利用细心的脑外科手术)插入到扫雷机的经网络中。
创建了大量的地雷并被随机地散播到各地。
为绘图函数创建了所有需要用到的GDI画笔。
为扫雷机和地雷的形状创建了顶点缓冲区。
所有的一切现都已完成初始化，由此Update方法就能在每一帧中被调用来对扫雷机进行演化。
4.8.1 CController::Update Method（控制器的更新方法）
的 前一半通过对所有扫雷机进行循环，如发现某一扫雷机找到了地雷，就update该扫雷机的适应性分数。由于m_vecThePopulation包含了所 有基因组的拷贝，相关的适应性分数也要在这时进行调整。如果为完成一个代（generation）所需要的帧数均已通过，本方法就执行一个遗传算法的时代 (epoch)来产生新一代的权重。这些
权重被用来代替扫雷机神经网络中原有的旧的权重，使扫雷机的每一个参数被重新设置，从而为进入新一generation做好准备。
bool CController::Update()
{
// 扫雷机运行总数为CParams::iNumTicks次的循环。在此循环周期中，扫雷机的神经网络
// 不断利用它周围特有的环境信息进行更新。而从神经网络得到的输出，使扫雷机实现所需的
// 动作。如果扫雷机遇见了一个地雷，则它的适应性将相应地被更新，且同样地更新了它对应
// 基因组的适应性。
if (m_iTicks++ < CParams::iNumTicks)
{
for (int i=O; i<m_NumSweepers; ++i)
{
//更新神经网络和位置
if (!m_vecSweepers[i].Update(m_vecMines))
{
//处理神经网络时出现了错误，显示错误后退出
MessageBox(m_hwndMain, 'Wrong amount of NN inputs!",
"Error", MB_OK);
return false;
}
int GrabHit = m_vecSweepers[i].CheckForMine(m_vecMines，
CParams::dMineScale);
{
// 扫雷机已找到了地雷，所以要增加它的适应性分数
m_vecSweepers[i].IncrementFitness();
m_vecMines[GrabHit] = SVector2D(RandFloat() * cxClient，
RandFloat() * cyClient);
}
m-vecThePopulation[i].dFitness = m_vecSweepers[i].Fitness();
}
}
// 一个代已被完成了。
// 进入运行遗传算法并用新的神经网络更新扫雷机的时期
else
{
// 更新用在我们状态窗口中状态
m_vecAvFitness.push_back(m_pGA->AverageFitness());
m_vecBestFitness.push_back(m_pGA->BestFitness());
++m_iGenerations;
// 将帧计数器复位
m_iTicks = 0;
m-vecThePopulation = m_pGA->Epoch(m_vecThePopulation);
// 并将它们的位置进行复位，等
for(int i=O; i<m_NumSweepers; ++i)
{m_vecSweepers[i].m_ItsBrain.PutWeights(m_vecThePopulation[i].vecWeights);
}
}
returen true;
}
并根据情况增加扫雷机适应值的得分。
2．从扫雷机神经网络提取权重向量。
3．用遗传算法去演化出一个新的网络权重群体。
4．把新的权重插入到扫雷机神经网络。
5．转到第1步进行重复，直到获得理想性能时为止。
最后，表3列出了Smart Sweepers工程 v1.0版所有缺省参数的设置值。
| 神经网络 | |
| 参 数 | 设 置 值 |
| 输入数目 | 4 |
| 输出数目 | 2 |
| 隐藏层数目 | 1 |
| 隐藏层神经元数目 | 10 |
| 激励响应 | 1 |
| 遗 传 算 法 | |
| 参 数 | 设 置 值 |
| 群体大小 | 30 |
| 选择类型 | 旋转轮 |
| 杂交类型 | 单点 |
| 杂交率 | 0.7 |
| 突变率 | 0.1 |
| 精英设置（on/off） | On |
| 精英数目（N/copies） | 4/1 |
| 总 体 特 性 | |
| 参 数 | 设 置 值 |
| 每时代的帧数 | 2000 |
4.9 运行此程序 (Running the Program)
当你运行程序时，“F”键用来切换2种不同的显示状态，一种是显示扫雷机怎样学习寻找地雷，一种是
示在运行期中产生的最优的与平均的适当性分数的统计图表。 当显示图表时，程序将会加速运行。
.
(连载之六)
尽管扫雷机学习寻找地雷的本领十分不错，这里我仍有两件事情要告诉你，它们能进一步改进扫雷机的性能。
首先，单点crossover算子留下了许多可改进的余地。按照它的规定，算子是沿着基因组长度任意地方切开的，这样常有可能使个别神经细胞的基因组在权重的中间被一刀两段地分开。
里，杂交算子可以沿向量长度的任意一处切开，这样，就会有极大几率在某个神经细胞（如第二个）的权重中
间断开，也就是说，在权重0.6和-0.1之间某处切开。这可能不会是我们想要的，因为，如果我们把神经细胞作
为一个完整的单元来看待，则它在此以前所获得的任何改良就要被骚扰了。事实上，这样的杂交操作有可能非
常非常象断裂性突变（disruptive mutation）操作所起的作用。
就是在第3、4或第6、7的两个基因之间切开，如小箭头所示。 为了实现这一算法，我已在CNeuralNet类中补
充了另一个切割方法: CalculateSplitPoints。这一方法创建了一个用于保存所有网络权重边界的矢量，它的代
码如下:
{
vector<int> SplitPoints;
int WeightCounter = 0;
// 对每一层
for (int i=O; i<m_NumHiddenLayers + 1; ++i)
{
// 对每一个神经细胞
for (int j=O; j<m_vecLayers[i].m_NumNeurons; ++j)
{
// 对每一个权重
for (int k=O; k<m_vecLayers[i].m_vecNeurons[j].m_NumInputs; ++k)
{
++WeightCounter;
}
}
}
}
在一个名叫m_vecSplitPoints的std::vector向量中。然后遗传算法就利用这些断裂点来实现两点杂交操作，其代
码如下:
const vector<double> &dad,
vector<double> &babyl,
vector<double> &baby2)
{
// 如果超过了杂交率，就不再进行杂交，把2个上代作为2个子代输出
// 如果2个上辈相同，也把它们作为2个下辈输出
if ( (RandFloat() > m_dCrossoverRate) || (mum == dad))
{
baby1 = mum;
baby2 = dad;
}
int index1 = RandInt(0, m_vecSplitPoints.size()-2);
int index2 = RandInt(Index1, m_vecSplitPoints.size()-1);
int cp2 = m_vecSplitPoints[Index2];
for (int i=0; i<mum.size(); ++i)
{
if ( (i<cp1) || (i>=cp2) )
{
// 如果在杂交点外，保持原来的基因
babyl.push_back(mum[i]);
baby2.push_back(dad[i]);
}
{
// 把中间段进行交换
baby1.push_back(dad[1]);
baby2.push_back(mum[1]);
}
}
}
一点分裂基因组，能得到更好的结果。
网络使用了4个输入参数: ２个用于表示扫雷机视线方向的向量,另外２个用来指示扫雷机与其最靠近的地雷的方
向的向量。然而，有一种办法，可以把这些参数的个数减少到只剩下一个。
向右转动多大的一个角度这一简单的信息就够了(如果你已经考虑到了这一点，那我在这里要顺便向您道贺了)。
由于我们已经计算了扫雷机的视线向量和从它到最邻近地雷的向量，再来计算它们之间的角度(θ)应是一件极为
简单的事情 – 这就是这两个向量的点积，这我们在第6章“使登陆月球容易一点”中已讨论过。见图17。
量函数返回一个向量相对于另一个向量的正负号。该函数的原型如下所示:
按顺时针方向转的，则函数返回 +1；如果v1至v2是按逆时针方向转，则函数返回 -1。
把点积和Vec2Dsign二者联合起来，就能把输入的精华提纯出来，使网络只需接受一个输入就行了。下面
就是新的CMinesweeper::Update函数有关段落的代码形式:
// 计算到最邻近地雷的向量
SVector2D vClosestMine = GetClosestMine(mines);
Vec2DNormalize(vClosestMine);
// 计算扫雷机视线向量和它到最邻近地雷的向量的点积。它给出了我们要面对
// 最邻近地雷所需转动的角度
double dot = Vec2DDot(m_vLookAt, vClosestMine);
int sign = Vec2DSign(m_vLookAt, vClosestMine);
运行一下光盘Chapter7/Smart Sweepers v1.1目录下的可执行程序executable，你就知道经过以上２个改
进，能为演化过程提速多少。
需要注意的一桩重要事情是，带有4个输入的网络要花很长时间进行演化，因为它必须在各输入数据之间找
出更多的关系才能确定它应如何行动。事实上，网络实际就是在学习怎么做点积并确定它的正负极性。因此，当
你设计自己的网络时，你应仔细权衡一下，是由你自己预先来计算许多输入数据好呢(它将使CPU负担增加，但
导致进化时间加快)还是让网络来找输入数据之间的复杂关系好(它将使演化时间变长，但能使CPU减少紧张)？
我希望你已享受到了你第一次攻入神经网络这一奇妙世界的快乐。我打赌你一定在为如此简单就能使用它
们而感到惊讶吧，对吗？我想我是猜对了。
在下面几章里我将要向你介绍更多的知识，告诉你一些新的训练手段和演绎神经网络结构的更多的方法。
但首先请你利用本章下面的提示去玩一下游戏是有意义的。
1。 在v1.0中，不用look-at向量作为输入，而改用旋转角度θ作为输入，由此就可以使网络的输入个数减少
成为1个。请问这对神经网络的演化有什么影响？你对此的看法怎样？
2。 试以扫雷机的位置（x1,y1）、和扫雷机最接近的地雷的位置（x2,y2）、以及扫雷机前进方向的向量
（x3,y3）等6个参数作为输入，来设计一个神经网络，使它仍然能够演化去寻找地雷。
3。 改变激励函数的响应。试用O.1 - O.3 之间的低端值，它将产生和阶跃函数非常相像的一种激励函数。
然后再试用高端值，它将给出较为平坦的响应曲线。考察这些改变对演化进程具有什么影响？
4。 改变神经网络的适应性函数，使得扫雷机不是去扫除地雷，而是要演化它，使它能避开地雷。
5。 理一理清楚有关遗传算法的各种不同设置和运算中使你感到模糊的东西！
6。 加入其他的对象类型，比如人。给出一个新环境来演化扫雷机，使它能避开人，但照样能扫除地雷。
（这可能没有你想象那么容易！)
神经网络编程入门
Posted on 2011-03-07 22:30 苍梧 阅读(48399) 评论(22) 编辑 收藏本文主要内容包括： (1) 介绍神经网络基本原理，(2)AForge.NET实现前向神经网络的方法，(3) Matlab实现前向神经网络的方法 。
第0节、引例
本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在http://en.wikipedia.org/wiki/Iris_flower_data_set 找到。这里简要介绍一下Iris数据集：
有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。不同品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。
一种解决方法是用已有的数据训练一个神经网络用作分类器。
如果你只想用C#或Matlab快速实现神经网络来解决你手头上的问题，或者已经了解神经网络基本原理，请直接跳到第二节——神经网络实现。
第一节、神经网络基本原理
1. 人工神经元(Artificial Neuron )模型
人工神经元是神经网络的基本元素，其原理可以用下图表示：
图1. 人工神经元模型
图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值 ( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为：
图中yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为：
若用X表示输入向量，用W表示权重向量，即：
X = [ x0 , x1 , x2 , ....... , xn ]
则神经元的输出可以表示为向量相乘的形式：
若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。
图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。
2. 常用激活函数
激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。
(1) 线性函数( Liner Function )
(2) 斜面函数( Ramp Function )
(3) 阈值函数( Threshold Function )
以上3个激活函数都属于线性函数，下面介绍两个常用的非线性激活函数。
(4) S形函数( Sigmoid Function )
该函数的导函数：
(5) 双极S形函数
该函数的导函数：
S形函数与双极S形函数的图像如下：
图3. S形函数与双极S形函数图像
双极S形函数与S形函数主要区别在于函数的值域，双极S形函数值域是(-1,1)，而S形函数值域是(0,1)。
由于S形函数与双极S形函数都是可导的(导函数是连续函数)，因此适合用在BP神经网络中。（BP算法要求激活函数可导）
3. 神经网络模型
神经网络是由大量的神经元互联而构成的网络。根据网络中神经元的互联方式，常见网络结构主要可以分为下面３类：
(1) 前馈神经网络 ( Feedforward Neural Networks )
前馈网络也称前向网络。这种网络只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号，因此被称为前馈网络。感知机( perceptron)与BP神经网络就属于前馈网络。
图4 中是一个3层的前馈神经网络，其中第一层是输入单元，第二层称为隐含层，第三层称为输出层（输入单元不是神经元，因此图中有2层神经元）。
图4. 前馈神经网络
对于一个3层的前馈神经网络N，若用X表示网络的输入向量，W1~W3表示网络各层的连接权向量，F1~F3表示神经网络3层的激活函数。
那么神经网络的第一层神经元的输出为：
O1 = F1( XW1 )
第二层的输出为：
O2 = F2 ( F1( XW1 ) W2 )
输出层的输出为：
O3 = F3( F2 ( F1( XW1 ) W2 ) W3 )
若激活函数F1~F3都选用线性函数，那么神经网络的输出O3将是输入X的线性函数。因此，若要做高次函数的逼近就应该选用适当的非线性函数作为激活函数。
(2) 反馈神经网络 ( Feedback Neural Networks )
反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有：Elman网络和Hopfield网络。
图5. 反馈神经网络
(3) 自组织网络 ( SOM ,Self-Organizing Neural Networks )
自组织神经网络是一种无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。
图6. 自组织网络
4. 神经网络工作方式
神经网络运作过程分为学习和工作两种状态。
(1)神经网络的学习状态
网络的学习主要是指使用学习算法来调整神经元间的联接权，使得网络输出更符合实际。学习算法分为有导师学习( Supervised Learning )与无导师学习( Unsupervised Learning )两类。
有导师学习算法将一组训练集 ( training set )送入网络，根据网络的实际输出与期望输出间的差别来调整连接权。有导师学习算法的主要步骤包括：
1） 从样本集合中取一个样本（Ai，Bi）；
2） 计算网络的实际输出O；
3） 求D=Bi-O；
4） 根据D调整权矩阵W；
5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。
BP算法就是一种出色的有导师学习算法。
无导师学习抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。
Hebb学习律是一种经典的无导师学习算法。
(2) 神经网络的工作状态
神经元间的连接权不变，神经网络作为分类器、预测器等使用。
下面简要介绍一下Hebb学习率与Delta学习规则 。
(3) 无导师学习算法：Hebb学习率
Hebb算法核心思想是，当两个神经元同时处于激发状态时两者间的连接权会被加强，否则被减弱。
为了理解Hebb算法，有必要简单介绍一下条件反射实验。巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。以后如果响铃但是不给食物，狗也会流口水。
图7. 巴甫洛夫的条件反射实验
受该实验的启发，Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另 一个神经元，那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越 弱。
Hebb学习律可表示为：
其中wij表示神经元j到神经元i的连接权，yi与yj为两个神经元的输出，a是表示学习速度的常数。若yi与yj同时被激活，即yi与yj同时为正，那么Wij将增大。若yi被激活，而yj处于抑制状态，即yi为正yj为负，那么Wij将变小。
(4) 有导师学习算法：Delta学习规则
Delta学习规则是一种简单的有导师学习算法，该算法根据神经元的实际输出与期望输出差别来调整连接权，其数学表示如下：
其中Wij表示神经元j到神经元i的连接权，di是神经元i的期望输出，yi是神经元i的实际输出，xj表示神经元j状态，若神经元j处于激活态则xj为 1，若处于抑制状态则xj为0或－1（根据激活函数而定）。a是表示学习速度的常数。假设xi为1，若di比yi大，那么Wij将增大，若di比yi小， 那么Wij将变小。
Delta规则简单讲来就是：若神经元实际输出比期望输出大，则减小所有输入为正的连接的权重，增大所有输入为负的连接的权重。反之，若神经元实际输出比 期望输出小，则增大所有输入为正的连接的权重，减小所有输入为负的连接的权重。这个增大或减小的幅度就根据上面的式子来计算。
(5)有导师学习算法：BP算法
采用BP学习算法的前馈型神经网络通常被称为BP网络。
图8. 三层BP神经网络结构
BP网络具有很强的非线性映射能力，一个3层BP神经网络能够实现对任意非线性函数进行逼近（根据Kolrnogorov定理）。一个典型的3层BP神经网络模型如图7所示。
BP网络的学习算法占篇幅较大，我打算在下一篇文章中介绍。
第二节、神经网络实现
1. 数据预处理
在训练神经网络前一般需要对数据进行预处理，一种重要的预处理手段是归一化处理。下面简要介绍归一化处理的原理与方法。
(1) 什么是归一化？
数据归一化，就是将数据映射到[0,1]或[-1,1]区间或更小的区间，比如(0.1,0.9) 。
(2) 为什么要归一化处理？
<1>输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长。
<2>数据范围大的输入在模式分类中的作用可能会偏大，而数据范围小的输入作用就可能会偏小。
<3> 由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域。例如神经网络的输出层若采用S形激活函数，由于S形 函数的值域限制在(0,1)，也就是说神经网络的输出只能限制在(0,1)，所以训练数据的输出就要归一化到[0,1]区间。
<4>S形激活函数在(0,1)区间以外区域很平缓，区分度太小。例如S形函数f(X)在参数a=1时，f(100)与f(5)只相差0.0067。
(3) 归一化算法
一种简单而快速的归一化算法是线性转换算法。线性转换算法常见有两种形式：
<1>
y = ( x - min )/( max - min )
其中min为x的最小值，max为x的最大值，输入向量为x，归一化后的输出向量为y 。上式将数据归一化到 [ 0 , 1 ]区间，当激活函数采用S形函数时（值域为(0,1)）时这条式子适用。
<2>
y = 2 * ( x - min ) / ( max - min ) - 1
这条公式将数据归一化到 [ -1 , 1 ] 区间。当激活函数采用双极S形函数（值域为(-1,1)）时这条式子适用。
(4) Matlab数据归一化处理函数
Matlab中归一化处理数据可以采用premnmx ， postmnmx ， tramnmx 这3个函数。
<1> premnmx
语法：[pn,minp,maxp,tn,mint,maxt] = premnmx(p,t)
参数：
pn： p矩阵按行归一化后的矩阵
minp，maxp：p矩阵每一行的最小值，最大值
tn：t矩阵按行归一化后的矩阵
mint，maxt：t矩阵每一行的最小值，最大值
作用：将矩阵p，t归一化到[-1,1] ，主要用于归一化处理训练数据集。
<2> tramnmx
语法：[pn] = tramnmx(p,minp,maxp)
参数：
minp，maxp：premnmx函数计算的矩阵的最小，最大值
pn：归一化后的矩阵
作用：主要用于归一化处理待分类的输入数据。
<3> postmnmx
语法： [p,t] =postmnmx(pn,minp,maxp,tn,mint,maxt)
参数：
minp，maxp：premnmx函数计算的p矩阵每行的最小值，最大值
mint，maxt：premnmx函数计算的t矩阵每行的最小值，最大值
作用：将矩阵pn，tn映射回归一化处理前的范围。postmnmx函数主要用于将神经网络的输出结果映射回归一化前的数据范围。
2. 使用Matlab实现神经网络
使用Matlab建立前馈神经网络主要会使用到下面3个函数：
newff ：前馈网络创建函数
train：训练一个神经网络
sim ：使用网络进行仿真
下面简要介绍这3个函数的用法。
(1) newff函数
<1>newff函数语法
newff函数参数列表有很多的可选参数，具体可以参考Matlab的帮助文档，这里介绍newff函数的一种简单的形式。
语法：net = newff ( A, B, {C} ,‘trainFun’)
参数：
A：一个n×2的矩阵，第i行元素为输入信号xi的最小值和最大值；
B：一个k维行向量，其元素为网络中各层节点数；
C：一个k维字符串行向量，每一分量为对应层神经元的激活函数；
trainFun ：为学习规则采用的训练算法。
<2>常用的激活函数
常用的激活函数有：
a) 线性函数 (Linear transfer function)
f(x) = x
该函数的字符串为’purelin’。
b) 对数S形转移函数( Logarithmic sigmoid transfer function )
该函数的字符串为’logsig’。
c) 双曲正切S形函数 (Hyperbolic tangent sigmoid transfer function )
也就是上面所提到的双极S形函数。
该函数的字符串为’ tansig’。
Matlab的安装目录下的toolbox\nnet\nnet\nntransfer子目录中有所有激活函数的定义说明。
<3>常见的训练函数
常见的训练函数有：
traingd ：梯度下降BP训练函数(Gradient descentbackpropagation)
traingdx ：梯度下降自适应学习率训练函数
<4>网络配置参数
一些重要的网络配置参数如下：
net.trainparam.goal ：神经网络训练的目标误差
net.trainparam.show ： 显示中间结果的周期
net.trainparam.epochs ：最大迭代次数
net.trainParam.lr ： 学习率
(2) train函数
网络训练学习函数。
语法：[ net, tr, Y1, E ] = train( net, X, Y )
参数：
X：网络实际输入
Y：网络应有输出
tr：训练跟踪信息
Y1：网络实际输出
E：误差矩阵
(3) sim函数
语法：Y=sim(net,X)
参数：
net：网络
X：输入给网络的Ｋ×N矩阵，其中K为网络输入个数，N为数据样本数
Y：输出矩阵Q×N，其中Q为网络输出个数
(4) Matlab BP网络实例
我将Iris数据集分为2组，每组各75个样本，每组中每种花各有25个样本。其中一组作为以上程序的训练样本，另外一组作为检验样本。为了方便训练，将3类花分别编号为1，2，3 。
使用这些数据训练一个4输入（分别对应4个特征），3输出（分别对应该样本属于某一品种的可能性大小）的前向网络。
Matlab程序如下：
以上程序的识别率稳定在95%左右，训练100次左右达到收敛，训练曲线如下图所示：
图9. 训练性能表现
(5)参数设置对神经网络性能的影响
我在实验中通过调整隐含层节点数，选择不通过的激活函数，设定不同的学习率，
<1>隐含层节点个数
隐含层节点的个数对于识别率的影响并不大，但是节点个数过多会增加运算量，使得训练较慢。
<2>激活函数的选择
激活函数无论对于识别率或收敛速度都有显著的影响。在逼近高次曲线时，S形函数精度比线性函数要高得多，但计算量也要大得多。
<3>学习率的选择
学习率影响着网络收敛的速度，以及网络能否收敛。学习率设置偏小可以保证网络收敛，但是收敛较慢。相反，学习率设置偏大则有可能使网络训练不收敛，影响识别效果。
3. 使用AForge.NET实现神经网络
(1) AForge.NET简介
AForge.NET是一个C#实现的面向人工智能、计算机视觉等领域的开源架构。AForge.NET源代码下的Neuro目录包含一个神经网络的类库。
AForge.NET主页：http://www.aforgenet.com/
AForge.NET代码下载：http://code.google.com/p/aforge/
Aforge.Neuro工程的类图如下：
图10. AForge.Neuro类库类图
下面介绍图9中的几个基本的类：
Neuron —神经元的抽象基类
Layer — 层的抽象基类，由多个神经元组成
Network —神经网络的抽象基类，由多个层（Layer）组成
IActivationFunction - 激活函数（activation function）的接口
IUnsupervisedLearning - 无导师学习（unsupervised learning）算法的接口ISupervisedLearning - 有导师学习（supervised learning）算法的接口
(2)使用Aforge建立BP神经网络
使用AForge建立BP神经网络会用到下面的几个类：
<1> SigmoidFunction ： S形神经网络
构造函数：public SigmoidFunction( doublealpha )
参数alpha决定S形函数的陡峭程度。
<2> ActivationNetwork ：神经网络类
构造函数：
public ActivationNetwork( IActivationFunction function, int inputsCount, paramsint[] neuronsCount )
: base(inputsCount, neuronsCount.Length )
public virtual double[] Compute( double[]input )
参数意义：
inputsCount：输入个数
neuronsCount ：表示各层神经元个数
<3> BackPropagationLearning：BP学习算法
构造函数：
public BackPropagationLearning( ActivationNetwork network )
参数意义：
network ：要训练的神经网络对象
BackPropagationLearning类需要用户设置的属性有下面2个：
learningRate ：学习率
momentum ：冲量因子
下面给出一个用AForge构建BP网络的代码。
改程序对Iris 数据进行分类，识别率可达97%左右 。
点击下载源代码
文章来自：http://www.cnblogs.com/heaad/
![Makefile学习(二)[第二版]](https://img-blog.csdn.net/20141010111852687?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvempmMjgwNDQxNTg5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
