神经网络入门经典书籍,神经网络基础书籍

1、能推荐几本学习人工神经网络的经典教材吗？

《模式识别与机器学习》 [加] Simon Haykin
《神经网络与模式识别》 [加] Simon Haykin（原《神经网络原理》）
《模式分类》 Richard O. Duda/Peter E. Hart/David G. Stork
《机器学习》 (美)Tom Mitchell
这几本是写的最好的。如果你想要更容易一点，推荐看斯坦福的机器学习公开课。
注：前身课程需要《概率论》《高等数学》，先复习为好。最好再读一读测度和高概。

谷歌人工智能写作项目：小发猫

2、神经网络的历史是什么？

沃伦·麦卡洛克和沃尔特·皮茨（1943）基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型神经网络老教材。这种模型使得神经网络的研究分裂为两种不同研究思路。一种主要关注大脑中的生物学过程，另一种主要关注神经网络在人工智能里的应用。

一、赫布型学习

二十世纪40年代后期，心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型学习。赫布型学习被认为是一种典型的非监督式学习规则，它后来的变种是长期增强作用的早期模型。从1948年开始，研究人员将这种计算模型的思想应用到B型图灵机上。

法利和韦斯利·A·克拉克（1954）首次使用计算机，当时称作计算器，在MIT模拟了一个赫布网络。纳撒尼尔·罗切斯特（1956）等人模拟了一台 IBM 704计算机上的抽象神经网络的行为。

弗兰克·罗森布拉特创造了感知机。这是一种模式识别算法，用简单的加减法实现了两层的计算机学习网络。罗森布拉特也用数学符号描述了基本感知机里没有的回路，例如异或回路。这种回路一直无法被神经网络处理，直到保罗·韦伯斯(1975)创造了反向传播算法。

在马文·明斯基和西摩尔·派普特（1969）发表了一项关于机器学习的研究以后，神经网络的研究停滞不前。他们发现了神经网络的两个关键问题。

第一是基本感知机无法处理异或回路。第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。直到计算机具有更强的计算能力之前，神经网络的研究进展缓慢。

二、反向传播算法与复兴

后来出现的一个关键的进展是保罗·韦伯斯发明的反向传播算法（Werbos 1975）。这个算法有效地解决了异或的问题，还有更普遍的训练多层神经网络的问题。

在二十世纪80年代中期，分布式并行处理（当时称作联结主义）流行起来。戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。

神经网络传统上被认为是大脑中的神经活动的简化模型，虽然这个模型和大脑的生理结构之间的关联存在争议。人们不清楚人工神经网络能多大程度地反映大脑的功能。

支持向量机和其他更简单的方法（例如线性分类器）在机器学习领域的流行度逐渐超过了神经网络，但是在2000年代后期出现的深度学习重新激发了人们对神经网络的兴趣。

三、2006年之后的进展

人们用CMOS创造了用于生物物理模拟和神经形态计算的计算设备。最新的研究显示了用于大型主成分分析和卷积神经网络的纳米设备具有良好的前景。

如果成功的话，这会创造出一种新的神经计算设备，因为它依赖于学习而不是编程，并且它从根本上就是模拟的而不是数字化的，虽然它的第一个实例可能是数字化的CMOS设备。

在2009到2012年之间，Jürgen Schmidhuber在Swiss AI Lab IDSIA的研究小组研发的循环神经网络和深前馈神经网络赢得了8项关于模式识别和机器学习的国际比赛。

例如，Alex Graves et al.的双向、多维的LSTM赢得了2009年ICDAR的3项关于连笔字识别的比赛，而且之前并不知道关于将要学习的3种语言的信息。

IDSIA的Dan Ciresan和同事根据这个方法编写的基于GPU的实现赢得了多项模式识别的比赛，包括IJCNN 2011交通标志识别比赛等等。

他们的神经网络也是第一个在重要的基准测试中（例如IJCNN 2012交通标志识别和NYU的扬·勒丘恩（Yann LeCun）的MNIST手写数字问题）能达到或超过人类水平的人工模式识别器。

类似1980年Kunihiko Fukushima发明的neocognitron和视觉标准结构（由David H. Hubel和Torsten Wiesel在初级视皮层中发现的那些简单而又复杂的细胞启发）那样有深度的、高度非线性的神经结构可以被多伦多大学杰弗里·辛顿实验室的非监督式学习方法所训练。

2012年，神经网络出现了快速的发展，主要原因在于计算技术的提高，使得很多复杂的运算变得成本低廉。以AlexNet为标志，大量的深度网络开始出现。

2014年出现了残差神经网络，该网络极大解放了神经网络的深度限制，出现了深度学习的概念。

构成

典型的人工神经网络具有以下三个部分：

1、结构（Architecture）结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。

2、激励函数（Activation Rule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。

3、学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。

例如，用于手写识别的一个神经网络，有一组输入神经元。输入神经元会被输入图像的数据所激发。在激励值被加权并通过一个函数（由网络的设计者确定）后，这些神经元的激励值被传递到其他神经元。

这个过程不断重复，直到输出神经元被激发。最后，输出神经元的激励值决定了识别出来的是哪个字母。

3、有什么适合深度学习的书单吗？

12本最好的深度学习书籍：

1.用Scikit-Learn和TensorFlow进行机器学习

2.深度学习（Deep Learning）

3.Deep Learning for the Layman(为外行准备的深度学习)

4.建立你自己的神经网络（Make Your Own Neural Network）

5.深度学习初学者（Deep Learning for Beginners）

6.神经网络和深度学习（Neural Networks and Deep Learning:Deep Learning explained to your granny）

7.深度学习基础：设计下一代机器智能算法（Fundamentals of Deep Learning: Designing Next-Generation Machine Intelligence Algorithms）

8.学习TensorFlow：构建深度学习系统的指南（Learning TensorFlow: A Guide to Building Deep Learning Systems）

9.用Python深入学习（Deep Learning with Python）

10.深度学习：从业者的方法（Deep Learning :A Practitioner’s Approach）

11.用TensorFlow进行专业深度学习（Pro Deep Learning with TensorFlow）

12.用于深度学习的TensorFlow（TensorFlow for Deep Learning）

以上供参考。

4、在哪能下的matlab的神经网络工具箱

MATLAB的神经网络工具箱是内置的，如果完全安装了MATLAB，那么你可以在MATLAB的帮助页面上（帮助页面可以在Comand Window下输入'help help '(不名括单引号)，然后看Contents里有 Neural Network Toolbox。
神经网络工具箱有个教学GUI，可以在Comand Window下输nnd'(不名括单引号，小写)(因为这个教学GUI是和一本书结合的，这本书叫Neural Network Design，作者Martin T.Hagan,Howard B.Demuth，强烈推荐学习这本经典教材，会让你入门并稍有进阶)

5、张代远的学术成就

1．神经网络领域的成就
提出了样条权函数神经网络算法与代数算法，形成了独立的学派和理论体系。提出的这些理论与方法彻底克服了困扰学术界多年的传统方法的局部极小、收敛速度慢、难以求得全局最优点等困难。特别是样条权函数神经网络理论与算法具有网络结构简单、泛化能力强等突出优点，值得推广。
2．演化计算领域的成就
提出了广义蚁群算法，从理论上证明了广义蚁群算法的收敛性。与传统方法相比，广义蚁群算法更具有一般性，应用领域也更加广泛。
3．计算机体系结构领域的成就
在流水线技术、定点数运算、浮点数运算等方面取得了一些研究成果。提出了流水线的迭加原理，给出了迭加原理的一般形式和递推形式。根据迭加原理可以自然地导出状态图的画法规则。导出了计算非线性流水线渐近参数的公式。提出的非线性流水线参数的计算公式反映了各个参数之间的内在联系。另外，还提出了移码的计算公式。对于定点乘除法运算、浮点运算器设计等方面也都取得了一些研究成果。 在各类期刊、国际会议上公开发表了60余篇学术论文，其中不少被国际权威机构收录，有多篇论文获奖。这些公开发表的论文中，有不少被同行引用。
独立出版了一部学术专著《神经网络新理论与方法》。《神经网络新理论与方法》自出版以来，其成果已经被一些学者在学术论文中引用。该专著中所提出的新理论与方法已经被一些科技工作者应用于通信技术、控制工程、信息处理、气象预报、经济学、神经网络理论与应用等领域中。
独立编著出版了三部教材，它们是《计算机组成原理》、《计算机组成原理教程》、《计算机组成原理教学辅导》，这些教材中包含着许多研究成果和教学经验。《计算机组成原理教程》和《计算机组成原理》自出版以来已经被一些同行在著作或学术论文中引用。
《计算机组成原理教程》(第二版)已经列入国家级“十一五”规划教材。 张代远导师资格被取消
南京邮电大学：取消张代远硕士生导师资格
针对网帖反映的相关问题，学校成立了专门调查组。调查组已找校内外相关人员和张代远进行调查。根据初步调查结果，学校研究决定：取消张代远硕士生导师资格，停止其一切教职活动并接受学校进一步调查。学校将根据最终调查结果依法依规严肃处理，并将处理结果向社会公布。衷心感谢社会各界的关注和监督。
2016年2月4日，据南京邮电大学官方微博消息，学校调查组对网帖反映张代远的问题进行了深入调查。经查，张代远存在违规收取学生部分实习劳酬、将学生交付的版面费报销后据为己有、以言语对学生进行人格侮辱等严重违反教师职业道德的行为。根据相关规定，经学校研究决定：撤销张代远专业技术职务，并依相关程序撤销其教师资格。