神经网络基础

1.浅层神经网络

一、生物神经元与神经网络相关的部分

　　1.每个神经元都是一个多输入单输出的信息处理单元；

　　2.神经元具有空间整合和时间整合特性；

　　3.神经元输入分兴奋性输入和抑制性输入两种类型；

　　4.神经元具有阈值特性。

二、M-P神经元（对生物神经元的抽象和简化）

三、激活函数

         1.为什么需要激活函数？

　　·神经元继续传递信息、产生新连接的概率（超过阈值被激活，但不一定传递）

　　·没有激活函数相当于矩阵相乘：多层和一层一样，只能拟合线性函数

　　2.常见的激活函数举例：

　　·S性函数(sigmoid) （早期应用，容易饱和，输出不对称）

　　饱和区问题：当输入太大或太小时，斜率非常小

　　·双极S性函数(tanh)  

　　·ReLU修正线性单元 （最大值，解决饱和区问题，输入为负不会得到正值）

　　·Leaky ReLU

四、单层感知器

　　·M-P神经元的权重预先设置，无法学习

　　·单层感知器是首个可以学习的人工神经网络

　　单层感知器怎么实现逻辑功能？举例

　　1.逻辑非的实现

　　2.逻辑或

　　3.逻辑与

　　单层感知器能实现一些简单与非或问题，但是非线性问题呢？（如异或）

　　单层->多层感知器（可以证明单层感知器无法解决异或问题）

　　可以将异或问题转化为简单的逻辑电路问题，既可以通过多层感知器来解决这个问题。