当前位置 博文首页 > 文章内容

    深度学习第二节——深度学习概述

    作者:Schnappy 栏目:未分类 时间:2020-10-17 18:00:38

    神经网络基础

    1.浅层神经网络

    一、生物神经元与神经网络相关的部分

      1.每个神经元都是一个多输入单输出的信息处理单元;

      2.神经元具有空间整合时间整合特性;

      3.神经元输入分兴奋性输入和抑制性输入两种类型;

      4.神经元具有阈值特性。

    二、M-P神经元(对生物神经元的抽象和简化)

      

       

    三、激活函数

             1.为什么需要激活函数?

      ·神经元继续传递信息、产生新连接的概率(超过阈值被激活,但不一定传递)

      ·没有激活函数相当于矩阵相乘:多层和一层一样,只能拟合线性函数

      

      2.常见的激活函数举例:

      

     

       

      ·S性函数(sigmoid) (早期应用,容易饱和,输出不对称)

      饱和区问题:当输入太大或太小时,斜率非常小

      ·双极S性函数(tanh)  

      ·ReLU修正线性单元 (最大值,解决饱和区问题,输入为负不会得到正值)

      ·Leaky ReLU

    四、单层感知器

      ·M-P神经元的权重预先设置,无法学习

      ·单层感知器是首个可以学习的人工神经网络

      

      单层感知器怎么实现逻辑功能?举例

      

      1.逻辑非的实现

      

      2.逻辑或

     

      

      3.逻辑与

      

      单层感知器能实现一些简单与非或问题,但是非线性问题呢?(如异或)

      单层->多层感知器(可以证明单层感知器无法解决异或问题)

      可以将异或问题转化为简单的逻辑电路问题,既可以通过多层感知器来解决这个问题。