文章目录

• 神经网络基础知识
• 神经网络前向传播
• • 伪代码
  • 前向传播中单个神经元的作用
• 矩阵加速运算
• 训练模型的细节
• 常用激活函数
• • ReLU
  • Sigmoid
  • Linear activation function
  • tanh
• 选择激活函数
• • 选择`输出层`的激活函数
  • 选择`隐藏层`的激活函数
• 为什么需要非线性激活函数
• Softmax激活函数
• 多标签分类问题
• 梯度下降更好训练神经网络的方式-Adam

神经网络基础知识

neuron:神经元

activation:激活

layer:层(一组神经元)

hidden layer ：隐藏层

output layer ：输出层

数据量增大时，传统机器学习、小型神经网络、中型神经网络、大型神经网络的的性能变化，在大数据的今天一定要学深度学习

神经网络一层(layer)由一个或者多个神经元构成

每一层的输出值也称为激活值(activate)

第一层的输入特征也被称为输入层

最后一层为输出层

在构建大型神经网络时，我们不可能手动将特征连接到神经元，一般是下图这样

也可以是下图这样

中间的这一层三个神经元的也被称为隐藏层

通常说几层神经网络时，包括最后一层输出层，但是不包括第0层输入层

第i层的输出的激活值写做a[i]a^{[i]}a[i]

所以上图中layer 4省略的为:a2[3]=g(w[3]∗a[2]+b[3])a^{[3]}_2=g(w^{[3]}*a^{[2]}+b^{[3]})a2[3]​=g(w[3]∗a[2]+b[3])

神经网络前向传播

前向传播:神经元产生激活值传播给向下一层的神经元，作为下一层神经元输入值

伪代码

layer 1有25个神经元，layer 2有15个神经元，layer 3 有一个神经元

简化代码:

进一步简化代码：

使用Tensorflow或者Pytorch能简便构建和训练神经网络，不过不能只会用，要弄懂这些代码在干些什么！

前向传播中单个神经元的作用

上图为layer n的神经元，接受layer n-1的激活值x1,x2,...,xnx_1,x_2,...,x_nx1​,x2​,...,xn​乘于权重加上偏置bbb,传入激活函数中，得到这个神经元的激活值aaa

左侧代码为单个隐藏层的实现代码，右侧为整个四层的神经网络实现代码

矩阵加速运算

将左侧的代码中的输入数据XXX和偏置bbb都改为矩阵的形式，再利用矩阵相关加速运算

训练模型的细节

训练模型的步骤：

1定义模型
2.定义损失函数
3.最小化损失函数

中间为手写字体识别只包含0,1，的二分类，使用sigmoid激活函数，使用二元交叉熵作为损失函数

右侧为在Tensorflow中训练这个模型的步骤

常用激活函数

ReLU

ReLU全名Rectified Linear Unit，意思是修正线性单元。

ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制

ReLU激活函数可写为:ReLU(z)=max(0,z)ReLU(z)=max(0,z)ReLU(z)=max(0,z)

Sigmoid

Sigmoid激活函数可写为:Sigmoid(z)=11+e−zSigmoid(z)=\frac{1}{1+e^{-z}}Sigmoid(z)=1+e−z1​

Linear activation function

线性激活函数可写为:g(z)=zg(z)=zg(z)=z

tanh

tanh激活函数可写为:g(z)=1−e−2x1+e−2xg(z)=\frac{1-e^{-2x}}{1+e^{-2x}}g(z)=1+e−2x1−e−2x​

选择激活函数

可以为神经网络中的神经元选择不同的激活函数

选择输出层的激活函数

二分类问题选择Sigmoid激活函数作为输出层的激活函数

回归问题选择线性激活函数作为输出层的激活函数

如果回归问题结果非负可以选择ReLU激活函数作为输出层的激活函数

选择输出层的激活函数时，通常根据输出的预测值y^\hat{y}y^​来选择

选择隐藏层的激活函数

ReLU激活函数是现在神经网络中隐藏层最常用的激活函数

为什么需要非线性激活函数

如果神经网络使用的激活函数都是线性的，那么神经网络就只是线性回归模型，神经网络无法拟合比线性回归更复杂的模型

Softmax激活函数

Softmax是Sigmoid的推广，可以进行多分类任务

Softmax 激活函数：

将输入向量的值映射到(0,1)这个区间，转化为概率的形式，且转化后向量元素和为1，公式为：
向量A=[a1,a2,a3...a4]Tsoftmax(ai)=eai∑j=1keai例如:假设向量a=[3.2,5.1,−5.7]T经过函数运算后asoftmax=[0.127,0.87,0.003]T向量A=[a_1,a_2,a_3...a_4]^T\\ softmax(a_i)=\frac{e^{a_i}}{\sum_{j=1}^ke^{a_i}}\\\\ 例如: 假设向量a=\left[\ \ 3.2,\ \ 5.1,-5.7\ \ \right]^T\\ 经过函数运算后a_{softmax}=\left[\ \ 0.127,\ \ 0.87,\ \ 0.003\ \ \right]^T\\ 向量A=[a1​,a2​,a3​...a4​]Tsoftmax(ai​)=∑j=1k​eai​eai​​例如:假设向量a=[  3.2,  5.1,−5.7  ]T经过函数运算后asoftmax​=[  0.127,  0.87,  0.003  ]T
可以看出softmax激活函数的特性:让小的值变得很小，最大的值变得更大，使得分类效果更加明显更加利于分类

突出了最大值

损失函数

多标签分类问题

多标签分类，与一般的多分类问题不同，一般的多分类问题，如手写字识别，其真正的标签只有一个，而多标签分类，如下图的人、汽车、公共汽车识别，识别出的结果可能有多个

如何解决多分类问题：以上图为例子

1.可以将其视为三个完全独立的机器学习问题，需要三个神经网络分别检测

2.训练一个神经网络同时检测这人、汽车、公共汽车

梯度下降更好训练神经网络的方式-Adam

wj=wj−α∂∂wjJ(W⃗,b)w_j=w_j-\alpha\frac{\partial}{\partial w_j}J(\vec{W},b) wj​=wj​−α∂wj​∂​J(W,b)

Adam算法，当学习率过小时可以自动增加α\alphaα使得梯度下降的速度更快；

当学习率过大时，也可以使得学习率自动更小。

Adam算法可以自动调整学习率

Adam算法没有使用单一的全局学习率，对模型的每个参数使用不同的学习率如下图：