卷积运算与卷积核DLC

创始人

2024-03-07 06:50:59

0次

一、卷积运算

在数学上，卷积的定义是：两个函数在反转和位移后的乘积的积分，其公式表现为：

$(f*g)(t)=\int_{-\infty }^{+\infty}f(\tau )g(t-\tau)d\tau$

其中称g为过滤器，f为信号。

但是在深度学习中，卷积并不进行反转，而是直接进行逐元素的乘法和加法（称互相关：一般通过窗口的滑动实现）

二、图像处理中的卷积核

卷积核在图像处理中实际上等于像素的9合1（由于扫描方式不一定准确），形式如下图

卷积核在图像处理中一般有以下作用：保持、边缘检测、锐化、滤波

卷积核通过调整像素之间的权重关系来实现对图片的修改，大致可以分为强化权重比(边缘检测&锐化)和削弱权重比两种。

且权重之和大于1时，会提高图片的亮度；权重之和小于1时，会降低图像亮度；权重之和等于1时，则保持亮度不变。

例如边缘检测的卷积核可以放大某个方向上的像素点骤变。

上面两个卷积核分别可以检测对角方向、水平&垂直方向的边缘

又如模糊可以通过降低图像各像素之间的权重比来压制突出的特征。

上面的卷积核会使像素点的权重降低为原来的1/9，从而改变权重比重

三、不同尺寸卷积核的作用

1x1卷积核

降维/升维：通过1x1卷积核的图像在平面上(width和height)并不会有任何改变，但是其通道(channel)数会增加/减少。

同时，应为卷积运算和全连接运算形式上的一致，1x1卷积核可以等价为一个全连接。也是卷积层可以代替全连接层将NN变为CNN的原理。

如一个6x6x32的图像经过1x1x2的卷积核后会得到6x6x2的输出，其channel降低了

又如6x6x32的图像经过1x1x128的卷积核后得到6x6x128，其channel便上升了

其在网络中通过升降维可以实现：

增加非线性：在保持feature map尺寸不变的前提下增加其非线性特性，从而加深网络层数。

跨通道信息交互：将不同卷积核处理过的特征图统一channel，以便后续运算。

nxn卷积核

包括常用的3x3，5x5以及更大尺寸的卷积核。一般作为滤波器(filter)来抓取图像特征。

卷积核尺寸越大，感受野越大，一次获取的特征便越多；但是精确度会下降。同时也会带来更大的计算压力（）。

如3x3卷积核的感受野为9，而5x5卷积核的感受野为25，基本可以理解为一个5x5卷积核近似于两个3x3卷积核（3x3=9*2=18<5x5=25）。

一般来说超过9x9的kernel会被视为大kernel

四、卷积核的性质

卷积核的主要超参数有：卷积核个数k个，尺寸w*h，步长s，填充p

参数量为 $(w*h*D_{in}+1)*k$ //(长*宽*高+1)*个数<没有高用输入深度代替>

输入图像 $W_{in}*H_{in}*D_{in}$ 经过卷积核处理后的输出为：

2D卷积： $W_{out}=\frac{(W_{in}+2p-w)}{s+1}$ //一般卷积核为nxn的矩阵，故可以归纳为：

$H_{out}=\frac{(H_{in}+2p-h)}{s+1}$ // $X_{out}=\frac{(X_{in}+2p-n)}{s+1}$

$D_{out}=k$ //卷积核个数

输入层： $W_{in}*H_{in}*D_{in}*C_{in}$

卷积核尺寸： w*h*d

参数量： (w*h*d+1)*k

3D卷积：三个维度尺寸W*H*D同二维卷积： $X_{out}=\frac{(X_{in}+2p-n)}{s+1}$

$C_{out}=k$ //卷积核个数

特殊的卷积：空洞卷积、可分离卷积、转置卷积

转置卷积：又称反卷积，上采样，与一般卷积互为逆操作，可用来恢复原来的尺寸。

卷积核与一般卷积并无区别。步长为原来步长的倒数，即 $\frac{1}{s}$

空洞卷积：又称下采样。主要作用是在不增加参数数量(增加卷积核大小/增加层数)和不丢失信息(卷积前进行汇聚)的前提下增大卷积核的感受野。具体操作为：在卷积核的每个元素之间插入D-1个空洞，使得卷积核的有效大小变为： $K+(K-1)\times (D-1)$ ,D被称为膨胀率。