开·云体育app下载安装 学习“卷积”

一、卷积是啥卷积（Convolution）

有一种数学运算，它存在于信号处理以及图像处理当中，此运算在计算机视觉、深度学习等诸多领域有着广泛应用。卷积操作是这样进行的，它会滑动一个滤波器，这个滤波器也被称作卷积核或者卷积滤波器，在输入数据上滑动，这部分输入数据比如有图像，通过这样的滑动处理后，最终生成一个特征映射或者输出 。

数学定义

在一维情况下，卷积可以定义为：

其中：

在离散情况下（如图像处理），卷积定义为：

对于二维图像，卷积操作可以表示为：

其中：

卷积在深度学习中的应用

在深度学习里头，尤其是卷积神经网络，也就是Convolutional Neural Networks，简称为CNNs的这个范围内，卷积操作是用来提取输入数据的特征的 。像这样一系列事项被列为卷积在CNN里的一些关键点 ：

卷积核，一般而言是个小矩阵，像3x3、5x5这种，它会对输入图像的每个位置进行扫描，每一个卷积核能够被视作一个特定的特征检测器。

特征映射，那种由卷积操作所生成的输出，被称作特征映射也就是feature map，它能够对输入数据的某些特征予以表示 。

步幅，也就是Stride，它决定了卷积核于输入图像上滑动时的步长，步幅越大，那么输出特征映射的尺寸就越小。

控制输出特征映射的尺寸时，可通过在输入图像边缘添加填充来实现填充，在边缘添加数值为零的情况被称作“零填充”，不进行填充的方式则是“有效填充”呀，这是常见的处理方式 。

用以实施卷积操作之后的往往是会被运用的非线性激活函数，这样做是致力于导入非线性特性，就类似ReLU一样的那种函数 。

卷积的直观理解

可以把用来类比的卷积操作，想象成在图像之上滑动那么一个小窗口，也就是卷积核，在每一个位置都要去计算窗口内部的像素值，以及卷积核对应元素的加权和，这个加权和进而就构成了特征映射里的一个像素值，依靠这样的方式，卷积核能够在这图像当中检测出特定的模式，或者是特征，像边缘、角点之类的 。

示例

假设我们有一个简单的3x3输入图像和一个3x3的卷积核：

输入图像 S:

卷积核 K:

卷积操作的结果（特征映射）可能是：

要进行具体的计算过程，是要把卷积核在输入图像之上滑行，并且在每一个位置去计算对应元素的乘积之和 。

总结

有一种重要的数学操作叫卷积，它是借助在输入的数据之上让一个滤波器去滑动以此来提取特征的；在深度学习这个范畴之内，可用于自动学习并且去提取输入数据特征的卷积操作，它乃是卷积神经网络的核心要点 。

二、详细1.卷积示例

二维卷积是一项颇为简易的操作，起始于卷积核开·云app体育登录入口，此乃一个小型的权值矩阵，该卷积核于二维输入数据之上“滑动”，针对当前输入的部分元素施行矩阵乘法，随后把结果汇聚成单个输出像素。

一个标准的卷积

卷积核重复这个过程，一直到遍历了整张图片，把一个二维矩阵转变为另一个二维矩阵。输出的特征实际上是在输入数据相同位置上的加权和，而权值就是卷积核本身的数值 。

由输入数据是否落入这个「大致算得上相似的区域」，来直接决定数据在经过卷积核以后的输出情况。这表明卷积核的尺寸能够直接决定在生成新的特征时，汇合了多少数量的输入特征，或者说是几个。

在上面的例子里，我们的输入特征呈现为5乘以5等于25这种情况，输出数据则是3乘以3等于9 。这和全连接层彻底相反。要知晓倘若运用标准的全连接层的话kia云手机版登录，必然会得出来一个具有25乘以9等于225个参数的权值矩阵情形，且会形成每个输出都是所有输入数据进行加权求和那样的结果。卷积操作却能够让事情出现不同走向，它可以只用9个参数就达成这个变换，每个输出特性并非像全连接层那样要「查看」每个输入特征，而是仅仅「查看」来自大致相同位置的输入特征 。请务必留意这一点，因为这对于我们后面的讨论来讲是至关重要的 。

2.卷积常用的技术：

Padding

如果你注视上面的动画，那么会留意到在卷积核滑动之际，边缘基本上会被「裁剪」掉，把 5*5 特征矩阵转变为 3*3 的特征矩阵。边缘处的像素始终不在卷积核的中心，鉴于内核不存在任何能扩展到边缘范围之外的东西。这并非是理想的状况，因为我们常常期望输出的大小等同于输入。

Padding采取了相当机灵的法子去处理这个问题，那便是借助额外的「假」像素来填充边缘，一般这个值是0，故而常用术语是「零填充」。如此一来，在进行滑动操作时的卷积核能够让原始边缘像素处于其中心位置，并且还能延伸到边缘之外的那些假像素上，进而据此生成与输入大小一样的输出 。

大踏步前进：当运行卷积层之际，我们一般期望输出的尺寸相较于输入要更低。这在卷积神经网络当中是常见的情况，在增多信道数量的同时空间尺寸随之减小，这时要采用池化层（举例来说，取每2×2网格的平均值或者最大值来把空间维度减半）以实现这一情况。另外还有一种方法是运用大踏步前进：

一个步长为 2 的卷积操作

Strides

Stride的想法在于改变卷积核的移动步长从而跳过一些像素，Stride为1意味着卷积核滑过每一个相距为1的像素，这属于最基本的单步滑动，被当作标准卷积模式，Stride为2表示卷积核的移动步长是2，会跳过相邻像素，使得图像缩小为原来的1/2，Stride为3表示卷积核的移动步长是3，会跳过2个相邻像素，让图像缩小为原来的1/3。

3.多通道

诚然，上面的图仅仅关联具备单个输入通道的图像。事实上，绝大多数的输入图像是3通道的，通道的数量只会致使你的网络深度增加。一般而言，会把图像通道作为一个整体看待起来，侧重于其整体的方面而不去留意各自的差别。

多数情形下，我们所应对的皆是那具备 RBG 特性的三通道图像，（Credit: Andre Mouton）。

滤波器：卷积核的集合

存在这样一种情况，这两个术语之间存在着本质性的区别，是什么情况呢？就是，仅在 1 通道的这种情形下，滤波器与内核这两个术语是表达相同意思的，不过呢，在一般的那些状况下，它们却是不一样的。还有这样的情况，每个过滤器事实上是卷积核所构成的集合，具体怎样是构成集合的呢？就是图层的每个输入通道都会有一个卷积核，而且这个卷积核是具有唯一性的。

卷积层中的每个滤波器都只输出一个通道，他们是这样实现的：

滤波器的每个卷积核，在各自对应的输入通道之上进行「滑动」操作，进而产生各自独立的计算结果。部分内核，相较于其他内核而言，具有更大的权重，目的在于，比某些内核更着重突出某些输入通道kiayun手机版登录app游戏登录入口.手机端安装.cc，（举例来说，滤波器的红色通道卷积核，有可能比其他通道的卷积核具备更大的权重，如此一来，其相较于其他通道，对红色通道特征的反应会更为强烈）。

接着，把经由各个通道处理后所得到的结果汇聚到一块儿，进而形成一个通道。滤波器的卷积核分别产出一个与对应通道相匹配的输出，最终，整个滤波器生成一个总的输出通道。

到了最后的那个术语，它叫做偏置，偏置在这儿所起到的作用，是针对每一个输出滤波器，去增添偏置项，从而能够产生最终的输出通道。

与单滤波器生成情况一样的是，其他数量滤波器的生成方式，每个滤波器会运用不一样的卷积核集合，以及带有上述过程的标量偏差项，去处理输入数据，最终生成一个输出通道，接着把它们连接起来，以此产生总输出，这里输出通道的数量就是过滤器的数量，在输出数据被送入另一个卷积层以前，通常还得应用非线性激活函数，重复上述操作就能完成网络的搭建。

4.二维卷积--直觉

卷积仍然是线性变换

就算有了卷积层的那种机制，可还是很难把它跟标准的前馈网络关联起来，并且它依旧没法解释为何卷积会延伸到图像数据处理范畴，还在这方面有着不错的表现。

假定存在一个 4×4 的输入，我们得把它转变成 2×2 的阵列。要是采用前馈网络，我们会先把 4×4 的输入转变成长度是 16 的向量，接着输入一个有着 16 个输入以及 4 个输出的密集连接层。对于这一层能够设想一个权值矩阵 W ：

有 64 个参数

哪怕卷积核运算一开始瞅着挺怪异，可它依旧是一种线性变换，存在一个等效的变换矩阵。要是我们把尺寸为 3 的核 K 施加于变换后的 4×4 输入，以此来获取 2×2 的输出，等效的变换矩阵将会是：

有 9 个参数

注意啊，虽说上面那个矩阵呢，是属于一个等价的变换矩阵，然而呢，实际进行操作的时候呀，通常是当作一个格外不同的矩阵乘法来予以实现的 。

卷积，整体而言，依旧是一种线性变换，然而，这又是一种别具一格的变换。存在一个拥有64个元素的矩阵，仅有9个参数被反复运用。每一个输出节点仅仅能够看到特定输入的数量（也就是核内部的输入）。和其他输入不存在任何交互，这是由于权值被设定为0 。

把卷积操作视作权值矩阵的先验是颇具用处的，在这篇文章里，我预先设定了网络参数，比如说，当你运用预先训练的模型开展图像分类时，其前提是采用预先训练的网络参数，将其作为密集链接层的一个特征提取器 。

从这层意义来讲，存在着这样一个直觉，那就是为何两个都具备显著成效呢（与它们的替代者相比较而言）。迁移学习的效率相较于随机初始化要高出许多数量级，原因在于你仅仅需要对最终全连接层的参数展开优化，这也就表明您能够拥有卓越的性能，每个类仅仅只有几十个图像。

这里，并非所有64个参数都需你去优化，因其中大部分已被设为0，且一直维持此值，其余的变成共享参数，如此一来，实际只需优化9个参数，这效率颇为重要。当从MNIST的784个输入转成实际的224×224×3个图像时，会有150000个输入。密集层视图把输入减半成75000个，而这仍需100亿个参数。与之相比较而言，ResNet-50 整体总共仅仅只有约计两千五百万这样数量的参数，此为确切数值 。

所以，把一些参数设定为 0，绑定参数能提升效率，然而和迁移学习不一样，在于迁移学习里，我们清楚先验是否良好，因它取决于大量图像，那我们怎么样知晓这个的优劣状况呢?

答案就在特征组合中，前面的参数是要学习的参数。

5.局限性

在这片文章的开始，我们讨论了以下问题：

要形成输出之时，卷积核仅仅是从一个小部分之局部区域去组合像素的。这也就意味着，输出特性只是从一个小部分之局部区域“看到”输入之特性的。

卷积核是被应用于整个图像这件事，其目的在于产生输出矩阵。所以呢，当反向传播是从网络的分类节点一路延伸过来，这种情况下卷积核存有一个算得上相当有意思的任务，即在从局部输入里去学习权值，进而生成特征。另外，由于卷积核自身乃被应用于整个图像之中这一状况，所以卷积核所学习到的特征必然得足够通用才行，而且这些特征是能够来自于图像的任何一处部分的。

倘若这属于任何别样种类的数据 ，比如说 ，APP安装的分类数据 ，那这将会演变成一场灾难 ，缘由在于 ，你的应用程序安装数量与应用类型是相邻的 ，然而这并不表明它们具备任何如同应用安装日期以及使用时间那般常见的「本地的 、共享的特性」。当然啦 ，它们或许存有一个能够被发觉的潜在高层次特征(例如 。人们最为需要的是哪些应用程序) ，但这并未给予我们充足的理由去坚信前两个参数与后两个参数全然相同 。这四种有可能是任意的(一致的)顺序 ，而且依旧有效!

然而，像素出现时总是依循着一致的顺序，并且附近的像素之间会相互产生影响。比如说，要是某一像素临近一带的所有像素都是呈现红色的，那么这个像素极大可能同样是红色的。假设有偏差存在，这当属一种饶有趣味的反常状况，能够转化为一项特征，而所有这些偏差均能依靠和周围像素展开比较予以检测排查出来。

实际上，这个想法乃是诸多早期的计算机视觉特征提取方法的基础，比如说，针对边缘检测而言，你能够运用Sobel边缘检测滤波器，而这是个有着固定参数的核与标准的单通道卷积一样的运算过程，：

使用垂直边缘检测卷积核

多数像素值相同的无边缘阵列，像天空背景那种，卷积核于这些点输出值为0。有垂直边缘的阵列，其边缘左右两侧像素不同，卷积核算出的结果并非零值，借此揭示边缘。检测局部范围异常时，卷积核在3×3阵列上单次作用，然而应用于整幅图像时，也能够在全局范畴内检测到源自图像任意位置的特定特征！

因而，我们于深度学习里所开展的关键差异在于提出这样一个问题：有用的核能会被学习吗？对于以原始像素作为根基的初始层而言，我们能够合乎情理地期待具有相当低水平特征的特征检测器，诸如边、线之类的。

整个深度学习这个领域中，存在着一个专门聚焦于神经网络可解释性的完整分支，这一分支里面，有着一个非常强大的工具，这个工具就是运用优化方法去生成可视化特征，它的核心思想其实来说是比较简单的，那就是通过优化图像，这里所说的优化图像，通常是采用随机噪声来进行初始化操作，进而以此来激活滤波器，目的是让滤波器要尽可能地变得强壮起来，这实际上是十分直观的一种现象，如果一幅经过优化的图像，其内部完全被边缘所填充，那么这也就意味着，这是过滤器针对并且被激活的强有力的证据，凭借使用这个方法，以及这样得到的结果，我们能够去窥视到学习的过滤器，最终所呈现出来的结果那真的是十分惊人呀：

特征可视化，是关于来自GoogLeNet第一个卷积层的3个不同通道的，要注意，即便它们检测到不同的边缘类型时，它们仍然是很低级的边缘检测器，是的。

来自第二和第三个卷积的通道 12 的特征可视化。

值得留意的一件关键之事是，经卷积处理后的图像依旧属于图像，而那些源自图像左上角的小阵列像素输出，依旧处于左上角位置，故而能够在另一个之上运行另一个卷积层（诸如左边的那两个），以此来提取更深层次的特征，这是能设想得到的 。

可是，不管咱们的特征探测器能探测到怎样的深度，要是不存在任何更进一步的变化，那它们依旧仅仅能够在极为小的图像之上运行。不管你的探测器有多深，你都没办法从3×3阵列当中探测到人脸。这便是感受域的概念了。

6.感受野

一个属于任何 CNN 架构的、基本的设计选择是，输入的大小从网络起始直至末端会变得越来越小，并且通道的数量会变得越来越深。如之前所讲述的那样，这种情况常常是借助步长或者池化层来达成的。Locality 对输出层所看到的前一层的输入起到决定作用。感受域对于从输出角度所看到的整个网络的原始输入区域起到决定作用。

条纹卷积是什么特定的概念呢，那就是我们仅仅去处理一个处于固定状态的距离呀，这时候是要把中间的那些给忽略掉的呢。从不同的视角来看，我们只是保持一种固定距离下的输出哦，然后把剩余的部分给移去 的呀。

3×3 卷积，步长 2

先是我们针对输出施加非线性，接着依照通常情形，于其上叠加另外一个全新的卷积层。此处便是饶有趣味之所在。纵使其等将配备相同尺寸以及相同局部区域的核（3×3），施用于条纹卷积的输出，核将具备更大的感受域：

这是由于条纹层的输出依旧代表着同样的图像 ，它并不是像调整大小那般进行裁剪 ，唯一存在的问题在于 ，输出里的每一个像素都是源自原始输入相同粗糙位置处一个较大区域（其他像素被舍弃）的 “代表性” ，所以 ，当接下来一层的核在该输出上运行时 ，它实际上运行于从更大区域收集而来的像素之上 。

若是你对扩张卷积有所了解，需留意上面所提并非扩张卷积哟。它们二者皆为增加感受域的途径。扩张卷积属于单独一层，然而这却是在正规卷积之上所出现的。之后会有条纹卷积，且中间帧呈现非线性状态 。

针对每一个主要的卷积块集合，对其通道做可视化呈现，以此来展示复杂性呈现出的逐步递增状况。

这个感受域得以扩展，这使得卷积层可将低层次的特性进行组合，这些特性包括线、边，并且会与更高层次的特征展开组合，这其中有着曲线、纹理，就如同我们在 mixed3a 层里所见到的那般。

接着是池化或者跨越层，网络开始持续为更高级别的特性也就是部件、模式去创建检测器，这正如在mixed4a当中我们所看到的。

网络里，图像尺寸不断重复减小，致使在卷积的第五个块那儿，其输入大小仅仅是7×7，跟224×224的输入相比较而言。如此说来，每个单独的像素代表着32×32像素的阵列哦，这可是相当大的呢。

对比于先前的那一层，对于先前的那一层来讲，一次激活预示着侦测一道边界，然而在此处，7×7之上的激活属于一项高级的特征，像鸟类这类便是。

开始时，整个网络仅有少量滤波器，像 GoogLeNet 有 64 个，那时只能检测低级的特征；后来，发展到拥有大量滤波器，在最终的卷积网络中有 1024 个，每个滤波器用于查找特定的高级特征。后面是池化层，它会把每个 7×7 阵列精简成 1 个像素，每个通道都是一个拥有与整个图像对应的感受域的特征检测器。

同前向传播网络所开展的工作相比较的话，这边的输出是令人颇为惊讶的 。其中一个在标准状态底下的前向传播网络，它是从图像存在的像素集合里去生成抽象的特征向量的，这是需要大量难以处理的数据来予以训练的 。

卷积神经网络，有着施加于其上的先验条件，从通过学习低级别的特征检测器开始，其感受域会逐层进行扩展，并且学习把那些低级的特征逐步与高层的特征相融合；并非是每个单个像素的抽象结合，而是强大的视觉层次方面的概念。

经由对第一级别的特征予以检测，进而运用它们去检测高级别的特征，伴随视觉层次不断深入，最终得以检测涵盖人脸、鸟类、树木等在内整个视觉范畴，这亦就是它们因何这般强大，然而却能够高效地利用图像数据 。

6.对抗攻击

构建了视觉层次卷积神经网络后，我们能够较为合理地去假设，它们的视觉系统和人类是相似的。它们在处理真实世界图像时，表现得十分出色，然而，它们在某些方面也出现了失败的情况，这强有力地表明，它们的视觉系统与人类的并非完全相似。最为主要的问题在于对抗样本，这些样本经过了特别的修改，从而致使模型被愚弄了。

针对人类而言，两张图片显著都是熊猫，然而对于模型来讲，情况并非如此。

若人类可留意到致使模型失败的遭篡改的例子，那对抗样本便非问题啦。然而，问题在于，这些模型易受样本攻击，这些样本仅被略微修改，且明显不会骗到任何人类。这为模型开启了一扇门，极小的失败，对从自动驾驶汽车直至医疗保健的广泛应用而言，是颇为危险的。

对抗攻击具有的鲁棒性，属于当下极为活跃的研究范畴，众多论文，甚至是竞赛以及解决方案相关课题，必定会对CNN架构予以改进，让其变得更为安全，更加可靠。