高密仿真房产证书制作不动产证件专业定制
”皮查伊说,他“将承担起恢复(员工)信任的责任。
ResNet
论文标题:DeepResidualLearningforImageRecognition
核心解读:cvpr2016最佳论文奖,ImageNet当年的冠军。论文提出的残差连接几乎可以在每一个CNN中看到身影。网络的深度是提高网络性能的关键,但是随着网络深度的加深,梯度消失问题逐渐明显,甚至出现退化现象。所谓退化就是深层网络的性能竟然赶不上较浅的网络。
本文提出残差结构,当输入为x时其学习到的特征记为H(x),现在希望可以学习到残差F(x)=H(x)-x,因为残差学习相比原始特征直接学习更容易。当残差为0时,此时仅仅做了恒等映射,至少网络性能不会下降。正如kaiming所说“简单才能接近本质”,就是一条线连一下。让我想到了工程师划线的典故,重点不是画线,而是把线画到哪。该论文提出了resnet18、resnet34、resnet50、resnet101、resnet152不同量级的结构,依然是现在分类网络中的主流,以及目标检测、语义分割等算法的主流骨架网络。
SeNet
论文标题:Squeeze-and-ExcitationNetworks
核心解读:它赢得了最后一届ImageNet2017竞赛分类任务的冠军。重要的一点是SENet思路很简单,很容易扩展在已有网络结构中。SE模块主要包括Squeeze和Excitation两个操作。Squeeze操作:将一个channel上整个空间特征编码为一个全局特征,采用GAP来实现,Sequeeze操作得到了全局描述特征。
接下来利用Excitation操作将学习到的各个channel的激活值(sigmoid激活,值0~1作用到原始特征上去。整个操作可以看成学习到了各个channel的权重系数,从而使得模型对各个channel的特征更有辨别能力,这应该也算一种attention机制。
Inception系列
论文标题:v1:Goingdeeperwithconvolutionsv2:BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShiftv3:RethinkingtheInceptionArchitectureforComputerVisionv4:Inception-v4,Inception-ResNetandtheImpactofResidualConnectionsonLearning
核心解读:该系列的前身都是GoogLenet,其提升网络性能的方式就是增加网络深度和宽度,深度指网络层次数量、宽度指神经元数量。于是就有了上图的经典inception结构,简单来说就是并行采用不同大小的卷积核处理特征,增加网络的处理不同尺度特征的能力,最后将所有的特征concat起来送入下面的结构。v1:把GoogLenet一些大的卷积层换成1*1,3*3,5*5的小卷积,这样能够大大的减小权值参数量。v2:就是大名鼎鼎BN那篇文章,网络方面的改动就是增加了BN操作,可以看BN那部分的介绍。v3:利用分离卷积的思想,把googLenet里一些7*7的卷积变成了1*7和7*1的两层串联,3*3同理。这样做的目的是为了加速计算,减少过拟合。v4:把原来的inception加上了resnet中的残差结构。
MobileNet系列
论文标题:v1:MobileNets:EfficientConvolutionalNeuralNetworksforMobileVisionApplicationsv2:MobileNetV2:InvertedResidualsandLinearBottlenecksv3:SearchingforMobileNetV3
核心解读:轻量级网络的代表作,核心操作就是把VGG中的标准卷积层换成深度可分离卷积,计算量会比下降到原来的九分之一到八分之一左右。v1:原本标准的卷积操作分解成一个depthwiseconvolution和一个1*1的pointwiseconvolution操作;v2:使用了Invertedresiduals(倒置残差)结构,就是先利用1X1卷积将通道数扩大,然后进行卷积,再利用1X1卷积缩小回来,和Resnet的Bottleneck恰好相反。通过将通道数扩大,从而在中间层学到更多的特征,最后再总结筛选出优秀的特征出来。另外使用了Linearbottlenecks来避免Relu函数对特征的损失。v3:利用神经结构搜索(NAS来完成V3,并继承了V1的深度可分离卷积和v2的倒置残差结构。并且使用h-swish激活函数来简化swish的计算量,h的意思就是hard。对于网络输出的后端,也就进行了优化。
ShuffleNet系列