高密仿真房产证书制作不动产证件专业定制
”皮查伊说，他“将承担起恢复（员工）信任的责任。
ResNet
论文标题：DeepResidualLearningforImageRecognition
核心解读：cvpr2016最佳论文奖，ImageNet当年的冠军。论文提出的残差连接几乎可以在每一个CNN中看到身影。网络的深度是提高网络性能的关键，但是随着网络深度的加深，梯度消失问题逐渐明显，甚至出现退化现象。所谓退化就是深层网络的性能竟然赶不上较浅的网络。
本文提出残差结构，当输入为x时其学习到的特征记为H(x)，现在希望可以学习到残差F(x)=H(x)-x，因为残差学习相比原始特征直接学习更容易。当残差为0时，此时仅仅做了恒等映射，至少网络性能不会下降。正如kaiming所说“简单才能接近本质”，就是一条线连一下。让我想到了工程师划线的典故，重点不是画线，而是把线画到哪。该论文提出了resnet18、resnet34、resnet50、resnet101、resnet152不同量级的结构，依然是现在分类网络中的主流，以及目标检测、语义分割等算法的主流骨架网络。
SeNet
论文标题：Squeeze-and-ExcitationNetworks
核心解读：它赢得了最后一届ImageNet2017竞赛分类任务的冠军。重要的一点是SENet思路很简单，很容易扩展在已有网络结构中。SE模块主要包括Squeeze和Excitation两个操作。Squeeze操作：将一个channel上整个空间特征编码为一个全局特征，采用GAP来实现，Sequeeze操作得到了全局描述特征。
接下来利用Excitation操作将学习到的各个channel的激活值（sigmoid激活，值0~1作用到原始特征上去。整个操作可以看成学习到了各个channel的权重系数，从而使得模型对各个channel的特征更有辨别能力，这应该也算一种attention机制。
Inception系列
论文标题：v1:Goingdeeperwithconvolutionsv2:BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShiftv3:RethinkingtheInceptionArchitectureforComputerVisionv4:Inception-v4,Inception-ResNetandtheImpactofResidualConnectionsonLearning
核心解读：该系列的前身都是GoogLenet，其提升网络性能的方式就是增加网络深度和宽度，深度指网络层次数量、宽度指神经元数量。于是就有了上图的经典inception结构，简单来说就是并行采用不同大小的卷积核处理特征，增加网络的处理不同尺度特征的能力，最后将所有的特征concat起来送入下面的结构。v1:把GoogLenet一些大的卷积层换成1*1,3*3,5*5的小卷积，这样能够大大的减小权值参数量。v2:就是大名鼎鼎BN那篇文章，网络方面的改动就是增加了BN操作，可以看BN那部分的介绍。v3：利用分离卷积的思想，把googLenet里一些7*7的卷积变成了1*7和7*1的两层串联，3*3同理。这样做的目的是为了加速计算，减少过拟合。v4：把原来的inception加上了resnet中的残差结构。
MobileNet系列
论文标题：v1:MobileNets:EfficientConvolutionalNeuralNetworksforMobileVisionApplicationsv2:MobileNetV2:InvertedResidualsandLinearBottlenecksv3:SearchingforMobileNetV3
核心解读：轻量级网络的代表作，核心操作就是把VGG中的标准卷积层换成深度可分离卷积，计算量会比下降到原来的九分之一到八分之一左右。v1:原本标准的卷积操作分解成一个depthwiseconvolution和一个1*1的pointwiseconvolution操作;v2:使用了Invertedresiduals(倒置残差)结构，就是先利用1X1卷积将通道数扩大，然后进行卷积，再利用1X1卷积缩小回来，和Resnet的Bottleneck恰好相反。通过将通道数扩大，从而在中间层学到更多的特征，最后再总结筛选出优秀的特征出来。另外使用了Linearbottlenecks来避免Relu函数对特征的损失。v3:利用神经结构搜索（NAS来完成V3，并继承了V1的深度可分离卷积和v2的倒置残差结构。并且使用h-swish激活函数来简化swish的计算量，h的意思就是hard。对于网络输出的后端，也就进行了优化。
ShuffleNet系列
