虽然现有的神经网络纷繁复杂，但大多都是从几个最著名网络中演变出来的。我们可以简单地将皮肤损伤分割问题理解为计算机视觉中的示例分割问题，即先进性目标检测然后语义分割。而作为特征提取的卷积神经网络，是复杂网络的基石。在这里，我们先介绍图像特征提取，语义分割，目标检测领域中几个最常见的网络结构。

1. 卷积神经网络

VGG：在全卷积神经网络(Fully Convolutional Networks)出现以前，卷积神经网络(Convolutional Neural Networks)因其良好的特征提取能力被广泛应用到分类问题中。其中最常见的网络是牛津大学视觉几何组提出的VGG系列 [1]。在这里我们以VGG 16 作为示例 (图1)，它由16个卷积层，3个全连层和一个softmax分类层组成。每层均可看作是特征图谱。输入是彩色图 (三维数组)，这其中的每一层都可以进一步处理，例如滤波 (例如: sigmoid，ReLU)，池化 (例如: MaxPooling, AveragePooling)。并由全连层计算最终分类参数，最后Softmax层用来计算每个输出节的条件概率。

ResNets: 在一些复杂网络中，训练过程中尝尝会出现退化问题 (Degradation)，即由于网络深度的增加，训练精度会先饱和然后迅速下降。为了解决该问题，一个深度残差学习网络 (Residual learning framework - ResNets)被提出用来代替VGG。相比于直接将每个堆叠层 (Stacked layers) 映射到所需的底层上，可以将这些层映射到残差层 (图2)。即如果输入第一层的值为x，而我们需要底层映射为 H(x)，我们将最终目标转化成残差函数: F(x) = H(x) - x，输出为 F(x) + x。 对应到图示2中，x作为输入，两层以后的输出为 F(x)=(W1×x)×σ×W2, 其中σ代表ReLU。如果x与F的维度不同，则输出可由F(x) + Wx计算， W为维度调整卷积矩阵。对于一些更深的网络，例如: ResNet-50/101/152, 采用3层堆叠代替两层堆叠以节省训练时长。                                           

2. 语义分割

即针对图像中每个像素点分类到对应类别中，相比于只在特定几种类别中分类更为密集 (Dense prediction)。

2.1 FCN (Fully Convolutional Network) [2]

从Encoder-Decoder (编译-解码)结构上发展而来。Encoder 从输入图片中获取低分辨率特征，然后Decoder通过上采样特征映射到全分辨率分割图 (Full-resolution segmentation map)。为了增加decoder结构，原有的输出分类权重的全连层被移除 (VGG 16) 并由转置卷积层替换 (Transpose convolutional layer)。由此产生的问题是，由于在预先池化过程中丢失了信息，上采样获得的分割结果并不准确。所以需要引入跃连接 (Skip connections)，将encoder中较高分辨率的特征图与转置卷积层连接，如图3。最终的Heatmap是通过整合上采样获得的特征图得到的。相比于FCN-16，FCN-32， FCN-8融合了更多的先前的特征图，因此在分割上有更好的表现。整个网络是基于像素级的交叉熵损失训练的。最近才被提出的诸如：Unet, SegNet网络均是在encoder-decoder的结构基础上发展的。

Unet [3]: 通过对FCN网络改进，即产生一个与encoder对称的decoder结构 (U型结构，如图4)，主要用于处理生物医学图像。不同于FCN网络中直接综合将encoder和Decoder的特征图，它将上采样中的特征图与下采样中相应的裁剪特征图连接起来。并且将数据扩充 (Data augmentations)作为一个学习过程中的关键概念，虽然数据扩充在FCN中并没有带来明显地提高。  

SegNet [4]: 其结构与Unet网络相似，但其上采样过程依赖于从其编码器传输的池索引生成稀疏特征映射 (Sparse feature map), 从训练结果上来看这种方法更加快速。

2.2 Dilated/atrous convolutions [5]

Deeplab V3 [6]: 如图6所示，由ResNet, atrous convolutions 和 Atrous spatial pyramid pooling (ASPP)组成。Atrous卷积也叫扩张卷积。

下图分别是一维Atrous卷积 (左) 和 ASPP (右)，其中ASPP通过多个不同采样率的并行atrous卷积层，捕获多尺度信息。DeepLab V3使用预训练ResNet作为主要的特征提取网络。相比于常规卷积，ResNet最后一层使用Atrous卷积。然后是改进的ASPP，其包括图像级特征的串联，一个1x1卷积和三个3x3的不同比例的卷积。在每个并行卷积层之后使用Batch normalization，然后bilinearly将特征上采样到所需的空间维度。

3. 目标检测

Faster R-CNN [7]: 其主要由两个网络构成: Region proposal network (RPN) 与基于区域的卷积神经网络R-CNN。并可以分为四大主要模块：

第一部分是基本特征提取模块，通常由卷积网络完成 (例如VGG16)。

第二部分是区域选择模块 (RPN)，以anchor boxes与客观值作为参考输出Bounding Box。锚点被放置在图像上滑动的每个卷积滤波器的中心。锚盒以不同的固定尺寸和一组盒子的宽度和高度之间的比例放置在整个图像中，并使用所有可能的尺寸和比例组合。客观分值是二进制分值，它只判断对象或背景。通过设置阈值来区分前景和背景。当IoU大于0.5则被认为是目标物反之为背景。训练过程中：1）首先在anchors中随机抽样形成一组大小为256的集，包含一定比例的前景和背景。2）RPN通过Binary cross entropy计算该集合中所有anchors的分类损失。并且使用光滑的L1损失函数对只包含目标的anchors计算回归损失。对于multi-task损失通过计算各类损失的加权和得到。当然，RPN也可用于单一目标检测。

第三部分是ROIs的池化，裁剪每个提案框中的卷积特征图，然后使用插值将每个裁剪调整为固定大小，以便稍后R-CNN的处理。

最后一部分是计算两个不同的全连通层输出类的得分和回归预测。

4. 实例分割 Instance Segmentation

Mask-RCNN [8]: 其由用于定位目标的Faster R-CNN结构与用于产生分割结果的FCN网络构成。另外，与已有的分类回归预测分支并行增加一个FCN，用于预测每个ROI上的分割mask。另一个改变在于ROI池化步骤，在以前的ROI池中，一个浮点数的ROI必须根据目标特征映射的边界进行重新调整。这就导致了ROI和提取的特征之间的失调。为解决该问题，Mask R-CNN利用双线性插值计算输入特征的精确值，该过程也被称为ROI align。这一改进可以大概提高10%-50%mask的准确率。多目标损失通过叠加计算。与Faster R-CNN不同的是对于特征提取Mask R-CNN使用的是ResNet而不是VGG 16。

5. 皮肤癌分割网络

Two-Stage Method [9]: 即设计一种用于检测和分割的Mask-RCNN网络 (图a)。在该网络中对原有的FCN分割部分用新的网络 (图b)替换。这将解决由于损伤区域大小不一致导致的精确度低的问题。在特征提取部分依旧采用的是encoder-decoder的方法，并用ResNet对维度进行调整。并利用ASPP解决多尺度问题。同样使用了Skip connection对原有的细节特征进行保留。

值得注意的是优化的ASPP主要由三部分组成，密集的ASPP，标准卷积层和池化层。为了减少病变模糊的影响，在致密的ASPP中加入标准卷积层。分割部分输入8个通道，RBG通道，hue - satur- value color空间中的SV通道，CIELAB空间中的lab通道。输入的图像也旋转90度、180度，并弹出以生成其他三个图像。最后的Mask是这些图像的四个结果的平均值。在训练方面，分割部分的输入图像在检测部分预测的边界框附近的范围内随机裁剪。

参考文献

[1] Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014)

[2] Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.

[3] Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.

[4] Badrinarayanan, Vijay, Alex Kendall, and Roberto Cipolla. "Segnet: A deep convolutional encoder-decoder architecture for image segmentation." arXiv preprint arXiv:1511.00561 (2015).

[5] L.-C.Chen,G.Papandreou,I.Kokkinos,K.Murphy,andA.L. Yuille. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs. arXiv:1606.00915, 2016.

[6] Chen, Liang-Chieh, et al. "Rethinking atrous convolution for semantic image segmentation." arXiv preprint arXiv:1706.05587 (2017).

[7] Ren, Shaoqing, et al. "Faster r-cnn: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.

[8] He, Kaiming, et al. "Mask r-cnn." Computer Vision (ICCV), 2017 IEEE International Conference on. IEEE, 2017.

[9] Qian, Chengyao, et al. "A Two-Stage Method for Skin Lesion Analysis." arXiv preprint arXiv:1809.03917 (2018).