An extraction method for sea ice based on improved DeepLabV3+ model：Taking the Arctic Greenland Sea as an example
-
摘要: 海冰是全球气候变化的指示剂，北极海冰的变化关系到全球变暖、海平面上升等。针对传统语义分割模型对海冰进行提取时存在细节提取不精确、提取速度慢等问题，构建了一种改进DeepLabV3+的海冰提取方法。首先，将主干网络Xception替换为MobileNetV2，在保证海冰提取精度的同时大幅度降低模型参数量，节约时间；其次，将ASPP改进为DenseASPP，在进行海冰的多尺度特征提取时进一步扩大感受野，获得更为密集的特征；最后，引入坐标注意力机制，同时强化关注通道和空间上的特征，加强海冰边缘细节信息提取。选取北极格陵兰海为实验区，通过对该海域2020–2022年间冬季的10景Sentinel-1A双极化SAR影像进行处理、标注之后形成数据集进行实验，对比U-Net、PSPNet和DeepLabV3+等经典模型。结果表明：本文方法的mIoU达到了88.46%，mPA达到了94.16%。相较于传统DeepLabV3+，mIoU提高了2.35%，mPA提高了2.90%，参数量和GFLOPs分别减少了45.08 M和106.01 G，同时训练模型时间和提取海冰时间分别减少了68%和30%。对比U-Net、PSPNet等模型，同样取得了最优结果。与其他模型相比，本文新构建的模型对海冰特征的学习能力更强，能获取更多海冰细节信息，并大幅度节约用时，能够为研究全球变暖环境下的海冰退化监测问题提供技术支持。
-
关键词:
- 海冰提取 /
- 深度学习 /
- MobileNetV2 /
- DenseASPP /
- 坐标注意力
Abstract: Sea ice is an indicator of global climate change, and the change of Arctic sea ice is related to global warming and sea level rise. Aiming at the problems such as inaccuracy and slow speed of extracting details from sea ice by traditional semantic segmentation model, an improved DeepLabV3+ sea ice extraction method was constructed. Firstly, we replaced the Xception backbone network with MobileNetV2, which significantly reduces the network’s parameter count and save time while maintaining the accuracy of sea ice extraction. Secondly, we enhanced the ASPP module to DenseASPP, further expanding the receptive field during multi-scale feature extraction for sea ice, resulting in denser features. Lastly, we introduced a coordinate attention mechanism to strengthen the focus on both channel and spatial features, enhancing the extraction of fine edge details in sea ice. The Greenland Sea in the Arctic is selected as the experimental area, and 10 Sentinel-1A dual-polarization SAR images from the winter of 2020 to 2022 in the sea area are processed and labeled to form a data set for the experiment, we compared our method with classic models such as U-Net, PSPNet and DeepLabV3+. The results showed that our method achieved anmIoU of 88.46% and an mPA of 94.16%. Compared to the traditional DeepLabV3+, mIoU increased by 2.35%, mPA increased by 2.90%, and the parameter count and GFLOPs decreased 45.08 M and 106.01 G, respectively. Meanwhile, the training time and sea ice extraction time decreased by 68% and 30%, respectively. Compared to U-Net、PSPNet and other models, the optimal results are also obtained. Compared with other models, the new model constructed in this paper has a stronger learning ability about sea ice characteristics, can obtain more detailed information of sea ice and greatly saves time, and can provide technical support for the study of sea ice degradation monitoring under global warming environment.-
Key words:
- sea ice extraction /
- deep learning /
- MobileNetV2 /
- DenseASPP /
- coordinate attention
-
1. 引言
海冰是全球气候变化的指示剂，随着全球变暖，北极海冰的消融速度逐渐加快，海冰覆盖范围呈下降趋势[1]。海冰是北极不可或缺的一部分，同时也对气候变化十分敏感[2]。北极海冰的持续消融对全球气候的影响不容忽视，因此对北极海冰的监测也愈发重要。合成孔径雷达（Synthetic Aperture Radar，SAR）具有全天时、全天候、不受天气条件限制的监测能力。相较于光学卫星，SAR卫星在北极地区极夜的环境中也能不间断地获取数据，在北极海冰监测中表现出了优异的性能，被广泛应用于北极海冰监测任务[3–5]。
在过去的几十年里，利用遥感技术提取海冰已成为广泛研究的主题。传统海冰提取大多依赖于图像的灰度信息和机器学习方法。周颖等[6]提出了分区梯度差分与双峰阈值分割法，从海冰光谱特征和灰度分布特征出发解决了海冰提取的问题。臧金霞等[7]利用距离可分性作为判据得到最优特征集，结合支持向量机的方法获得了辽东湾的海冰分类结果。朱立先等[8]利用灰度共生矩阵提取纹理特征，完成了北极西北航道的海冰分类工作，分类精度为73.15%。在机器学习方法的应用方面，王志勇等[9–10]提出了一种联合极化目标分解特征和纹理特征的全极化SAR海冰类型提取方法，将极化分解特征和纹理特征组合构建联合特征矢量，基于支持向量机分类器实现了极化SAR图像海冰类型的提取。随后，其提出了一种融合纹理特征与归一化差分植被指数（Normalized Difference Vegetation Index，NDVI）的随机森林海冰精细分类方法，基于光学遥感影像实现了胶州湾海冰的精细分类。吴斌等[11]构建了一种雷达高度计海冰波形特征优选方法，结合随机森林分类器完成了北极地区的海冰分类。Zakhvatkina等[12]基于支持向量机方法，将纹理特征作为图像分类的附加信息，实现了格陵兰岛和法兰士约瑟夫地群岛之间的海冰提取。然而，上述的传统海冰提取方法均需要大量提取特征并且在每次海冰提取时都需要手动选择样本，传统海冰提取方法在效率和准确率上面临一些问题[13]。由于北极地区的气象环境复杂，风速较快，导致海冰漂移速度快，海冰变化较为迅速，需要更加快速、实时、准确的对海冰进行监测。近年来，深度学习模型在语义分割领域取得了重大突破，得益于卷积神经网络优异的特征提取能力，模型精度有了进一步的提升。同时深度学习模型在一次训练完成后即可进行相关的海冰提取工作，不需要多次地提取特征和选择样本，相较于传统海冰提取方法在效率上有所提升。因此，引入先进的深度学习模型提升海冰提取精度和效率是一个有效策略。
深度学习模型，特别是卷积神经网络，在图像识别和语义分割领域取得了显著的成果。Long等[14]在2015年首次提出了全卷积神经网络，开启了深度学习在语义分割领域广泛应用的新篇章。崔艳荣等[15]利用卷积神经网络开展了渤海冰水分离的工作，证实了卷积神经网络在遥感海冰分类中的可行性。郑付强等[16]提出了一种基于U-ASPP-Net的独立海冰分割算法，该算法在U-Net的基础上引入了空洞空间金字塔池化模块和空洞深度可分离卷积，构建了新型独立海冰分割网络U-ASPP-Net，对格陵兰岛附近的海冰进行了精细识别。黄冬梅等[17]将卷积神经网络（Convolutional Neural Networks，CNN）和深度置信网络（Deep Belief Networks，DBN）模型应用于哈得孙湾地区的冰水分类实验，两种模型的总体分类准确率达到93%。徐欢和任沂斌[18]设计了混合损失函数优化的U-Net模型用于渤海的海冰监测，提高了模型对海冰细节的检测能力。上述深度学习模型虽然取得了较高的海冰提取精度，但是由于大都使用VGG系列、ResNet系列等大型主干特征提取网络进行海冰特征的提取，在进行海冰提取时占用的电脑内存资源较多。同时大型网络在进行海冰提取任务时效率较低，难以完成北极地区的快速海冰提取任务。
为了解决传统语义分割模型在大范围海冰提取时的问题，本文基于Sentinel-1宽幅双极化SAR影像，在传统DeepLabV3+的基础上加入MobileNetV2网络、密集连接空洞空间金字塔池化（Dense Atrous Spatial Pyramid Pooling，DenseASPP）模块和坐标注意力（Coordinate Attention，CA）机制模块，构建了一种改进DeepLabV3+模型的海冰提取方法，并用于北极格陵兰海的冬季快速海冰提取。
2. 研究方法
为了快速、准确地提取北极大范围海冰的空间分布，本文构建了一种改进DeepLabV3+模型的海冰提取方法。首先对SAR影像进行热噪声去除、辐射定标、滤波、转dB影像等预处理操作得到后向散射特征，然后通过HH、HV、HH/HV 3个波段RGB合成得到假彩色影像。通过对假彩色影像进行标注、裁剪，获得了海冰样本数据集，利用MobileNetV2、DenseASPP和坐标注意力机制对传统DeepLabV3+进行改进，得到用于海冰提取的网络模型，最后将宽幅双极化SAR数据输入本文构建的模型，获取实验区的海冰空间分布信息。本文的总体流程如图1所示。
2.1 MobileNetV2
MobileNetV2[19]是一种轻量级深度卷积神经网络架构，旨在提供高性能的计算机视觉任务解决方案，同时具有较低的模型大小和计算成本。MobileNetV2是MobileNet系列的第二代，继承了其前身的轻量级特点，并在性能和计算效率上进行了改进。MobileNetV2的核心设计是深度可分离卷积，有助于减少参数数量和计算复杂度，加速海冰特征的提取。深度可分离卷积包括深度卷积和逐点卷积，首先深度卷积对每个通道使用3 × 3的卷积核进行特征提取，然后逐点卷积使用1 × 1的卷积核进行特征升维，生成最终的输出特征图。MobileNetV2引入了倒残差模块，这个模块包括扩展层、深度卷积层和投影层。扩展层用于增加通道的数量，以便提取更多海冰信息。然后，深度卷积层进行深度可分离卷积操作，最后通过投影层将通道的数量减少回来，这种结构有助于在减少计算复杂度的前提下最大限度地保留海冰特征的丰富性。以上各模块的配合使MobileNetV2具有了轻量化的优点，能够更好地提升海冰提取任务的效率。
2.2 DenseASPP
受DenseNet[20]启发，Yang等[21]用密集连接替换了空洞空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）中四条并联的特征提取分支，提出了DenseASPP模块。DenseASPP模块的核心思想是在一个密集连接的网络结构中集成ASPP模块。密集连接是指将来自不同层的特征图进行级联，使得每一层都能直接访问来自其前面所有层的信息。通过密集连接，可以在不同层级之间传递提取到的海冰特征，从而促进了海冰特征利用的最大化。DenseASPP模块由以下关键组件组成：①多尺度ASPP分支：与传统的ASPP模块类似，DenseASPP模块也包含多个并行的空洞卷积分支，每个分支使用不同的扩张率来捕获不同尺度的海冰信息。相较于ASPP，DenseASPP具有更大的扩张率，从而能够提取到更大尺度的海冰特征。②密集连接机制：DenseASPP模块中的每个分支都与其他分支进行密集连接，使得每个分支都能直接接收来自其他分支的海冰特征图。③1 × 1卷积：在连接不同分支后，通常会使用1 × 1卷积来减少特征图的通道数，以降低在海冰特征提取过程中的计算复杂性。因此，DenseASPP可以更好地利用提取到的海冰特征，在进行海冰提取任务中能够更好地恢复海冰边缘信息，增强海冰边缘的提取效果。
2.3 坐标注意力机制
在海冰提取任务中，海冰边缘分布的小目标海冰数量较多，为进一步提升模型对细碎海冰的提取能力，可以在模型中引入注意力机制。坐标注意力机制是2021年提出的新颖的轻量级注意力机制，能够同时考虑通道间关系以及长距离的位置信息，可有效地提升模型的准确率，而且仅带来少量的计算消耗。传统的注意力机制，例如通道注意力机制经典网络SENet[22]，仅仅考虑通道之间的关系来衡量每个通道的重要性，往往会忽略海冰特征的位置信息。尽管后来的CBAM[23]（Convolutional Block Attention Module）尝试在降低通道数后通过卷积来提取位置注意力信息，但卷积只能提取局部关系，缺乏长距离关系提取的能力，并且通道和空间的注意力信息的提取是割裂开来分别进行的，相较于SENet提升有限。为此，本文使用一种融合空间与通道信息的新型注意力方法—坐标注意力机制[24]，其结构如图2所示。将其与DeepLabV3+模型结合，在保证实时性的基础上，进一步提高细碎海冰的提取精度。
坐标注意力机制将全局池化进行两个维度的分解，即使用（H，1）或（1，W）的池化核，使其分别沿着垂直坐标与水平坐标方向对每个通道进行编码操作，即可将上述全局池化编码公式分解为
$$ \mathop Z\nolimits_c^h \left( h \right) = \frac{1}{H}\sum\limits_{0 \leqslant i \leqslant W}^{} {{x_{\text{c}}}} \left( {h,\;i} \right) ,$$ (1) $$ \mathop Z\nolimits_c^w \left( w \right) = \frac{1}{H}\sum\limits_{0 \leqslant j \leqslant H}^{} {{x_{\text{c}}}} \left( {j,\;w} \right), $$ (2) 式中，H、W分别为特征图的高度和宽度；h、w分别为当前输入特征图的高度和宽度；
$ \mathop Z\nolimits_c^h $ 为第c通道处高度为h的特征图；$ \mathop Z\nolimits_c^w $ 为第c通道处宽度为w的特征图；i为[0, W]范围内某一列的索引，j为[0, H]范围内某一行的索引。基于以上生成的两个特征，进一步将两个特征图进行合并操作，然后使用1 × 1的卷积，对其进行变换操作：$$ f = \delta \left( {{F_1}\left[ {{z^h},\;{z^w}} \right]} \right) , $$ (3) 式中，F1为1 × 1的卷积变换函数；方括号表示沿空间维度的合并操作；
$ \delta $ 为非线性激活函数h-Swish；f为中间特征。将中间特征映射f分解成两个单独的张量$ {f^h} \in {R^{C/r \times H}} $ 和$ {f^w} \in {R^{C/r \times W}} $ ，r为模块大小缩减率。分别将$ {f^h} $ 与$ {f^w} $ 变换为具有相同通道数的张量，并经过sigmoid激活，得到的$ {g^{\mathrm{h}}} $ 与$ {g^{\mathrm{w}}} $ 为$$ {g^{\mathrm{h}}} = \sigma \left( {{F_{\mathrm{h}}}\left( {{f^{\mathrm{h}}}} \right)} \right), $$ (4) $$ {g^{\mathrm{w}}} = \sigma \left( {{F_{\mathrm{w}}}\left( {{f^{\mathrm{w}}}} \right)} \right), $$ (5) 式中，
$ {g^{\mathrm{h}}} $ 和$ {g^{\mathrm{w}}} $ 分别为垂直方向和水平方向生成的注意力权重；$ {F_{\text{h}}} $ 和$ {F_w} $ 分别为垂直方向和水平方向上的卷积操作；$ {f^{\mathrm{h}}} $ 和$ {f^{\mathrm{w}}} $ 分别为垂直和水平方向上的中间特征图。最后得到的注意力模块输出为$$ {y_c}\left( {i,j} \right) = {x_c}\left( {i,\;j} \right) \times g_c^h\left( i \right) \times g_c^w\left( j \right), $$ (6) 式中，
$ {y_c}\left( {i,\;j} \right) $ 、$ {x_c}\left( {i,\;j} \right) $ 分别为第c通道处的输出特征图和输入特征图；$ g_c^{\mathrm{h}}\left( i \right) $ 、$ g_c^{\mathrm{w}}\left( j \right) $ 分别为第c通道处垂直和水平方向上生成的注意力权重。2.4 本文模型结构
本文在DeepLabV3+模型的基础上，采用MobileNetV2特征提取网络来代替原始的Xception网络，以实现模型的轻量化，提升海冰提取的速度。MobileNetV2特征提取网络采用深度可分离卷积的结构，这种结构通过将标准卷积操作分为两个步骤：深度卷积和逐点卷积，从而减少计算量和参数量，在保证海冰提取精度的同时降低模型的运行时间和占用的内存空间。其次，采用密集连接的DenseASPP模块代替ASPP模块。传统的ASPP模块是为了捕获不同感受野大小的上下文信息而被提出的，它通常采用多个并行的空洞卷积分支，这些分支提取的特征是相互独立的。而DenseASPP可以通过跳跃连接来共享各个分支之间的特征信息，使原本相互独立的特征联系起来，生成更密集的特征金字塔，促使海冰提取特征的利用最大化。DenseASPP的另一个好处是可以在不增大卷积核膨胀率的同时生成更大的海冰特征感受野，因此避免了ASPP在增大卷积核膨胀率时出现的核退化问题。最后，我们在DenseASPP模块提取的深层特征层和MobileNetV2提取的浅层特征层后分别引入了坐标注意力机制，该机制既可以对不同位置的像素进行自适应加权，使网络能够更好地关注重要的海冰像素位置，又能够同时考虑每个通道之间的关系来衡量不同通道之间海冰特征的重要性，从而提高边界细节的准确性和海冰提取的精度，以进一步提升海冰提取的性能，其整体结构如图3所示。
2.5 精度评价指标
本文使用平均交并比（mean Intersection over Union, mIoU），平均像素精度（mean Pixel Accuracy, mPA），平均精确率（mean Precision, mP）进行海冰提取模型性能评估，IoU表示对某一类别预测结果和真实值的交集与并集的比值；PA表示预测类别正确的像素数占总像素数的比例；P表示预测对的值占预测总值的比例。另外，本文以模型参数量Parameters和GFLOPs作为评价指标，探究模型轻量化的效果。mIoU、mPA、mP表示求所有类的平均。具体计算公式如下所示：
$$ {\mathrm{mIoU}} = \frac{1}{{K + 1}}\sum\nolimits_0^k {\frac{{{\mathrm{TP}}}}{{{\mathrm{TP}} + {\mathrm{FP}} + {\mathrm{FN}}}}}, $$ (7) $$ {\mathrm{mPA}} = \frac{1}{{K + 1}}\sum\nolimits_0^k {\frac{{{\mathrm{TP}} + {\mathrm{TN}}}}{{{\mathrm{TP}} + {\mathrm{TN}} + {\mathrm{FP}} + {\mathrm{FN}}}}} ,$$ (8) $$ {\mathrm{mPrecision}} = \frac{1}{{K + 1}}\sum\nolimits_0^k {\frac{{{\mathrm{TP}}}}{{{\mathrm{TP}} + {\mathrm{FP}}}}}, $$ (9) 式中，TP表示模型预测为正样本，实际是正样本；FP表示模型预测为正样本，实际是负样本；FN表示模型预测为负样本，实际是正样本；TN表示模型预测为负样本，实际是负样本。K表示所分类别数，本文K取3，分别为海冰、海水和陆地。
2.6 数据集制作与实验平台
本文采用Sentinel-1宽幅双极化SAR影像进行假彩色合成，R、G、B 3个波段分别为HHdb、HVdb、HHdb/HVdb。由于一景Sentinel-1 SAR影像覆盖的地表范围很大，大小是普通图片的数千倍，所以图像切割为512 × 512像素的遥感图像，生成具有
5060 张图像的数据集。然后对数据集进行了划分，70%（3542 张）的数据进行训练，30%（1518 张）的数据进行验证。模型采用主流深度学习框架Pytorch实现，机器软硬件配置见表1。
表 1 实验平台主要参数信息Table 1. Main parameters of the experimental platform配置 参数 处理器 i5-12490F CPU @ 3.00 GHz RAM 16.0 G GPU NVIDIA GeForce RTX 3060 显存 12.0 GB 操作系统 Windows 10 编程语言 Python 3.9 深度学习框架 Pytorch 1.13 3. 研究区与数据源
3.1 研究区
研究区域选在北极格陵兰海域，格陵兰海位于格陵兰岛以东，斯瓦尔巴群岛以西，位于66°～80° N之间。格陵兰海是北冰洋和北大西洋之间的主要海洋通道，是研究海冰变化的关键区域，也是北极海冰输送的最大输出口。温暖的北大西洋暖流，经西斯瓦尔巴群岛边缘由南向北流经格陵兰海。东格陵兰寒流则将北冰洋冰冷的海冰和海水经由格陵兰岛沿岸由北往南输送。该区域海冰经历了融化、漂移、冻结的过程，对气候变化十分敏感，受全球变暖的影响较为严重。基于以上特点，本文将格陵兰海作为实验区。
3.2 数据源
Sentinel-1是欧空局地球观测卫星计划的一部分，旨在提供全天候、高分辨率的雷达遥感数据。Sentinel-1卫星包含Sentinel-1A、Sentinel-1B两颗卫星，Sentinel-1A于2014年4月发射，Sentinel-1B于2016年4月发射。一颗Sentinel-1卫星的全球重访周期为12 d，双星星座的设计使其将重访周期缩减至6 d。Sentinel-1提供C波段全天候、昼夜连续的地球表面图像。Sentinel-1主要有SM（Strip Map）模式、IW（Interferometric Wide swath）模式、EW（Extra Wide swath）模式、WM（Wave Mode）模式等成像模式，其中EW模式以牺牲分辨率的代价换取了更大的成像范围，更适用于进行海洋、海冰和极地地区的监测任务。
本文选用覆盖格陵兰海域的10景Sentinel-1 EW模式的中分辨率地距影像（Ground Range Detected Medium，GRDM），产品等级为Level-1级别。EW模式以牺牲空间分辨率为代价提供了非常大的区域覆盖，因此本文所选影像的幅宽可达400 km × 400 km，像元大小仅为40 m × 40 m。冬季北极地区海冰分布范围较大，大量的海冰对船舶航行的影响较为严重，因此本文选取影像的时间跨度为2020年2月至2022年12月，从2021年冬季选取7景影像用于训练模型，从2020年、2021年、2022年冬季选取3景影像用于验证本文新构建模型对不同年份冬季海冰提取效果，具体实验数据如表2所示。
表 2 具体实验数据Table 2. Specific experimental data序号 传感器 成像日期 模式 极化方式 用途 1 Sentinel-1B 2021.12.01 EW HH、HV 训练 2 Sentinel-1B 2021.12.08 EW HH、HV 训练 3 Sentinel-1B 2021.12.09 EW HH、HV 训练 4 Sentinel-1A 2021.12.21 EW HH、HV 训练 5 Sentinel-1A 2021.12.22 EW HH、HV 训练 6 Sentinel-1A 2021.12.30 EW HH、HV 训练 7 Sentinel-1A 2021.12.30 EW HH、HV 训练 8 Sentinel-1A 2020.02.28 EW HH、HV 验证 9 Sentinel-1A 2021.12.01 EW HH、HV 验证 10 Sentinel-1A 2022.12.01 EW HH、HV 验证 4. 实验结果与讨论分析
4.1 提取结果
首先选取格陵兰海域在2022年12月1日获取的一景Sentinel-1双极化SAR影像从整体测试各模型海冰的提取效果。将本文获得的结果与U-Net、PSPNet和传统DeepLabV3+的提取结果进行对比，得到的结果如图4所示。图4a为RGB假彩色合成影像，图4b为U-Net获得的提取结果，图4c为PSPNet获得的提取结果，图4d为传统DeepLabV3+获得的提取结果，图4e为本文改进DeepLabV3+获得的提取结果。
从图4中可以看出，U-Net的提取结果在海冰的内部较为细致，很多零碎海冰和细小的冰间水道被正确识别。但是在图像的右上方，在本该是海水区域的位置出现了大块海冰，U-Net在此处出现了海水海冰混淆提取的问题。在图像右侧的陆地区域，U-Net错误的将陆地识别成了海冰。PSPNet对海冰的提取过于粗糙，在海冰边缘处的提取结果有很多错误，无法准确识别海冰边缘。同时，PSPNet在海冰内部的细节提取也不完善，因此在整张结果图上造成一种结果图被降采样显示的错觉，整体结果较差。传统DeepLabV3+对海冰的边缘提取较好，完整地恢复了海冰和海水的分界线。但是对大块海冰内部的细碎海冰和冰间水道的提取效果不好。以上3种模型共同的缺点为在陆地区域的提取效果较差，都存在将陆地错误归类为海冰或海水的问题。本文改进的DeepLabV3+模型在四种方法中表现出了最为优越的性能，对海冰边缘提取效果较好。相较于传统DeepLabV3+模型，进一步细化了对大块海冰内部的细碎海冰或细小的冰间水道的提取效果。在陆地的提取方面，本文改进的DeepLabV3+模型基本完成了陆地提取，克服了其他3种模型在陆地区域提取效果较差的共同缺点。虽然同样将一小块陆地识别成了海冰，但相比于其他3种方法有了很大的改善。
因为上述整景Sentinel-1双极化SAR影像范围过大，幅宽达到了400 km × 400 km，无法从细节上对比各方法的提取结果，因此，选择了5个小区域进行细节对比，更直观地显示出本文方法的优越性，如图5所示。其中图5a为RGB假彩色合成图，图5b为使用labelme制作的地面真实标签，图5c为PSPNet的对应结果图，图5d为U-Net的对应结果图，图5e为传统DeepLabV3+的对应结果图，图5f为替换MobileNetV2之后对应结果图，图5g为替换DenseASPP之后对应结果图，图5h为添加坐标注意力机制之后对应的结果图，即本文模型的结果图。
从图5中可知，本文模型对大型独立海冰和极小型的细碎海冰的分割效果均优于其他对比模型，对边缘处的分割效果有较大的提升，很少出现将多个独立海冰连通的现象。图5第一行属于大块海冰聚集分布的情况，从图5中可以看出，本文模型完整提取出了大块独立海冰的边缘，结果相较于其他模型更加精确。并且在图像右下角海冰存在小块裂隙的情况下，本文模型也成功完成了小块裂隙的提取，而U-Net、PSPNet和传统的DeepLabV3+均将这一小块裂隙误分成了海冰，提取结果比较粗糙。图5第二行和第三行属于细碎海冰零星分布的情况，从图5中可以看出U-Net、PSPNet出现了细碎海冰的连通问题，众多细碎海冰被分成了海冰整体，而本文模型精确地完成了细碎海冰的提取。图5第四行和第五行属于海水和陆地同时存在的情况，通常在这种情况下会存在海水和陆地混淆的问题，很多学者采用陆地掩膜的方法将陆地进行抠除，使陆地部分不参与分类来避免这一问题。而本文对DeepLabV3+进行改进之后，成功完成了海水和陆地的分离，解决了海水与陆地易混淆的问题，从而能同时进行海冰、海水和陆地的分类。综上所述，相比于其他模型，本文模型对海冰特征的学习能力更强，能获取更多海冰细节信息，更完整地恢复海冰边缘，证明了利用本文模型进行海冰提取的可行性和优越性。
为了定量化地对比各模型的提取效果，采用mIoU、mPA等深度学习精度评价指标对各模型的提取结果进行定量化的精度评价，评价结果如表3所示。在计算深度学习指标的过程中，所使用的数据为模型中的所有验证数据，因此，表3中的结果为整个模型的精度评价结果。从表3中可以看到，与其他模型相比，综合来看本文模型的性能达到最优。相较于PSPNet和U-Net，本文模型的mIoU分别提升了3.03%和2.77%，mPA分别提升了2.74%和3.19%，mP分别提升了1.09%和0.80%。本文改进模型的轻量化的效果明显，相较于PSPNet和U-Net，模型的参数量有了大幅度的降低，分别降低了37.08 M和15.26 M。同时，本文模型的训练用时和测试一整景影像的海冰提取用时相较于PSPNet分别降低了52%和7%，相较于U-Net分别降低了51%和9%。
表 3 对比实验精度评价表Table 3. Comparison of experimental accuracy evaluation tablemIoU mPA mP Parameters GFLOPs 训练
用时提取
用时PSPNet 85.43 91.42 93.73 46.71 M 118.43 G 13h 48min 57 s U-Net 85.69 90.97 94.02 24.89 M 451.71 G 13h 43min 58 s 本文模型
(DeepLabV3+_mbV2_DenseASPP_CA)88.46 94.16 94.82 9.63 M 60.84 G 6h 40min 53 s 为了进一步对比本文改进的DeepLabV3+模型相较于传统DeepLabV3+模型的优越性，进行消融实验探讨各改进模块对模型的贡献，同样采用mIoU、mPA等深度学习精度评价指标对各模型的提取结果进行定量化的精度评价，消融实验精度评价结果如表4所示。从表4中可以看到，与传统DeepLabV3+模型相比，本文改进之后的模型的性能达到最优。相较于传统DeepLabV3+，mIoU提升了2.35%，mPA提升了2.90%，mP提升了0.61%。在将MobileNetV2主干特征提取网络、DenseASPP多尺度特征提取模块和CA注意力机制加入到传统DeepLabV3+模型之后，模型的mIoU分别提升了0.47%、0.71%和1.28%。mPA分别提升了1.35%、1.72%和2.34%。但是在加入MobileNetV2之后，DeepLabV3+_mbV2模型的mP相较于传统DeepLabV3+模型减少了1.28%，这是由于本文学习率、正则化参数等超参数采用自动调整的方式对不同的指标产生了不同的影响，同时MobileNet V2对模型的优化方向和目标有所不同，因此出现mIoU和mPA上升，mP下降的情况。在模型的效率和内存占用方面，本文改进模型的参数量和GFLOPs都有了大幅度的降低，相较于传统模型分别降低了45.08 M和106.01 G。本文模型的训练用时和测试海冰提取用时相较于传统模型分别降低了68%和30%。同时本文模型在加入DenseASPP模块和坐标注意力机制之后，并没有显著提升模型的复杂度，相较于仅加入MobileNetV2网络，参数量和占用内存仅增加了3.82 M和7.96 G，相比于传统的DeepLabV3+，依然保持着轻量化的优点。
表 4 消融实验精度评价表Table 4. Ablation experiment accuracy evaluation tablemIoU mPA mP Parameters GFLOPs 训练
用时提取
用时传统DeepLabV3+ 86.11% 91.26% 94.21% 54.71 M 166.85 G 20h 47min 76 s DeepLabV3+_mbV2 86.58% 92.61% 92.93% 5.81 M 52.88 G 5h 53min 48 s DeepLabV3+_DenseASPP 86.82% 92.98% 94.32% 58.51 M 175.76 G 23h 5min 80 s DeepLabV3+_CA 87.39% 93.60% 94.47% 54.72 M 166.85 G 21h 54min 77 s 本文模型(DeepLabV3+_mbV2_DenseASPP_CA) 88.46% 94.16% 94.82% 9.63 M 60.84 G 6h 40min 53 s 以上实验结果充分证明了本文针对DeepLabV3+的改进以提高北极海冰的提取精度和提取效率是可行且有效的。进一步论证了在海冰提取领域本文模型相对于其他模型的优越性，能够为研究全球变暖环境下的海冰退化监测问题提供技术支持。
4.2 超参数讨论
基于制作的海冰数据集进行训练和验证实验，在不同的模型之间本着控制变量的思想，所有的模型均采用同一种训练策略。经过多次试验，本文所选择的超参数如下所述。批处理（batch size）设置为4。在随机梯度下降（Stochastic Gradient Descent，SGD）优化算法中，动量（momentum）设置为0.9，权重衰减（weight decay）设置为
0.0004 ，神经元失活率（dropout rate）设置为0.5，下采样（down sampling）倍数设置为8，学习率在7×10–5和7×10–3之间自动调整，迭代轮数设置为100。在训练过程中，模型每完成一次迭代进行一次验证，记录Loss值、mIoU、mPA以及mP。通过以上操作，可以及时掌握模型的训练情况。由图6可知，各模型的Loss值随着迭代轮数的增加而降低，并且稳定在了一个较低的水平，证明本文训练策略的有效性。在深度学习中，下采样是指通过减小输入数据的尺寸来降低空间分辨率的过程，有助于减少计算负担、提高模型的计算效率，并且可以增加模型的感受野，有助于学习更抽象的特征。在MobileNetV2主干特征提取网络中，网络使用下采样来提取更抽象、更深层次的特征，然而深层次的语义信息是否对训练效果有贡献仍需讨论。因此，对本文改进后的DeepLabV3+模型训练时采用不同下采样因子获得的训练效果进行分析。
在模型的运行过程中每一个样本经过模型后都会得到一个预测值，得到的预测值和真实值的差值就称为损失函数，即Loss函数。Loss函数可以很好地反映模型与实际数据的差距，损失函数的值越小，模型的收敛性越好，表明模型的训练效果越好。本文记录了不同下采样倍数下Loss函数在100个epoch内的损失值变化，如图7a所示。在理论上来说，下采样因子越小，需要占用的电脑资源就越多，采样的效果就越好。但是从实际情况中可以看出，在16倍下采样下模型的Loss值在0.138附近趋于平滑；8倍下采样下模型的Loss值最优在0.113附近；而4倍下采样下模型的Loss值在0.140附近趋于平滑。结果表明，随着采样因子的逐渐减小，Loss值并没有按理论预计出现随之减小，训练效果更优的情况，而是在8倍下采样下Loss值呈现出了最低值，出现了最优的训练效果。
图 7 相关指标与下采样因子关系曲线Figure 7. Relation curve of correlation index and downsampling factormIoU是模型对每一类预测的结果和真实值的交集与并集的比值求和再平均的结果，mIoU越大，代表模型预测结果与真实值的交集越大、预测结果越好。本文记录了随着迭代次数的增加，mIoU的变化过程，变化曲线如图7b所示。可以看出，在不同采样因子的条件下，mIoU总体都呈现逐渐升高的趋势，与Loss值的变化表现出来的结果相同，mIoU同样也在8倍下采样下获得了最高的mIoU值，模型训练结果最优。
学习率是深度学习中重要的超参数。高学习率意味着权重更新的动作更大，因此高学习率下将花费更少的时间收敛到最优权重。然而，学习率过高会导致跳动过大，不够准确以致于达不到最优点。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值，因此本文讨论了不同最大学习率下模型训练过程中损失函数变化及mIoU变化。分别设置最大学习率为0.07，0.007和
0.0007 ，得到的Loss曲线如图8a所示。可以看出在最大学习率为0.007的参数设置下，Loss值最低，训练效果最好。同样也记录了随着迭代次数的增加，mIoU的变化过程，变化曲线如图8b所示。可以看出，在不同最大学习率的条件下，mIoU同样也呈现随着迭代次数的增加逐渐升高的趋势。mIoU同样也在最大学习率为0.007时获得了最高的mIoU值，模型训练结果最优。模型中最小学习率始终设置为最大学习率的0.01倍，同时采用余弦退火（Cosine annealing）算法来实现实时学习率随着迭代过程在最大学习率和最小学习率之间自动调整。
5. 结论
针对现有模型在海冰提取时存在速度慢、占用内存高、细碎海冰提取不精确的问题，在传统DeepLabV3+的基础上，采用MobileNetV2特征提取网络，DenseASPP多尺度特征提取模块以及添加坐标注意力机制的方法对原模型进行优化，以实现快速、准确的大面积海冰提取。以北极格陵兰海域作为实验区，进行北极海冰提取实验，将实验结果与U-Net、PSPNet和传统DeepLabV3+进行了对比。实验结果表明本文方法从局部上可以有效提取小尺寸的细碎海冰，对海冰边缘有良好的恢复能力，从整体上可以提高海冰的提取速度和准确率。另外，本文方法的mIoU、mPA和mP分别为88.46%、94.16%和94.82%，在所有的对比模型中达到了最优的海冰提取精度。参数量和GFLOPs分别减少了45.08 M和106.01 G，训练模型时间和提取海冰时间分别减少了68%和30%，在所有的对比模型中速度最快，占用内存最少。
本研究可以为北极地区海冰监测提供更快速、准确、可靠的工具，为应对气候变化和环境保护提供科学依据。但是由于实验室硬件条件与海冰数据集本身大小的限制，本文在训练时选取的图像块尺度比较小，没有讨论当前影像分辨率下的最佳裁剪尺度，在一定程度上限制了模型的上限。后续可以考虑扩充数据集或者将模型迁移至大型的GPU集群中进行训练以探索海冰提取的最佳裁剪尺度。同时，本文仅使用了冬季的影像进行模型训练和测试，后续可以考虑加入不同月份、不同年份的海冰影像进行模型训练，从而可以完成北极地区时序海冰提取任务。
-
表 1 实验平台主要参数信息
Tab. 1 Main parameters of the experimental platform
配置 参数 处理器 i5-12490F CPU @ 3.00 GHz RAM 16.0 G GPU NVIDIA GeForce RTX 3060 显存 12.0 GB 操作系统 Windows 10 编程语言 Python 3.9 深度学习框架 Pytorch 1.13 
下载: 导出CSV
表 2 具体实验数据
Tab. 2 Specific experimental data
序号 传感器 成像日期 模式 极化方式 用途 1 Sentinel-1B 2021.12.01 EW HH、HV 训练 2 Sentinel-1B 2021.12.08 EW HH、HV 训练 3 Sentinel-1B 2021.12.09 EW HH、HV 训练 4 Sentinel-1A 2021.12.21 EW HH、HV 训练 5 Sentinel-1A 2021.12.22 EW HH、HV 训练 6 Sentinel-1A 2021.12.30 EW HH、HV 训练 7 Sentinel-1A 2021.12.30 EW HH、HV 训练 8 Sentinel-1A 2020.02.28 EW HH、HV 验证 9 Sentinel-1A 2021.12.01 EW HH、HV 验证 10 Sentinel-1A 2022.12.01 EW HH、HV 验证
下载: 导出CSV
表 3 对比实验精度评价表
Tab. 3 Comparison of experimental accuracy evaluation table
mIoU mPA mP Parameters GFLOPs 训练
用时提取
用时PSPNet 85.43 91.42 93.73 46.71 M 118.43 G 13h 48min 57 s U-Net 85.69 90.97 94.02 24.89 M 451.71 G 13h 43min 58 s 本文模型
(DeepLabV3+_mbV2_DenseASPP_CA)88.46 94.16 94.82 9.63 M 60.84 G 6h 40min 53 s
下载: 导出CSV
表 4 消融实验精度评价表
Tab. 4 Ablation experiment accuracy evaluation table
mIoU mPA mP Parameters GFLOPs 训练
用时提取
用时传统DeepLabV3+ 86.11% 91.26% 94.21% 54.71 M 166.85 G 20h 47min 76 s DeepLabV3+_mbV2 86.58% 92.61% 92.93% 5.81 M 52.88 G 5h 53min 48 s DeepLabV3+_DenseASPP 86.82% 92.98% 94.32% 58.51 M 175.76 G 23h 5min 80 s DeepLabV3+_CA 87.39% 93.60% 94.47% 54.72 M 166.85 G 21h 54min 77 s 本文模型(DeepLabV3+_mbV2_DenseASPP_CA) 88.46% 94.16% 94.82% 9.63 M 60.84 G 6h 40min 53 s
下载: 导出CSV
-
[1] Serreze M C, Holland M M, Stroeve J. Perspectives on the Arctic’s shrinking sea-ice cover[J]. Science, 2007, 315(5818): 1533−1536. doi: 10.1126/science.1139426 [2] Trusel L D, Das S B, Osman M B, et al. Nonlinear rise in Greenland runoff in response to post-industrial arctic warming[J]. Nature, 2018, 564(7734): 104−108. doi: 10.1038/s41586-018-0752-4 [3] 葛梦滢, 高稳, 祝敏, 等. 基于SE-ConvLSTM的时空特征融合SAR图像海冰分类[J]. 遥感技术与应用, 2023, 38(6): 1306−1316.Ge Mengying, Gao Wen, Zhu Min, et al. Sea ice classification of SAR images based on SE-ConvLSTM spatial-temporal feature fusion[J]. Remote Sensing Technology and Application, 2023, 38(6): 1306−1316. [4] 李小娜, 张杰, 戴永寿, 等. 灰度共生矩阵纹理特征对SAR海冰漂移监测的增强性能研究[J]. 海洋科学, 2018, 42(4): 9−17.Li Xiaona, Zhang Jie, Dai Yongshou, et al. Research on the enhanced performance of texture feature for sea ice drift monitoring based on gray level co-occurrence matrices[J]. Marine Sciences, 2018, 42(4): 9−17. [5] Wang Bin, Xia Linghui, Song Dongmei, et al. A two-round weight voting strategy-based ensemble learning method for sea ice classification of sentinel-1 imagery[J]. Remote Sensing, 2021, 13(19): 3945. doi: 10.3390/rs13193945 [6] 周颖, 匡定波, 巩彩兰, 等. 风云三号卫星MERSI影像提取北极海冰参数的方法[J]. 红外与毫米波学报, 2017, 36(1): 41−48,126−127.Zhou Ying, Kuang Dingbo, Gong Cailan, et al. A method to extract parameters of Arctic Sea ice from FY-3/MERSI imagery[J]. Journal of Infrared and Millimeter Waves, 2017, 36(1): 41−48,126−127. [7] 臧金霞, 刘建强, 殷晓斌, 等. 基于最优特征集的HY-1C卫星海岸带成像仪影像海冰分类方法研究[J]. 海洋学报, 2022, 44(5): 35−46.Zang Jinxia, Liu Jianqiang, Yin Xiaobin, et al. Study on sea ice classification of HY-1C satellite coastal zone imager images based on the optimal feature set[J]. Haiyang Xuebao, 2022, 44(5): 35−46. [8] 朱立先, 惠凤鸣, 张智伦, 等. 基于Sentinel-1A/B SAR数据的西北航道海冰分类研究[J]. 北京师范大学学报(自然科学版), 2019, 55(1): 66−76.Zhu Lixian, Hui Fengming, Zhang Zhilun, et al. Sea ice classification in northwest passage based on Sentinel-1A/B SAR data[J]. Journal of Beijing Normal University (Natural Science), 2019, 55(1): 66−76. [9] 王志勇, 孙培蕾, 刘健. 一种联合多特征的极化SAR海冰类型提取方法[J]. 遥感信息, 2020, 35(4): 23−29.Wang Zhiyong, Sun Peilei, Liu Jian. A sea ice classification method of polarimetric SAR data by multi-feature combination[J]. Remote Sensing Information, 2020, 35(4): 23−29. [10] 王志勇, 张梦悦, 于亚冉, 等. 一种融合纹理特征与NDVI的随机森林海冰精细分类方法[J]. 海洋学报, 2021, 43(10): 149−156.Wang Zhiyong, Zhang Mengyue, Yu Yaran, et al. A fine classification method for sea ice based on random forest combining texture feature and NDVI[J]. Haiyang Xuebao, 2021, 43(10): 149−156. [11] 吴斌, 王志勇, 李兴, 等. CryoSat-2雷达高度计海冰波形优选特征分类[J]. 测绘通报, 2023(5): 164−169.Wu Bin, Wang Zhiyong, Li Xing, et al. CryoSat-2 radar altimeter sea ice waveform preferred feature classification[J]. Bulletin of Surveying and Mapping, 2023(5): 164−169. [12] Zakhvatkina N, Korosov A, Muckenhuber S, et al. Operational algorithm for ice–water classification on dual-polarized RADARSAT-2 images[J]. The Cryosphere, 2017, 11(1): 33−46. doi: 10.5194/tc-11-33-2017 [13] Li Xiaoming, Sun Yan, Zhang Qiang. Extraction of sea ice cover by sentinel-1 SAR based on support vector machine with unsupervised generation of training data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(4): 3040−3053. doi: 10.1109/TGRS.2020.3007789 [14] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 3431−3440. [15] 崔艳荣, 邹斌, 韩震, 等. 卷积神经网络在卫星遥感海冰图像分类中的应用探究——以渤海海冰为例[J]. 海洋学报, 2020, 42(9): 100−109.Cui Yanrong, Zou Bin, Han Zhen, et al. Application of convolutional neural networks in satellite remote sensing sea ice image classification: a case study of sea ice in the Bohai Sea[J]. Haiyang Xuebao, 2020, 42(9): 100−109. [16] 郑付强, 匡定波, 胡勇, 等. 基于U-ASPP-Net的北极独立海冰精细识别方法[J]. 红外与毫米波学报, 2021, 40(6): 798−808.Zheng Fuqiang, Kuang Dingbo, Hu Yong, et al. Refined segmentation method based on U-ASPP-Net for Arctic independent sea ice[J]. Journal of Infrared and Millimeter Waves, 2021, 40(6): 798−808. [17] 黄冬梅, 李明慧, 宋巍, 等. 卷积神经网络和深度置信网络在SAR影像冰水分类的性能评估[J]. 中国图象图形学报, 2018, 23(11): 1720−1732. doi: 10.11834/jig.180226Huang Dongmei, Li Minghui, Song Wei, et al. Performance of convolutional neural network and deep belief network in sea ice-water classification using SAR imagery[J]. Journal of Image and Graphics, 2018, 23(11): 1720−1732. doi: 10.11834/jig.180226 [18] 徐欢, 任沂斌. 基于混合损失U-Net的SAR图像渤海海冰检测研究[J]. 海洋学报, 2021, 43(6): 157−170.Xu Huan, Ren Yibin. Detecting sea ice of Bohai Sea using SAR images based on a hybrid loss U-Net model[J]. Haiyang Xuebao, 2021, 43(6): 157−170. [19] Sandler M, Howard A, Zhu Menglong, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510−4520. [20] Huang Gao, Liu Zhuang, Van Der MaatenL, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 2261−2269. [21] Yang Maoke, Yu Kun, Zhang Chi, et al. DenseASPP for semantic segmentation in street scenes[C]//Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 3684−3692. [22] Hu Jie, Shen Li, Sun Gang. Squeeze-and-excitation networks[C]//Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 7132−7141. [23] Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]//Proceedings of the 15th European Conference on Computer Vision. Munich: Springer, 2018: 3−19. [24] Hou Qibin, Zhou Daquan, Feng Jiashi. Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 13708−13717. 期刊类型引用(1)
1. 马蕴涵，陈晓东，赵观辉，季顺迎，杨海天. 基于深度学习的船基数字图像处理及海冰密集度识别研究. 海洋学报. 2025(03): 118-128 . 
本站查看其他类型引用(0)
-
下载:
计量
- 文章访问数: 484
- HTML全文浏览量: 116
- PDF下载量: 57
- 被引次数: 1
