A Fine-Grained River Ice Semantic Segmentation based on Attentive Features and Enhancing Feature Fusion主要研究了基于深度学习的河冰语义分割方法。提出了基于注意特征和增强特征融合的细粒度河冰语义分割(FGRIS)方法。首先，提出了一种双注意机制(DAM)方法，该方法将通道注意特征和位置注意特征相结合，提取更全面的语义特征;在此基础上，提出了一种新的分支特征融合(Branch Feature Fusion, BFF)模块来弥补高级和低级语义特征之间的语义特征差距，该模块对不同尺度具有鲁棒性。在艾伯塔河冰层分割数据集上进行的实验结果证明了该方法的优越性。（见图1）
图1
在河流冰的语义分割中，脆弱冰和锚冰相似且难以区分。因此，有必要对语义特征进行深入挖掘。本文采用双分支结构。首先，引入分支特征融合，避免了高层语义特征和低层语义特征的粗融合，弥合了语义鸿沟;其次，将位置注意和通道注意相结合的双注意机制(DAM)引入特征挖掘中，突出浮冰和锚冰的语义特征;本节主要分为四个部分来介绍该网络，包括网络体系结构、层次特征增强的分支特征融合(BFF)、基于双注意机制和损失函数的特征挖掘。
锚冰的形成始于脆弱冰的附着。浮冰和锚冰在形状和大小上非常相似，因此很难区分浮冰和锚冰。因此，有必要挖掘更深层次的语义特征来分割和识别脆弱冰和锚冰。位置注意和通道注意相结合的双注意机制(DAM)引入特征挖掘中，突出浮冰和锚冰的语义特征，有效地提高了特征的识别能力，使分割结果更加准确、高效。
为了整合高层和低层语义特征，弥补二者之间的特征差距，避免粗糙的融合模式，我们在DeepLabv3+网络的基础上增加了分支特征融合(Branch feature fusion, BFF)模块。在DeepLabv3+网络中，为了整合多尺度信息，利用了语义分割中常用的Encoder-Decoder体系结构，通过构建图像金字塔，从而对不同层次特征有计划和分步骤地进行融合。逐步消除不同等级特征之间存在的语义鸿沟。有效改善了上下文信息的融合效率，提高了河冰语义分割的精度，保证了河冰分割的准确性。
我们在艾伯塔河冰层分割数据集上进行的实验结果证明了该方法的优越性（见Table1-Table5）。
注：多模态大数据智能计算实验室2020级电子信息硕士研究生王瑞同学作为第一作者完成的论文“A Fine-Grained River Ice Semantic Segmentation based on Attentive Features and Enhancing Feature Fusion”（基于注意特征和增强特征融合的细粒度河冰语义分割）于2021年12月获ACM Multimedia Asia 会议发表。
