Multi-Year ENSO Forecasts Using Parallel Convolutional Neural Networks With Heterogeneous Architecture主要研究基于深度学习的ENSO长时序预测方法,重点研究ENSO预测多任务时空尺度依赖差异建模。提出了一种具有异构结构的并行深度CNN预测方法,实现了不同任务(前置时间)的时空依赖可变性建模,突破了利用相同的深度学习模型进行预测而导致的对不同前置时间内ENSO可变性挖掘不充分的问题,从而提高了长期预测的可靠性。(见图1)
图1
长时序多任务ENSO预测工作试图通过统一模型同时捕捉多任务的有效特征,在样本量不充足的情况,很难获得成功。目前大部分ENSO预测工作都是基于迭代机制的,这种机制造成了误差累积,无法支持长时序的准确预测。深度学习的方法将针对不同任务的迭代预测机制替换成平行预测的机制,但是,由于平行模型都采用了相同的网络结构,即默认不同任务的感受野相同,这种忽略“时空依赖随任务不同而发生改变”的做法对多任务时空尺度依赖性差异建模不足,降低了模型学习因果关联的能力,造成了预测精度的下降。针对该问题,我们提出了一种基于并列预测的深度学习自适应多尺度模型,通过针对不同预测任务,基于领域知识自适应的选择模型架构,即将预测任务和神经网络结构的关系通过卷积神经网络(CNN)的感受野进行映射,充分建模了任务的差异性,提升了预测的精度。
具体来说,首先基于领域知识和季节变化规律,将长时序ENSO预测划分为长中短三个阶段的任务;其次,利用CNN能够以层次化的方式捕捉空间结构信息的能力,构建连续的海表面温度和300m热容量样本,搭建基本预测模型;再次,从计算机视觉感知野的视角,首次提出了一种预测任务和神经网络结构的关系,针对不同任务的时空关联区域和采样尺度,设计了一种适应性的网络结构选择方法来确定网络模型的卷积核大小和采样大小,并将该机制构建模型应用在了ENSO预测上。
我们利用第五次耦合模式比较计划(CMIP5),SODA和GODAS来测试模型的预报能力,实验结果表明,我们的方法优于其他现有方法(见图2),尤其是长时预测性能显著,充分验证了时空依赖差异建模的重要性。图3展示了我们模型对于不同前置时间的预测值与真实值的对比。
图2
图3
注:多模态大数据智能计算实验室2019级计算机应用技术博士研究生叶敏同学作为第一作者完成的论文“Multi-Year ENSO Forecasts Using Parallel Convolutional Neural Networks With Heterogeneous Architecture”(基于异构结构的并行卷积神经网络(CNN)在多年厄尔尼诺现象预测中的应用)于2021年8月获Frontiers in Marine Science 期刊发表。