随着人工智能技术的发展，在海洋物联网边缘设备中部署智能模型的需求越来越高。常规的智能模型边缘部署技术通过模型量化等压缩手段，降低模型的算力需求，从而能够在资源有限的边缘设备实现模型的计算支持。然而，海洋数值分析对计算精度极为敏感，量化后的模型往往无法满足计算精度的要求。因此，高能效且高精度的需求，给海洋边缘智能模型的部署带来了严峻的挑战。

针对上述挑战，山东省智能感知芯片与系统重点实验室联合加拿大萨斯卡彻温大学等机构的研究团队提出一种名为T³的专为海洋边缘计算而设计的Transformer模型加速器。该加速器基于浮点数格式而设计来满足海洋高精度的计算需求。为了降低浮点数计算带来的额外开销，本设计提出了两项核心技术：一是面向浮点数的Top-K排序剪枝方法，通过低精度估计与计数器式排序架构，显著降低自注意力模块的计算开销；二是采用误差可控分段线性近似的动态Tanh模块，以替代高开销的层归一化操作，并利用Sigmoid函数替换Tanh函数以及系数融合的方法以进一步减少线性分段数量和计算所需的参数数量。测试结果表明，T³加速器与现有设计相比能效提升15.2%，且资源占用更少。在DeiT等模型上以50%稀疏度运行时，模型精度损失小于3%。模型计算能效和准确率能够满足边缘实时处理需求。

该研究成果以“T3: Transformer Accelerator With Efficient Top-K Sorting and Dynamic Tanh Computation for Marine Edge Computing”为题发表于IEEE Transactions on Very Large Scale Integration (VLSI) Systems期刊。中国海洋大学信息学部本科生余定洋、张新锐为论文共同第一作者，中国海洋大学信息学部副教授、实验室副主任张昊为论文的通讯作者。该项研究得到了国家重点研发计划、山东省自然科学基金等项目的支持。

论文链接：https://ieeexplore.ieee.org/document/11440313

图1  T3加速器数据通路示意图。（a）包含本文提出的Top-K排序方法的多头注意力计算模块。（b）包含本文提出的误差可控分段线性近似和系数融合的动态Tanh计算模块。