#paper Han D, Pan X, Han Y, et al. Flatten transformer: Vision transformer using focused linear attention[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 5961-5971. 自注意力（self-attention）在计算机视觉任务中应用时面临的主要挑战是其二次计算复杂度，这使得处理视觉任务变得非常昂贵。作为Softmax注意力的一种替代方案，线性注意力通过精心设计的映射函数来近似Softmax操作，从而将计算复杂度从二次降低到线性。尽管线性注意力在理论上更加高效，但现有的线性注意力方法要么性能显著下降，要么需要额外的计算开销，这限制了它们的实际应用。为了克服这些限制，论文提出了FLA模块，它通过两个主要的改进来提高效率和表达能力：焦点能力：1 通过一个简单的映射函数，增强了自注意力对最信息特征的聚焦能力。特征多样性：引入了一个高效的秩恢复模块，通过深度卷积（DWC）来恢复注意力矩阵的秩，增加了特征的多样性。通过在多个先进的视觉Transformer模型上的广泛实验，FLA模块在多个基准测试中均显示出了一致的性能提升。