一、引言在深度学习的发展历程中，注意力机制的引入极大地提升了神经网络的特征表达能力。从最初的通道注意力、空间注意力，到后来的自注意力（Self-Attention），注意力机制的形式不断演进，但其核心目标始终一致——让网络学会"看哪里"和"看什么"。自注意力机制（如Transformer中的Scaled Dot-Product Attention）通过建模所有位置之间的成对关系，能够捕获长距离依赖，在自然语言处理和计算机视觉领域都取得了巨大成功。然而，自注意力的计算复杂度与空间位置数的平方成正比，即O(N2)O(N^2)O(N 一、引言在深度学习的发展历程中，注意力机制的引入极大地提升了神经网络的特征表达能力。从最初的通道注意力、空间注意力，到后来的自注意力（Self-Attention），注意力机制的形式不断演进，但其核心目标始终一致——让网络学会"看哪里"和"看什么"。自注意力机制（如Transformer中的Scaled Dot-Product Attention）通过建模所有位置之间的成对关系，能够捕获长距离依赖，在自然语言处理和计算机视觉领域都取得了巨大成功。然而，自注意力的计算复杂度与空间位置数的平方成正比，即O(N2)O(N^2)O(N 
---基础)
