✅1.多头把稳力(Multi-Head Attention):
许可模型同时关注不同的信息子空间。
.
✅2.自适应把稳力(AdaptiveAttention):
动态调度把稳力的聚焦点。
.
✅3.局部把稳力(LocalAttention):
关注序列中的局部区域以提高效率。
.
✅4.全局把稳力(GlobalAttention):
在全体序列上打算把稳力。
.
✅5.层次把稳力(HierarchicalAttention):
多级别的把稳力机制，适用于繁芜构造。
.
✅6.交叉把稳力(Cross-Attention):
在不同模态或流程间共享把稳力。
.
✅7.自把稳力(Self-Attention):
一个序列内部元素间的把稳力机制。
.
✅8.稀疏把稳力(Sparse Attention):
只关注主要的键值对，提高效率。
.
✅9.卷积把稳力(Convolutional Attention):
结合卷积操作以捕捉局部模式。
.
✅10.门控把稳力(Gated Attention):
通过门控机制掌握信息流。
.
✅11.对抗性把稳力(AdversarialAttention):
利用对抗演习来改进把稳力的鲁棒性。
.
✅12.图把稳力(Graph Attention):
用于处理图构造数据。
.
✅13.硬把稳力(Hard Attention):
基于离散选择，而非软性权重分配。
.
✅14.软把稳力(SoftAttention):
连续且可微的把稳力分配。
.
✅15.Transformer-XL的段级重复把稳力:
增强对长期依赖的捕捉。
.
✅16.BERT的双向把稳力:
在所有层中结合旁边两侧的高下文。
.
✅17.稠浊把稳力(Hybrid Attention):
结合不同类型的把稳力机制。
.
✅18.协同把稳力(Co-Attention):
同时在两个干系序列上运用把稳力。
.
✅19.轴向把稳力(AxialAttention):
沿特定维度运用把稳力，用于高维数据。
.
✅20.频域把稳力(Frequency Domain Attention):
在频域内运用把稳力。
.
✅21.把稳力蒸馏(Attention Distillation):
从一个模型到另一个模型转移把稳力模式。
.
✅22.把稳力池化(Attention Pooling):
利用把稳力权重进行特色池化。
.
✅23.影象增强把稳力(Memory-Augmented
Attention):引入外部影象机制以增强把稳力。
#畅聊人工智能##打算机##人工智能##暑假##学习#