129 字
1 分钟
从零开始深度学习 Day 5 Transformer Bert Clip

注意力机制#

只关注一小部分信息的能力对进化更加有意义

注意力是稀缺的,而环境中的干扰注意力的信息却并不少。

自主性的与非自主性的注意力提示解释了人类的注意力的方式, 下面来看看如何通过这两种注意力提示, 用神经网络来设计注意力机制的框架。

加性注意力机制#

eij=vaTtanh(Wast1+Uahj)e_{i j} = v_a^T \tanh(W_as_{t-1} + U_a h_j)αij=exp(eij)k=1Txexp(eik)\alpha_{ij} = \frac{\exp(e_{ij})}{\sum_{k=1}^{T_x} exp(e_{ik})}ci=j=1Txc_i = \sum_{j=1}^{T_x}
从零开始深度学习 Day 5 Transformer Bert Clip
https://blog.candlest.cc/posts/ai/attention/
作者
candlest
发布于
2025-10-22
许可协议
CC BY-NC-SA 4.0