Attention

1. Query & Key & Value

在注意力机制中，原始数据转换成三个对象：Query, Key, Value. 而 Attention 就是在根据 Query 和 Key 的匹配程度获得权重，给 Value 分配权重，然后做加权求和。

Example. 1 一个简单例子

$Q\backslash K$	$k_1=\{Li,Hua,60\}$	$k_2=\{Wu,Ming,20\}$	$k_3=\{Li,Meng,40\}$
姓为 “Wu”	0	1	0
年龄较大	0.7	0.05	0.25
性别为 “男”	unknown / 0.2	unknown / 0.4	unknown / 0.2

Table. 固定 Q 时, 不同 Key 下的注意力权重.

• 当问到姓为 “Wu” 的时候, 注意力权重集中于第二个 Key $k_2$ , 这时候我们主要关心 Wu 姓用户的电费 (Value).
• 当问到年龄较大的时候, 注意力权重在年纪较大的 Key 大, 在年纪较小的 Key 小, 这时我们主要关心年纪大的用户的电费 (Value).
• 当问到性别为男时, Key 并不包含性别 tag, 故注意力权重溃散到 $k_1,k_2,k_3$.

当固定 $Q$ 为 “年龄较大” 时, 注意力为

$\mathrm{Attention}=0.7\times v_1+0.05\times v_2+0.25\times v_3.$

Definition. Attention pool

• 给定一个 Query $q$ 和一组 Key-Value 对 $\{(k_i,v_i){\}}_{i=1}^n$, 注意力为:

$\mathrm{Attention}(q,\{(k_i,v_i){\}}_{i=1}^n)={\sum }_{i=1}^n\alpha (q,k_i)v_i,$

$\alpha (q,k_i)$ 是 query $q$ 分配给 key $k_i$ 的注意力权重，需满足:

$\alpha (q,k_i)\ge 0,{\sum }_{i=1}^n\alpha (q,k_i)=1.$

实际上, 注意力权重即 Q 和 K 之间的匹配程度/相关程度 有不同的表示方法, 接下来给出两个例子:

• 来自 Theory of Probability & Its Applications (Nadaraya (1964)) 的 Nadaraya-Watson regression

$\alpha (q,k_i)=\alpha (x,x_i)={\sum }_{i=1}^n\frac{K(x-x_i)}{{\sum }_{j=1}^{n}K(x-x_j)}$

• 来自 Attention is all you need (Vaswani et al. (2017)) 的 scaled dot-product attention

$$\alpha (Q,K)=\mathrm{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d_k}}\right)$$

2. N-W 核回归 Nadaraya-Watson regression

Step 1 对由

$y_i=2\sin (x_i)+x_i^{0.8}+{ϵ}_i,{ϵ}_i\sim \mathcal{N}(0,0.5^2).$

生成的数据集 $\{(x_1,y_1),\dots ,(x_{50},y_{50})\}$ 做回归.

Step 2 最简单的预测方法是取平均：

$f(x)=\frac{1}{n}{\sum }_{i=1}^n{y}_i={\sum }_{i=1}^n\frac{1}{n}{y}_i.$

此时 Query 为 $x$, Key 为 $x_i$, Value 为 $y_i$. 注意力权重为 $\alpha (q,k_i)=\alpha (x,x_i)=\frac{1}{n}$. 如下图, 拟合效果并不好, 因为我们没有有效的使用 Query 和 Key.

Step 3 Nadaraya (1964) 和 Watson (1964) 提出了 Nadaraya-Watson kernel regression 方法：

$\begin{array}{rl}f(x)& =\sum _{i=1}^n\underbrace{\frac{K(x-x_i)}{{\sum }_{j=1}^{n}K(x-x_j)}}{y}_i,K\text{ is kernel}\\ & =\sum _{i=1}^n\underset{\text{注意力权重}}{\underbrace{\alpha (x,x_i)}}{y}_i.\end{array}$

When $K$ is Gaussian kernel

$K(u)=\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{u^2}{2}\right),$

we have

$\begin{array}{rl}f(x)& =\sum _{i=1}^n\alpha (x,x_i)y_i\\ & =\sum _{i=1}^n\frac{\exp \left(-\frac{1}{2}(x-x_i{)}^2\right)}{{\sum }_{j=1}^n\exp \left(-\frac{1}{2}(x-x_j{)}^2\right)}{y}_i\\ & =\sum _{i=1}^n\mathrm{softmax}\left(-\frac{1}{2}(x-x_i{)}^2\right)y_i.\end{array}$

可以看到，新模型的预测曲线更加平滑，并且比平均汇聚更接近真实函数.

3. 缩放内积注意力 scaled dot-product attention

It is a part of Transformer from Attention is all you need (Vaswani et al. (2017)):

$$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d_k}}+M\right)V$$

我们简单解释一下这个流程:

GPT-2 128M, consider one attention head

I'm going to visualize ...

↓ tokenizer (分词器)

I'm going to visual -ize ... 1024 tokens

↓ embedding

token embedding

what the word means

position embedding

where the word is located

↓ add them together

1024 Tokens 对应 1024 行 embedding vector, 注意这里的 X 包含了 token 的含义信息和在文本中的位置信息

↓ linear projections

这三个 W 是可以将 X 转换为特定问题(Q), 特征标签(K), 所需信息(V), 它们是随着神经网络迭代而更新的参数矩阵

↓ dot-product

↓ scaled dot-product attention

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d_k}}+M\right)V.$

这里的 d_k, M 和多头为了简化问题就暂不论述了

References

• Nadaraya, E. A. (1964). On estimating regression. Theory of Probability & Its Applications, 9(1), 141–142.
• Watson, G. S. (1964). Smooth regression analysis. Sankhyā: The Indian Journal of Statistics, Series A, 359–372.
• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.