Attention

Basic concepts

• input sequenceに対し、各inputベクトルへの適切な重み付き和を学習
• Q, K, Vなる3つの行列を学習、inputからquery、key、valueを計算し上記の重みつき和を計算
• self-attentionの場合、Q、K、Vに同一の行列を使用

Mathematical Expression

• scaled dot-product attention

Examples