Transformer
Transformerは、Scaled Dot-Product AttentionとMulti-Head Attentionを中心に構成される系列モデルである。 Encoderのみで分類に使え、Encoder-Decoder構成で系列生成に使える。
実数値TransformerのAttentionは、通常次で表される。
複素値Transformer構成要素は、この構成を複素値信号へ拡張する。 複素領域では と共役内積が一致しないため、複素内積の実部を類似度として使う設計が検討される。