複素値Layer Normalization

複素値Layer Normalizationは、複素値ニューラルネットワークで使うLayer Normalizationである。実部と虚部を独立に標準化すると、複素平面上の分布形状を不自然に歪める可能性がある。

複素値Transformer構成要素では、実部と虚部の2次元共分散行列を用いて白色化する。さらに、学習可能な正定値共分散行列と複素シフトにより、正規化後の分布の共分散と平均を制御する。

この設計は、複素値TransformerでAttention出力やFeed Forward出力を安定させるための構成要素である。