超球面VAE
一言でいうと: 超球面VAEは、潜在表現をユークリッド空間ではなく超球面上に置くことで、低次元ガウス事前分布の原点集中を避けるVAEである。
標準的なVAEは、潜在空間を とし、標準ガウス分布を事前分布にする。 この設計では、低次元でKL項が潜在点を原点へ寄せるため、円環状データや方向データのように自然な潜在構造が球面上にある場合、表現が潰れやすい。
HypersphericalVAEは、潜在空間を とし、近似事後分布にvon_Mises-Fisher分布、事前分布に超球面上一様分布を使う。 これにより、平均方向は再構成項で学習され、KL項は主に集中度 を正則化する。
超球面VAEは、クラスタが角度方向に分かれる低次元表現や、内積がcosine similarityとして解釈できるグラフ埋め込みで有効になりやすい。 ただし、高次元ではvMF分布の表現力と超球面の幾何が制約になり、ガウスVAEが有利になる設定もある。