複素値RBM

一言でいうと: 複素値RBM (CRBM) は、複素数値の可視層とバイナリ値の隠れ層を持ち、同一レイヤ内の接続を排す「制限付き」の構造を維持しながら、同一次元内の実部と虚部の相関（＝位相関係）をモデル化可能な複素数拡張型のエネルギーベース確率モデルである。

概要

従来の制限付きボルツマンマシン (RBM) は、可視層・隠れ層ともに実数またはバイナリ値しか扱えなかったため、音声の複素スペクトルのように「振幅と位相」を同時に持つ複素数データを直接入力することができなかった。

複素値RBM (CRBM) は、可視層を複素正規分布（複素ガウス分布）に拡張することで、複素数データを直接扱うことを可能にする。

特徴と利点

1. 同一レイヤ内接続の排除 (制限付き構造の維持)

   • 従来の複素ボルツマンマシン (DUBMなど) はレイヤ内接続があり、パラメータ推定に困難があった。CRBMでは、同一レイヤ内の異なる次元（例: $z_i$ と $z_j$, $i\ne j$）の接続を排している。
   • これにより、従来のRBMと同様に、コントラスティブ・ダイバージェンス (CD) やギブスサンプリングを用いた効率的なパラメータ学習が可能である。

2. 実部と虚部の相関（位相関係）のモデリング

   • 単に実部と虚部を結合して $2I$ 次元の実数GB-RBMに入力する場合に比べ、CRBMはエネルギー関数内に実部と虚部の間の交差項（疑似共分散）を明示的に含んでいる。
   • これにより、データの振幅情報だけでなく、**位相情報（実部と虚部の相関）**を高い表現力で学習・復元できる。

数学的定義

複素可視ユニット $z\in {\mathbb{C}}^I$ とバイナリ隠れユニット $h\in \{0,1{\}}^J$ に対し、エネルギー関数 $E(z,h;\theta )$ は次のように実数関数として定義される。

$$E(z,h;\theta )=\frac{1}{2}{\left[\begin{array}{c}z\\ \bar{z}\end{array}\right]}^H{\Phi }^{-1}\left[\begin{array}{c}z\\ \bar{z}\end{array}\right]-{\left[\begin{array}{c}b\\ \bar{b}\end{array}\right]}^H{\Phi }^{-1}\left[\begin{array}{c}z\\ \bar{z}\end{array}\right]-2c^{T}h-{\left[\begin{array}{c}z\\ \bar{z}\end{array}\right]}^H{\Phi }^{-1}\left[\begin{array}{c}W\\ \bar{W}\end{array}\right]h$$

ここで：

• $b\in {\mathbb{C}}^I$ は可視バイアス、$c\in {\mathbb{R}}^J$ は隠れバイアス。
• $W\in {\mathbb{C}}^{I\times J}$ は可視・隠れ層間の複素数重み結合。
• $\Phi$ は、共分散 $\Gamma =\text{diag}(\gamma )$ と疑似共分散 $C=\text{diag}(\delta )$ からなる拡張共分散行列（対角行列）。

条件付き確率は以下のように定義される。

• 可視層の条件付き確率 (複素正規分布): $$p(z|h)=\mathcal{C}\mathcal{N}(z;b+Wh,\Gamma ,C)$$
• 隠れ層の条件付き確率 (ベルヌーイ分布): $$p(h|z)=\mathcal{B}(h;f(2c+2\Re (W^{\prime H}z)))$$ ただし、$W^{\prime }\triangleq \text{diag}(p)W+\text{diag}(q)\bar{W}$。

関連技術

複素値RBMを用いた音声パラメータ化等のシステムでは、以下の技術と組み合わせて適用される。

• CPCA (Complex Principal Component Analysis: 複素主成分分析)
  • 入力の複素スペクトルの高次元性を解消するために、事前に複素数領域で主成分分析を行い、次元を削減する。
• CAdam (Complex Adam)
  • Wirtinger微分（複素勾配）に基づいて、最適化手法のAdamを複素パラメータ空間に拡張したもの。CSA (Complex Steepest Ascent) に比べて高速に収束する。
• 複素MLPG (Maximum Likelihood Parameter Generation)
  • 静的・動的特徴量の関係性から、滑らかな複素数の軌跡（時系列）を最尤推定により生成する手法。

関連リンク

• 複素値RBM論文 （提案論文）
• 複素ガウス分布
• 複素値VAE