EuleroDec: A Complex-Valued RVQ-VAE for Efficient and Robust Audio Coding

@INPROCEEDINGS{11460428,
  author={Cerovaz, Luca and Mancusi, Michele and Rodolà, Emanuele},
  booktitle={ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)}, 
  title={EuleroDec: A Complex-Valued RVQ-VAE for Efficient and Robust Audio Coding}, 
  year={2026},
  volume={},
  number={},
  pages={17042-17046},
  keywords={Feeds;Antennas;Filtering;Filters;Anisotropic;Circuits and systems;Codecs;Complex networks;Protocols;Communication equipment;Neural Audio Codecs;EuleroDec;Vector-quantized variational autoencoders (VQ-VAE);Complex-Valued Neural Networks},
  doi={10.1109/ICASSP55912.2026.11460428}
}

BibTeX source

一言でいうと: EuleroDecは、STFTスペクトログラムの振幅と位相を分離して扱う音声コーデックの弱点を避けるために、解析、量子化、合成を複素値のまま行うRVQ-VAE音声コーデックである。

背景と目的 (Background & Objective)

ニューラル音声コーデックは、PCM音声を低ビットレートの離散表現へ圧縮し、音楽生成、ストリーミング、没入型メディアで使われる。 周波数領域のコーデックはSTFTにより音声を時間周波数表現へ変換するが、位相を捨てる、あるいは実部と虚部や振幅と位相を別チャネルとして処理すると、過渡音のにじみや位相感のあるアーティファクトが生じやすい。

既存の高品質コーデックは、この表現力不足を補うためにGAN型識別器、score-basedまたはflow-basedの後処理を使うことが多い。 しかし、敵対的学習は収束を遅くし、訓練安定性も悪化させる。 この論文の目的は、振幅と位相の結合を複素値演算で保ち、GANや拡散後処理なしに高品質な音声符号化を実現することである。

提案手法 (Proposed Method)

EuleroDecは、複素STFTを入力し、エンコーダ、残差ベクトル量子化器、デコーダ、ISTFTまでを複素値のまま接続する。 論文は、全層が複素値であることをアーキテクチャ図で示している。

複素値畳み込みは $z=x+iy$ と $w=a+ib$ を複素数として畳み込み、実部と虚部を独立チャネルとしてではなく結合した線形演算として扱う。 この性質により、モデルは振幅と位相の相互作用を直接学習できる。

論文は複素値ネットワークの性質として、位相回転 $e^{i\varphi }$ に対する同変性を挙げる。

$$f(e^{i\varphi }z)=e^{i\varphi }f(z).$$

非線形には、位相を保ったまま振幅へしきい値をかけるmodReLUを用いる。

$$\mathrm{modReLU}(z)=\mathrm{ReLU}(|z|+b)\frac{z}{|z|}.$$

量子化部では、エンコーダ出力 $z_e\in {\mathbb{C}}^{B\times C\times F\times T}$ の周波数方向をチャネルに畳み込み、複素線形射影でコード次元へ写す。 その後、12段のResidual Vector Quantizationを適用する。 各段では、Hermitian内積に基づくユークリッド距離で最も近い複素セントロイドを選ぶ。

$$d_k(x)=\Vert x{\Vert }_2^2+\Vert e_k{\Vert }_2^2-2\mathrm{Re}(x^H{e}_k),$$ $$k^{\star }(x)=\arg \underset{k}{\min }{d}_k(x).$$

コミットメント損失は次で定義される。

$$L_{\mathrm{commit}}=\beta \frac{1}{N}\sum _{n=1}^N\Vert z_{e,n}-\mathrm{sg}(e_{k^{\star }(n)}){\Vert }_2^2.$$

コードブックはEMAで更新され、30ステップのウォームアップ後にエンコーダ埋め込みから初期化される。 論文は6 kbps設定でコード利用率100%、有効perplexity 73.2%を報告している。

実験と評価 (Experiments & Evaluation)

訓練にはLibriTTSの train.clean.100、すなわち100時間の音声を用いる。 入力音声は24 kHzで、STFT設定は N_FFT=512、window長512、hop長64、Hann窓、256フレームである。 6 kbpsでは時間stride 8により約46.9 tokens/s、12 kbpsではstride 4により約93.8 tokens/sにする。

訓練目的は、multi-resolution mel L1損失、複素L1を含むmulti-resolution spectrogram損失、量子化ペナルティからなる。

$$L_{\mathrm{total}}=80w_{\mathrm{mel}}{L}_{\mathrm{mel}}+80w_{\mathrm{cplx}}{L}_{\mathrm{gen}}+50w_{\mathrm{mrs}}{L}_{\mathrm{mrs}}+0.1L_q.$$

評価対象はAudioDec、EnCodec、APCodecである。 EuleroDecは非因果モデルであり、ライブストリーミングには向かないが、NVIDIA RTX 3090でReal-Time Factor 0.344を報告している。

設定	モデル	訓練反復	SI-SDR ↑	PESQ ↑	GDD ↓	ESTOI ↑
Out-of-domain 24 kHz, 6 kbps	EuleroDec	35k	7.58	2.16	270	0.742
Out-of-domain 24 kHz, 6 kbps	APCodec	700k	0.35	1.91	596	0.769
Out-of-domain 24 kHz, 6 kbps	AudioDec	500k	-19.57	1.96	8196	0.698
Out-of-domain 24 kHz, 6 kbps	EnCodec	500k	5.59	2.69	604	0.861
In-domain 24 kHz, 6 kbps	EuleroDec	35k	10.52	2.47	264	0.842
In-domain 24 kHz, 6 kbps	APCodec	700k	7.90	3.01	554	0.908
In-domain 24 kHz, 6 kbps	AudioDec	500k	-14.48	2.05	1970	0.771
In-domain 24 kHz, 6 kbps	EnCodec	500k	7.47	2.76	590	0.905
Out-of-domain 24 kHz, 12 kbps	EuleroDec	41k	11.20	2.57	257	0.819
Out-of-domain 24 kHz, 12 kbps	EnCodec	500k	8.27	3.63	591	0.925
Out-of-domain 24 kHz, 12 kbps	APCodec	700k	5.63	2.84	579	0.880
In-domain 24 kHz, 12 kbps	EuleroDec	41k	13.67	2.91	249	0.901
In-domain 24 kHz, 12 kbps	EnCodec	500k	10.32	3.77	578	0.953
In-domain 24 kHz, 12 kbps	APCodec	700k	5.93	3.17	568	0.922

EuleroDecはSI-SDRとGDDで強い結果を示す。 一方で、PESQとESTOIではEnCodecやAPCodecが上回る設定があり、波形忠実度と知覚品質・明瞭度の評価が一致しない。 論文の主張は、GANや拡散後処理なし、かつ35kから41k反復という小さい訓練予算で、特にout-of-domainの位相関連品質を改善した点にある。

貢献と限界点 (Contributions & Limitations)

貢献は、複素値ニューラルネットワークの考え方を音声コーデック全体へ広げ、STFT、エンコーダ、RVQ、デコーダ、ISTFTの流れで複素値表現を保った点である。 これにより、振幅と位相の結合を保持し、敵対的識別器や拡散後処理に依存しない訓練を実現している。

限界は、非因果アーキテクチャであるためリアルタイム双方向通信やライブ配信には適さない点である。 評価もLibriTTS中心であり、音楽、環境音、多話者混合などへの一般化は本文中の結果だけでは判断できない。 PESQとESTOIでは既存コーデックが優位な設定もあるため、「全指標でSOTA」という結果ではなく、低訓練予算と位相歪み指標に強い複素値コーデックとして位置づけるのが正確である。

関連リンク

• ニューラルオーディオコーデック
• RVQ
• VAE
• 複素値Transformer
• EuleroDec
• LibriTTS