Beta-NLL

一言でいうと: Beta-NLLは、Gaussian NLLが高い予測分散を出した点の平均勾配を過小評価する問題を避けるために、NLLをstop-gradient付き予測分散の $\beta$ 乗で重み付けする異分散回帰の損失である。

Beta-NLLは、Beta-NLL論文で提案されたheteroscedastic uncertainty estimation向けの損失である。 通常のGaussian NLLでは、平均の勾配が ${\hat{\sigma }}^{-2}(x)$ で重み付けされるため、モデルが大きな分散を予測した領域ほど平均が更新されにくい。 Beta-NLLはこの重みを $\beta$ で調整し、平均学習をNLLとMSEの中間に置く。

$$L_{\beta \text{-}\mathrm{NLL}}=\mathbb{E}\left[\lfloor {\hat{\sigma }}^{2\beta }(X)\rfloor \left(\frac{1}{2}\log {\hat{\sigma }}^2(X)+\frac{(Y-\hat{\mu }(X){)}^2}{2{\hat{\sigma }}^2(X)}+\mathrm{const}\right)\right].$$

$\lfloor \cdot \rfloor$ はstop-gradientである。 $\beta =0$ は通常のNLL、$\beta =1$ は平均に関してMSEと同じ勾配になる。 論文では、$\beta =0.5$ が計算量を増やさずに平均精度と不確実性推定のバランスを取りやすい初期値として扱われている。

関連リンク

• Beta-NLL論文
• 異分散回帰
• Faithful異分散回帰