異分散回帰
一言でいうと: 異分散回帰は、入力ごとに観測ノイズの大きさが変わる回帰問題を扱うために、平均だけでなく分散も予測する回帰設定である。
異分散回帰は、入力 に応じて観測ノイズの分散が変化する回帰問題である。 ニューラルネットワークでは、平均 と分散または標準偏差 / を同時に出力し、ガウス負対数尤度などで学習することが多い。
Beta-NLL論文は、標準的なGaussian NLLでは平均の勾配が予測分散の逆数で重み付けされるため、高分散と予測された領域ほど平均が更新されにくくなると指摘する。 同論文のBeta-NLLは、NLLをstop-gradient付き予測分散の 乗で重み付けし、NLLとMSEの中間的な平均勾配を作る。
標準的なガウスNLLでは、平均と分散の勾配が同じ残差に依存する。 このため、外れ値や重尾ノイズのもとでは、平均学習と分散学習が干渉し、予測精度やキャリブレーションが悪化する可能性がある。
Faithful異分散回帰論文は、異分散モデルから分散ヘッドを除いたmean-only baselineと比べて平均推定が悪化しない性質をfaithfulnessと呼ぶ。 同論文は、平均をSSEで学習し、分散NLLの勾配を平均と共有幹に流さないstop-gradient設計により、平均推定のfaithfulnessを保証する。
ComplexOrlicz撤回プレプリントは、この干渉を複素平面への埋め込みとOrlicz型損失で緩和することを主張する。 ただし同ソースは撤回済みプレプリントであり、主張は未検証として扱う。