Evaluating Model Robustness to Dataset Shift

[nocotan]

一言でいうと

データセットシフトを内包したデータの取得が難しいためにロバスト性の評価が難しい中で，単一のデータセットのみでそうした評価を可能にするフレームワークを提案．

論文リンク

https://arxiv.org/pdf/2010.15100.pdf

著者/所属機関

Adarsh Subbaswamy et al.
(Johns Hopkins University)

投稿日付(yyyy/MM/dd)

2020/10/28

概要

データセットシフトに対するモデルのロバスト性を評価するためには，そうした設定のデータセットが必要になるが，タスクに応じてそのようなデータセットを作ることは容易ではない．

そこで論文では，単一のデータセットだけを用いてそうしたロバスト性の評価を行うフレームワークを提案する．

提案手法では，元々のデータセットからありうる不確実な集合を作り，その集合の中の最悪ケースに該当する分布に対してモデルの評価をおこなう．このような枠組みはdistributionally robust optimizationと呼ばれる．

Instead of examining a model’s performance only on the (empirical) test distribution
associated with a particular validation dataset, DRO defines an uncertainty set of possible test distributions
and considers the model’s performance on the worst-case distribution chosen from this set.

新規性・差分

• 単一のデータセットだけからデータセットシフトに対するモデルのロバスト性を評価する手法を提案
• 周辺分布または同時分布を考慮していた既存のDRO手法を一般化

手法

確率変数を，不変のZ，可変のW，残りのVに分割することで，確率分布を以下のように分解できる：

これは既存の様々なデータセットシフトの問題を一般化する（例えばZを空集合，W=Xとすると共変量シフトになる）．

データセットシフト下での性能の定量化

ありうるシフトされたターゲット分布のuncertainty setを以下のように定義する．

ここで興味があるのは以下の期待損失

最悪ケース評価

結果

コメント