【ECCV2018 論文メモ#2】Contemplating Visual Emotions: Understanding and Overcoming Dataset Bias
Maker Faire Tokyo 2018では感情推定ロボットを出展したので感情繋がりでこの論文。
エッジAIで、顔認識して追っかけてきて、感情推定をして尻尾かとで感情表現をしています!
— motoJapan@MFTokyo_H0301 (@motoJapanTw) 2018年8月4日
懐いたり怖がったりして可愛いです。(親バカ)
お時間ある方はぜひお立ち寄りください^^ #カメララボ大崎 #CameraLabOsaki #H0301#MakerFaireTokyo2018 #MFTokyo2018 pic.twitter.com/GthzhY1TXq
今回の論文と出典
Contemplating Visual Emotions: Understanding and Overcoming Dataset Bias
https://arxiv.org/abs/1808.02212
著者
Rameswar Panda, Jianming Zhang, Haoxiang Li, Joon-Young Lee, Xin Lu, Amit K. Roy-Chowdhury
内容
詳細
- データセットは、Deep Sentiment, Deep Emotion, Deep Emotion-6の3つで話が展開される
- バイアスの例(Deep Emotion)は、下図の通りで、
- Postive : amusementな画像は、ほぼamusement parkの画像で、視覚的コンセプトの多様性が低い
- Negative : sadnessな画像は、amusement parkの画像は無く、その属性を十分に表現できていない
(バイアスの考察例1:出典より抜粋)
- データセットの持つバイアスを評価する手法をいくつか紹介している
- 3データセットを分類する手法 (ResNet-50)
- 期待値は、全て同じ精度だが偏りがある
- 高い信頼度を示す画像を見ると、Deep Emotionは「屋外画像が多い」、Deep Emotion-6は「中心に対象物があり、背景はクリア」というバイアスがある
- 3データセットを分類する手法 (ResNet-50)
(データセットを3クラス分類した結果(左)と信頼度の高い画像(右):出典より抜粋)
(各データセットをPos/Neg2クラス分類した結果:出典より抜粋)
-
- オブジェクトとシーンについて条件付きエントロピーの分布で評価する手法
(バイアスの考察例2:出典より抜粋)
- データセットの提案
(適切な粒度と呼ばれる25分類:出典より抜粋)
- 効率的なカリキュラム的学習
- データセットに跨った様々なタスクに対してパフォーマンスがでる
- 連続的手順により学習することが可能
- 基本は、学習ステージを分け、早期ステージではlebel 1、後半に進について高いlevelを学習
- 上記を満たすようにCNNに情報を挿入していくようなモデル(ResNet-50 base)
(各データセットでのテスト結果:出典より抜粋)
(テスト結果:出典より抜粋)
読み時間2時間:執筆時間30分:勘違い、間違いあれば教えていただけると嬉しいです。
以上。