Self-training with Noisy Student improves ImageNet classification適当に読んだ
Self-training with Noisy Student improves ImageNet classification
論文リンク：https://arxiv.org/abs/1911.04252
どんなもの？
ディープラーニングは、近年の画像認識で顕著な成功を示しているが最新のモデルは、教師付き学習で訓練されており、適切に機能するにはラベル付き画像の大きなコーパスが必要。
最先端のモデルの精度と堅牢性を向上させるためには、ラベルなし画像も大量に使用するできるようにしたい。
先行研究と比べてどこがすごい？
ImageNetで87.4％のtop1精度を達成した簡単な自己学習方法。
技術や手法のキモはどこ？
step1
ラベル付き画像 { } とし,ラベルなし画像を{
}とする。
step2
ラベル付き画像を使用して、一般の Cross Entropy Loss を使用して教師モデルを学習。
step3
次に、教師モデルを使用して、ラベルなし画像に擬似ラベルをつける。
step4
次に、ラベル付き画像とラベルなし画像の両方の Cross Entropy Loss の合計を最小化するStudentモデルを学習。
この時Studentモデルにはノイズ（RandAugment、Dropout、Stochastic Depth）を加えて学習させる。
step5
最後に、新しい疑似ラベルを生成し、新しいStudentモデルを訓練するために、StudentモデルをTeacherモデルとして戻すことで処理を繰り返す。
どうやって有効だと検証した？
ImageNetで87.4％のtop1精度を達成した。
