ココアのお勉強ブログ

理工学研究科の大学院1年生です。主に深層学習を中心に勉強/研究しています。まだまだ初心者なので優しくしてくれると嬉しいです。きまぐれでイラストも描きます。イラスト : https://hotcocoagallery.jimdosite.com/

Self-training with Noisy Student improves ImageNet classification適当に読んだ

Self-training with Noisy Student improves ImageNet classification

論文リンク:https://arxiv.org/abs/1911.04252

どんなもの?

ディープラーニングは、近年の画像認識で顕著な成功を示しているが最新のモデルは、教師付き学習で訓練されており、適切に機能するにはラベル付き画像の大きなコーパスが必要。
最先端のモデルの精度と堅牢性を向上させるためには、ラベルなし画像も大量に使用するできるようにしたい。

先行研究と比べてどこがすごい?

ImageNetで87.4%のtop1精度を達成した簡単な自己学習方法。

技術や手法のキモはどこ?

step1

ラベル付き画像 {(x_1,y_1),(x_2,y_2),(x_n,y_n) } とし,ラベルなし画像を{ x_1,x_2,...,x_m }とする。

step2

ラベル付き画像を使用して、一般の Cross Entropy Loss を使用して教師モデルを学習。

step3

次に、教師モデルを使用して、ラベルなし画像に擬似ラベルをつける。

step4

次に、ラベル付き画像とラベルなし画像の両方の Cross Entropy Loss の合計を最小化するStudentモデルを学習。

step5

最後に、新しい疑似ラベルを生成し、新しいStudentモデルを訓練するために、StudentモデルをTeacherモデルとして戻すことで処理を繰り返す。

どうやって有効だと検証した?

ImageNetで87.4%のtop1精度を達成した。

議論はある?

次に読むべき論文は?