ココアのお勉強ブログ

理工学研究科の大学院1年生です。主に深層学習を中心に勉強/研究しています。まだまだ初心者なので優しくしてくれると嬉しいです。きまぐれでイラストも描きます。イラスト : https://hotcocoagallery.jimdosite.com/

機械学習

Auxiliary Training: Towards Accurate and Robust Models 自分用メモ

論文リンク http://openaccess.thecvf.com/content_CVPR_2020/html/Zhang_Auxiliary_Training_Towards_Accurate_and_Robust_Models_CVPR_2020_paper.html アブスト 既存手法のほとんどはモデルの精度と頑健性のトレードオフに陥っている。 回転のような処理…

半教師あり学習自分用にメモ

半教師あり学習について調べようと思ったので、初歩的な手法としてTemporal ensembling、Mean teachers、UNSUPERVISED DATA AUGMENTATION(UDA)、MixMatchについて調べました。 間違いがあったら教えてください。 そもそも半教師あり学習って何? Temporal …

Augmented CycleGAN: Learning Many-to-Many Mappings from Unpaired Data

Augmented CycleGAN: Learning Many-to-Many Mappings from Unpaired Dataのメモです。超適当です。 どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと検証した? 議論はある? 次に読むべき論文は? 参考 その他 …

bert as service のベクトル表現を用いて文書分類メモ

日本語BERTで文表現ベクトルを得る環境を作る 日本語BERTによってベクトルを出せるようにする 以下の記事の通りに、日本語BERTによって文表現ベクトルを計算するサーバーを作ります。 https://qiita.com/shimaokasonse/items/97d971cd4a65eee43735 ※Google C…

eXpose: A Character-Level Convolutional Neural Network with Embeddings For Detecting Malicious URLs, File Paths and Registry Keys

論文リンク:https://arxiv.org/abs/1702.08568 ※少し古めの論文です CLCNN(Character-Level Convolutional Neural Network)とは CNNは画像に対して提案された手法で、基本的に自然言語では時系列モデルであるRNNとかLSTMが用いられる。 CNNを自然言語処理…

SinGAN: Learning a Generative Model from a Single Natural Image 論文まとめ

SinGANという論文を軽く読んだのでメモ。 この記事は自分用にまとめたもので間違っている可能性があります。 もし間違い等あればご指摘して頂けると助かります。 どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと…

Normalization Layers

Normalization Layersについて調べてた時以下の記事が非常に分かりやすかったので日本語で要約しました。 www.quora.com Normalization Layers Batch Normalization Layer Normalization Instance Normalization Group Normalization おまけ 引用記事 Normal…

Improving the Robustness of Deep Neural Networks via Stability Training 軽く読んだのでメモ

Improving the Robustness of Deep Neural Networks via Stability Training という論文を少しだけ読んだのでメモ。 後ろの方雑になってしまったけど許してください... どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有…

ChainerでCutMix実装

CutMixについて 結果 CutMixをChainerで実装してCifar-10で実験してみました。 割と無理やりなコードなのでそのうちちゃんと書き直したいと思います... github.com CutMixについて 論文:https://arxiv.org/abs/1905.04899 他の画像を切り取って重ねる新しめ…

ChainerでManifold Mixup実装

Manifold Mixup コードのおおざっぱな説明 結果 Manifold Mixup 入力層ではなく隠れ層における表現でmixupを行う。 隠れ層でmixupを行うことで従来よりも良い精度になったという。 論文はこちら。 分かりやすい解説はここの記事。 実装コード(どこかミスが…

NONLINEAR CONJUGATE GRADIENTS FOR SCALING SYNCHRONOUS DISTRIBUTED DNN TRAININGについてまとめた

「NONLINEAR CONJUGATE GRADIENTS FOR SCALING SYNCHRONOUS DISTRIBUTED DNN TRAINING」の論文をまとめました 論文pdf:https://arxiv.org/pdf/1812.02886.pdf 落合フォーマット(http://lafrenze.hatenablog.com/entry/2015/08/04/120205)でまとめました。 …

Using Deep Learning for Image-Based Plant Disease Detectionまとめた

Using Deep Learning for Image-Based Plant Disease Detectionを落合フォーマットでまとめました。 どんなもの? Deep neural networksで植物病害診断の改善を試みた。 データセットは26の病気をもつ14種類の植物画像54,306枚のを用いている(FIGURE 1)。 …

chainerで画像分類をする

Google Colabolatory上でchainerを用いて画像分類をしました。 ランタイムタイプをGPUにします。 準備 Colaboratoryにインストールされているcudaのバージョンを見て、自動的に適切なCuPyをインストールします。 !curl https://colab.chainer.org/install | …

VAEによる異常検知(マハラノビス距離編)

github.com 前回の続きでここではmnistの「1」という数字以外(今回は「9」)の画像に対し異常検知するプログラムで説明していきます。 今回の実装では以上のgithubと、以下のサイトを参考にして実装しました。 orizuru.io VariationalAutoencoderRunner.py…

pix2pixについてまとめた

pix2pixについて論文と各サイトを自分用にまとめました。詳しい説明は論文と各サイトを見ることをおすすめします。 論文 https://arxiv.org/pdf/1611.07004v1.pdf 引用・参考サイト https://qiita.com/miyamotok0105/items/8ed0a8943f5318e826e0 https://qii…

CGANについてまとめた

CGANについてまとめました。詳しい解説は引用・参考サイトを見ることをおすすめします。 論文 https://arxiv.org/pdf/1411.1784.pdf 引用・参考サイト https://qiita.com/triwave33/items/f6352a40bcfbfdea0476 https://www.kumilog.net/entry/conditional-d…

Generative Adversarial Nets(GAN)についてまとめた

GANについて落合フォーマットというものを利用してまとめました。 論文 : https://arxiv.org/pdf/1406.2661.pdf どんなもの? Generative Adversarial Nets(GAN)は2014年にIan Goodfellowによって考案され効率的に生成モデルを訓練させるためのモデリング手…

Tensorflow(公式)のVariationalAutoEncoderを動かして遊んだ

前回のAutoEncoderの続きでVariationalAutoEncoderを動かして遊びました。 VariationalAutoEncoderの理論は以下のサイトがめちゃくちゃ詳しく書いてありました。 qiita.com https://nzw0301.github.io/notes/vae.pdf AEとの大きな違いは潜在変数zを取得する…

AutoEncoder(Tensorflow公式)で遊んだ

AutoEncoderとは AutoEncoderとは、NNを用いて次元削減する手法です。自己符号化器とも呼ばれます。 詳細、仕組みは以下の参考サイトに非常に分かりやすく説明してあります。 機械学習プロフェッショナルシリーズ輪読会 #2 Chapter 5 「自己符号化器」 資料 …

keras-yolo3を使ってYOLOv3とtinyYOLOv3を軽く実装

以下のリンクのkeras-yolo3実装方法を簡単に書いていきます。 github.com 1. 事前準備 事前に以下のアプリ/モジュールをインストールしておく必要があります。 Python3 numpy==1.15.1 Pillow==5.3.0 scipy==1.1.0 tensorflow-gpu==1.11.0 keras==2.2.4 se…

tinyYOLOv2を軽く実装してみる

tinyYOLOv2軽く実装 tinyYOLOv2について少し調べたので少しだけ書こうと思います。 実装は以下のURLのものを使いました。 github.com 環境:Python3, tensorflow 1.0, numpy, opencv 3. githubから以下のzipファイルをダウンロードします。 https://github.c…