Study/DNN/Glossary

Annotation

あるデータに対して関連するメタデータを付与すること

AutoEncoder

データを少数の特徴量に圧縮することを目的としたニューラルネットワーク
教師無し機械学習
入力データを少数の特徴量に圧縮するネットワークと、少数の特徴量から入力データを再現するネットワークを直列につなげたネットワーク
入力と出力の差分を最小化するように学習する
入力とそこから再現した出力を比較することにより異常検知などに使用できる

Contrastive Learning(対照学習)

SSL(自己教師あり学習)の一手法
ラベル付けを行うことなく、データ同士を比較する仕組み用いて、膨大なデータをそのまま学習できる
似たデータは近くに、異なるデータは遠くになるように特徴量を学習する

CNN/Convolution Neural Network(畳込ニューラルネットワーク)

入力に対して畳込演算を行う畳込層を持つニューラルネットワーク

DNN/Deep Neural Network(深層ニューラルネットワーク)

三層以上のニューラルネットワークは可微分で連続な任意関数を近似できる
画像や統計など多次元量のデータで線形分離不可能な問題に対して、比較的小さい計算量で良好な解を得られることが多い。

Fine Tuning

学習済みモデルの一部、或いはすべての重みを微調節する手法
学習済みモデルの重みを初期値として、再度学習させ微調節する

GAN/Generative Adversarial Network(敵対的生成ネットワーク)

教師無学習で使用されるアルゴリズム。
生成ネットワーク(generator)と識別ネットワーク(discriminator)を同時に学習させる。

Knowledge Distillation(知識の蒸留)

大きく複雑なNNモデルを、小さくて軽量なNNモデルとし、パラメータ容量の削減や高速化する

Model Compression(モデル圧縮)

複数のモデルで学習した知識を単一のモデルに移す

LSTM/Long short-term memory(長・短期記憶)

RNNで対応が難しかった長いデータ列を読めるように設計されたDNN

Reinforcement Learning(強化学習)

ある環境内におけるエージェントが、現在の状態を観測し、取るべき行動を決定する
エージェントは行動を選択することで環境から報酬を得る
一連の行動を通じて報酬が最も多く得られるような方法を学習する

RNN/Recurrent Neural Network(回帰型ニューラルネットワーク)

内部状態を保持し時間的に動的な振る舞いを示すことができる

SSL/Self-supervised Learning (自己教師あり学習)

データ自身から独自のラベルを機械的に作り学習を行う手法
人によるラベル付けの労力を減らすことができる

Supervised Learning(教師あり学習)

事前に出力すべきものを入力データとして与える
事前に与えられたデータを"教師"とみなして、それをガイドに学習を行う
思い通りの出力を再現するために用いられる

Transfer Learning(転移学習)

ある領域(Domain)で学習したモデルを、別の領域(Domain)に適合させる技術
学習済みモデルの一部/全体を特徴抽出器として、特徴抽出器の重みは固定して、追加した最終層だけを再度学習する

Unsupervised Learning(教師なし学習)

事前に出力すべきものを入力データとして与えない
データの背後に存在する本質的な構造を抽出するために用いられる

Web Scraping(ウェブスクレイピング)

WebSiteから情報を抽出すること