#contents
----
*概要 [#fa544d97]
- DNNモデルを極力精度を維持しつつ軽量化&高速化する技術
*手法 [#id455eab]
+ parameter pruning and sharing
パラメータの情報量を削除する
++ Quantization and Binarization
weightのビット数を削減する
++ Pruning and Sharing
冗長な重みを刈り取り、重みパラメータを共有する
++ Designing Structural Matrix
mxnより少ないパラメータで記述可能なmxnの構造化行列を見つける
+ low-rank factorization
畳み込み層や全結合層を低ランク近似する
+ transfered/compact convolutional filters
畳み込み層をよりコンパクトなフィルタに置き換える
+ knowledge distillation
複雑なモデルを基に、単純なモデルで再学習させる
複雑なモデルを基に、単純なモデルで学習させる
*Link [#s86a7708]
-[[深層学習のモデル圧縮・高速化に関する論文80本ノック>http://madoibito80.hatenablog.jp/entry/2018/04/06/121059]]
-[[「A Survey of Model Compression and Acceleration for Deep Neural 」の邦訳と感想 [その1] >http://cparch-mclearn.blogspot.com/2017/12/a-survey-of-model-compression-and_30.html]]
