3. Compression
Quick search
code
Show Source
PDF Github
Dive into cheap deep learning
Table Of Contents
  • Getting Started
  • 1. Introduction
    • 1.1. time
    • 1.2. 技术
    • 1.3. 隐私
    • 1.4. money
    • 1.5. Data
  • 2. Lightweight
    • 2.1. Lightweight
    • 2.2. SqueezeNet
    • 2.3. MobileNet
    • 2.4. MobileNet-v2
    • 2.5. ShuffleNet
    • 2.6. GhostNet
  • 3. Compression
    • 3.1. 模型压缩
    • 3.2. 参数剪枝(Pruning)
    • 3.3. Knowledge-Distillation
    • 3.4. 量化
  • 4. Write code
    • 4.1. Jupyter
    • 4.2. API
  • 5. Train
    • 5.1. Server
    • 5.2. Active Learning
    • 5.3. Pretrain
    • 5.4. 改进
    • 5.5. 结构
  • 6. Deployment
    • 6.1. 芯片
    • 6.2. Edge
    • 6.3. mobile
    • 6.4. MCU
    • 6.5. AI 中台
Dive into cheap deep learning
Table Of Contents
  • Getting Started
  • 1. Introduction
    • 1.1. time
    • 1.2. 技术
    • 1.3. 隐私
    • 1.4. money
    • 1.5. Data
  • 2. Lightweight
    • 2.1. Lightweight
    • 2.2. SqueezeNet
    • 2.3. MobileNet
    • 2.4. MobileNet-v2
    • 2.5. ShuffleNet
    • 2.6. GhostNet
  • 3. Compression
    • 3.1. 模型压缩
    • 3.2. 参数剪枝(Pruning)
    • 3.3. Knowledge-Distillation
    • 3.4. 量化
  • 4. Write code
    • 4.1. Jupyter
    • 4.2. API
  • 5. Train
    • 5.1. Server
    • 5.2. Active Learning
    • 5.3. Pretrain
    • 5.4. 改进
    • 5.5. 结构
  • 6. Deployment
    • 6.1. 芯片
    • 6.2. Edge
    • 6.3. mobile
    • 6.4. MCU
    • 6.5. AI 中台

3. Compression¶

  • 3.1. 模型压缩
    • 3.1.1. 为什么需要模型压缩和加速
    • 3.1.2. The literature classification and quantity of the review
    • 3.1.3. 14.3 模型压缩方法 4113
    • 3.1.4. 针对生成模型的协同进化压缩算法(ICCV2019)
    • 3.1.5. AutoML模型压缩（AMC）
  • 3.2. 参数剪枝(Pruning)
    • 3.2.1. 非结构化剪枝
    • 3.2.2. 权重剪枝[7]
    • 3.2.3. 生成模型参数冗余建模
    • 3.2.4. 其他方法
  • 3.3. Knowledge-Distillation
    • 3.3.1. 学生模型的网络结构
    • 3.3.2. 难点
    • 3.3.3. 背景
    • 3.3.4. Transfer Set和Soft target
    • 3.3.5. 超参数T
    • 3.3.6. BERT蒸馏
    • 3.3.7. Deep mutual learning则没有Teacher模型，它通过多个小模型进行协同训练
  • 3.4. 量化
    • 3.4.1. 性能瓶颈
    • 3.4.2. 定义
    • 3.4.3. 为什么需要量化？
    • 3.4.4. 技术
    • 3.4.5. 工业界
    • 3.4.6. TPU3
    • 3.4.7. More
Previous
2.6. GhostNet
Next
3.1. 模型压缩