related work
DNN加速，目前的几个热门方向有：
- tensor decomposition。将卷积运算中的tensor利用PCA等数学技术 降解成 低维、低rank、稀疏的tensor，从而直接提高计算速度
- Quantization and Pruning. 将tensor中每个weight，或feature map里所有数值，利用quantization/pruning 提高计算速度。
- Network structure。$5\times 5 = 3 \times 3 + 3\times 3, 3\times 3 = 3\times 1 + 1\times 1 + 1\times 3$
本篇文章另辟蹊径，直接从input入手，通过在减小input size的基础上 最大化input信息，从而directly的加速运算（对input（图像）的研究是CV方向了，需要对CV研究的比较透彻，也难怪是sensetime参与的）
与其他方法比起来最明显的优势就是可以直接应用到不同的model structure（比如ResNet 到ResNext），而不需要对内部结构有修改。