NEWAY

愿识乾坤大，仍怜草木青

0%

Posted on In Valine:

DNN加速，目前的几个热门方向有：

  • tensor decomposition。将卷积运算中的tensor利用PCA等数学技术 降解成 低维、低rank、稀疏的tensor，从而直接提高计算速度
  • Quantization and Pruning. 将tensor中每个weight，或feature map里所有数值，利用quantization/pruning 提高计算速度。
  • Network structure。$5\times 5 = 3 \times 3 + 3\times 3, 3\times 3 = 3\times 1 + 1\times 1 + 1\times 3$

本篇文章另辟蹊径，直接从input入手，通过在减小input size的基础上 最大化input信息，从而directly的加速运算（对input（图像）的研究是CV方向了，需要对CV研究的比较透彻，也难怪是sensetime参与的）

与其他方法比起来最明显的优势就是可以直接应用到不同的model structure（比如ResNet 到ResNext），而不需要对内部结构有修改。

Posted on Edited on In Valine:

Introduction

problem

difficult to simultaneously buffer the input feature maps, the output feature maps, and the filter weights in limited internal accelerator memory.

Previous method

use large SRAM buffers (up to a few MBytes may be used). drawback: large amounts of memory are not affordable.

Another point/direction:

  • data reuse , is determined by the dataflow schedule of computatio

    • Previous work: the working set of these innermost loops fits the available internal storage

      drawback: existing models have not been adapted to explicitly application managed buffers, which constitute by far the most common memory architecture template for CNN accelerators, therefore, overestimate internal storage requirements

Contribution of this work:

  • new analytical memory performance model to evaluate dataflow schedules
  • best dataflow schedules
  • applied it on the case study of the design of a flexible CNN accelerator for deeply embedded Systems-on-Chip.

Background

Convolution loop-nest

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
// M output fmaps loop
LOF: for (m = 0; m < M; m++)
// C input fmaps loop
	LIF: for (c = 0; c < C; c++)
// spatial loops (ExE)
		LSY: for (y = 0; y < E; y++)
			LSX: for (x = 0; x < E; x++)
// filter loops (RxR, stride S)
				LFY: for (k = 0; k < R; k++)
                    LFX: for (l = 0; l < R; l++)
                    {
                    p = I[c][y*S+k][x*S+l];
                    w = W[m][c][k][l];
                    O[m][y][x] += p*w;
                    }

Goal

The problem consists in minimizing the number of memory accesses to the off-accelerator memory given a limited local buffer capacity.

Reuse in convolution

  • Input feature maps
  • Output feature maps
  • Weight

the reuse of a reference is carried by a loop if the same memory location is used by different iterations of that loop

However, unless the entire working set fits the local buffer, this reuse cannot be taken full advantage of.

Reuse buffer

  • Data cache

  • Application-managed scratchpad memories

    partitioning the local reuse buffer in a set of application-managed buffers,

Data Locality Optimization

  • reordring

  • titling

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    // output fmaps -- loop on tiles
    LTOF: for (mm = 0; mm < M; mm += mss)
        // input fmaps -- loop on tiles
        LTIF: for (cc = 0; cc < C; cc += css)
        // spatial -- loops on tiles
            LTSY: for (yy = 0; yy < E; yy += iss)
                LTSX: for (xx = 0; xx < E; xx += jss)
                // output fmaps -- tile loop
                    LOF: for (m=mm; m<min(mm+mss,M); m++)
                    // input fmaps -- tile loop
                        LIF: for (c=cc; c<min(cc+css,C); c++)
                        // spatial -- tile loops
                            LSY: for (y=yy; y<min(yy+iss,E); y++)
                                LSX: for (x=xx; x<min(xx+jss,E); x++)
                                // kernel -- tile loops
                                    LFY: for (k=0; k<R; k++)
                                        LFX: for (l=0; l<R; l++)
                                        {
                                        p = I[c][y*S+k][x*S+l];
                                        w = W[m][c][k][l];
                                        O[m][y][x] += p*w;
                                        }

Method

Analytical model for evaluating the dataflow schedules

Distance $d_X(L)$

The number of loop iterations in the loop L , that separates two consecutive accesses to the same data element X

(d次iteration后，再也不会access到这次access的data element)

footprint $F_X(L_i)$

the footprint of array X in loop L measures the number of distinct elements of X used inside L.

1552309141092

n(L) : loop L 的interation数目， L0 代表最里面的inner loop

the actual required size for the application-managed buffer is computed as follows:

1552309773395

memory traffic $T_X$

number of bytes accessed in off-accelerator memory for array X

1552309887178

PX the numerical precision (in bytes) used for its storage.

It should be noticed that i here is actually defined on maximal B(Li) that fits the size of buffer

Posted on Edited on In Valine:

个人也是初学根本就不了解谓词是什么意思，通过下面的例子大家自己体会吧。

 

下面程序演示了count_if();

该程序创建一个包含数字1-19的矢量，然后统计能够被3整除的元素个数。

为了达到这个目的，程序首先创建了一个称为dividesby3()的一元谓词，如果谓词的参数能够被3整除，该谓词返回ture

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#include<iostream>
#include<vector>
#include<algorithm>
using namespace std;

bool dividesby3(int i)
{
  if((i%3)==0)return true;
  return false;
}

int main()
{
 vector<int> v;
 int i;
 for(i=0;i<20;i++)v.push_back(i);
 cout << "Sequence:/n";
 for(i=0;i<v.size();i++)cout << v[i] <<" ";
 cout << endl;
 i=cout_if(v.begin(),v.end(),dividesby3);//谓词就在这里被用到了
 cout <<　ｉ　<<" numbers are divisible by 3./n";
 return 0;
}

Posted on Edited on In Valine:

NVIDIA VISUAL PROFILER

linux端路径：

./PATH_OF_CUDA/libnvvp/nvvp

1
./nvvp

also, when you create a NVVP project with name *.nvvp , you can simply run it by 

1
nvvp *.nvvp

windows*端：

  • open visual profiler directly
  • new session
  • select the .exe file of your CUDA file

Posted on Edited on In Valine:

应该是18年的下半年，逐渐有个想法，读过的书，看过的电影，体验过的人生，倘若不在结束的时候记录几句，便好似火车上一闪而过的风景，过去了也就过去了。

因此，希望能把自己的感触 想法统统记录下来。一来回顾往生的时候多了许多有意思的事，二来在一些重要的决定或者自己三观的培养上也能有指导作用。

白鹿原描绘了从晚清到建国，在关中的小村白鹿原中发生的的几十年历史，短短的几十年，却发生了几千年自然演变都造不出的变革。家族体系面临着人权民主的冲击，封建社会遭到国民革命的洗礼，而资本主义也和共产主义进行着强烈的冲击。正是种种“主义”交织在一起，才使得故事一波三折，高潮迭起。

白嘉轩与白孝文

白嘉轩是一个典型的传统中国中家族族长的形象，威严，正义，洁身自好，有骨气。但是这么多好的词放在他身上却又没使得这个角色如诸葛亮那般人见人爱，顶多算个人见人静。我们不可谓这种家族体系不好，也不可谓白嘉轩是个坏人，至少在他的带领下，白鹿原也是一个远近闻名的文明之邦，但我们为什么对这种“父辈”会有一丝反感呢？究其缘由，可能是许多人在白嘉轩中看到了自己父辈的影子，那个扼杀了自己许多天性的父辈影子。传统中国的人际关系有何特征，按照人类简史的说法，世界范围内的大部分农业社会都是以家族为单位，家族中的族长往往有着无可比拟的个人影响力和家族权力，而中国的家族主导制还多了儒家思想的浸染，早期儒家思想其实并不是白嘉轩为代表的灭人欲，真正将纲常伦理摆在修身之首的是朱熹，这么说来朱熹也是个“带恶人”？现在在年轻人眼中家族体制似乎是落后封建的代表，带也有一部分原因是政府，或者说资本家们更希望将人分成独立而不互助的个体，这样更有利于自己的统治。于是政治家们开始宣传私有财产神圣不可侵犯，自身人格平等而独立，这些我们现在觉得天经地义的思想 在当时看来确是大逆不道。人们遇到纠纷，从最开始的找族长，变成了找警察，对家族的依赖性大大降低，而对政府的统治愈加习以为常。因此，当我真的要去评判白嘉轩时代的白鹿村时，以当代人的视角自然是有失公允的。如果换个问题，扪心自问我愿不愿意在白嘉轩时代的白鹿村生活，答案是明显的否。我承认我已经是人格自由的坚实拥护者，倘若连选择陪伴自己一生的伴侣都要受着伦理道德的束缚，我宁愿反抗这种看似灭人欲实则灭人性的道德。但不论如何，我是尊敬着白嘉轩的，他有着一个男子汉该有的所有性格，只是受限于当时的时代思想（其实是否他的思想就是受限呢？难道思想也有先进之分？），让他成了朱熹思想下的“完美男人”。

相比于白嘉轩，白孝文是最让我内心波动并且“触目惊心”的。初读白鹿原时，我就有个想法 这彬彬有礼的白孝文，不就是我么？是啊，不论是否是真心想要那样，但孝文确实是我的样子，内敛而不自闭，矜持而不失礼，广受族人好评，也正是如此，看到那鹿子霖计谋他那卑鄙阴谋的时候，我是真的不忍卒读。但就像鹿子霖说的，他只是个钓鱼的，主动上钩的是白孝文自己，是的，白孝文和他爹不一样，他有着常人皆有的人欲，而也是这种人欲让他堕落，逐渐成为了第二个鹿子霖。在我看来，白孝文对小娥不仅仅只有荷尔蒙的欲望，还有两个被当时世俗唾弃的可怜人的互相怜惜，但让我遗憾的是，白孝文的沉沦，成了我最厌恶的那类人。这也是我为什么相信读书，相信冥想的力量，一个人只有真正想明白自己的幸福靠的是什么，才不会在花花世界中放弃自己的原则。于我而言，惟愿本心无怨尤有了新的定义，所谓的本心，初衷，并不是人的兽性一面的欲望，而是自己回首此生，不会觉得虚度，不会后悔，不会恍然发现自己陷在了无休止的竞争，钱财、权力、或是名望。只有知道自己真正的本心，也就是自己真正想要怎么度过的人生，才能做到没有怨尤。人生应该怎样过 没有明确的定义规划，但是我知道的是，由欲望主导的做事行为绝对带来不了真正的心安。佛说过，所有痛苦的来源都是欲望，其实大家都明白这个道理，对事物的欲求太多，得不到时的痛苦也就越多。而现代社会，往往不是因为缺乏必需的而痛苦难耐，而是因为缺乏太多额外的想要的。这个想要的不仅仅是物质，还有很多虚拟的期望，譬如望子成龙，譬如爱情，只有抛却到对这些的欲望但又为之努力，做到尽吾志也而不能至者，才称得上真正的无悔。

小娥

小娥是不幸的，是可怜的， 而可怜的人必定有他可恨的地方。但当我仔细想想，她的可恨，我会发现，所有我恨的，不是因为她本身，而是她遇到的这个表明和谐实则乌烟瘴气的社会。 她敢于追求自己的爱情，勇于试着拯救她的心上人。但因为旧社会的妻妾制度，女权的丧失和一些心术不正之人的威逼利诱，她走上了这条在她性格下注定了的道路。

姓国还是姓共

这本书貌似是台湾的禁书。但其实对我而言，这书对我最大的政治上的启迪是，不论姓国还是姓共，对人民、对国家最好的才是好的党派，我这种说辞颇有点无党派人士的意味。放在以前，我会把国放在一个反派的位置，或者把共放在反派，但现在，越发觉得，这世上，哪有什么绝对的正反，国民党中有坏人，但也有为国捐躯的好男儿，共产党中有一些为人民的好人，但也有陷在阶级斗争或是政治斗争中的“政治家“。

Posted on Edited on In Valine: 
1
2
3
4
5
6
7
considering a numpy matrix mat with shape[10,7,1,2]
if we want to access the FIRST column of mat, which has shape[10]
then we should use:
    mat[:,0,0,0]
instead of:
    mat[:][0][0][0] (return the shape of [5])
	cause mat = mat[:] actully.

Posted on Edited on In Valine:

lecture 12 visualization

Q1 why does visualizing the weights of the filters tell you what the filter is looking for?

template match. (filter = template)

the input which maximizes that activation under a norm constraint on the input is exactly when those two vectors (input + filter) matches up.

visualization of second last layers:

L2 nearest neighbors in feature space can be same types ( tree on the left or tree on the right)

visualization of middle layers

select images with maximal activations in exact channels of exact layers (the selected images are usually same)

mask part of the image before feeding into CNN

saliency maps

  • which pixels matter?
  • computer gradient of output/input directly

deep dream

set feature maps as the (backpropagation) gradient to maximize the features found by DNN

neural texture synthesis

generate a big texture from a small texture(image)

  • how to compute Gram Matrix(also for style transfer)?:
  1. get a feature map through DNN with size ($C\times H\times W$)
  2. generate $cchw$ matrix for each pair of c-dimensional vectors measuring co-occurrence ($new_{ij} = old1_iold2_j$)
  3. average from cchw to cc
  • using random image to generate gram matrix and compare it with input’s gram matrix( loss function to compare)

style transfer

  • gram matrix is also used
  • but the iteration may be too large (random image as initial image), solution: train a DNN(feedforward net in the image) ,input: raw image output: style image and the weight is updated by throwing the output into the gram matrix calculation procedure.

1546069236886

lecture 13 generative models

Posted on Edited on In Valine:

面试了两次了，去年一次，今年一次。记录一下流程和心得吧。

流程

  • 跟教授套磁（个人觉得是影响最后结果最重要的因素，最好是能跟教授做research， 比如申请ra，申请fyp在cu做）
  • cs 官网报名。注意early submission一般是8，9月截止。正常的是11月开始 越早报名越好，regular interview不是等到最后三月DDL后才一起面试。
  • interview，了解到的eligible的同学基本都是top15水准的内地同学吧，中大，浙大，华科，清华等等。不过也有南科大top1的同学和华盛顿回港的待就业local。
    • 首先是一小时的written test。考的东西是 组合 + 概率 + 图论 + OS + data structure 等各种杂交的把。不过难度不是很大，准备其实也无从下手。内地同学可能要把单词搞明白？重要性据说也就那样，好了自然是加分项，没好也不会太扣分。
    • 面试是三位老师。常规的 自我介绍，reasons for apply for this program是一定要准备的。另外的话 就是准备好介绍自己的proj。一般来说 前期套磁很顺利的话 教授就不会太刁难的问算法 技术问题，只是发邮件“套磁”的话可能会问到比如leetcode这样的东西。
  • 面试完之后，如果通过了，前期已经完全说好的就可以直接跟教授拿offer了，否则还需要找教授问要不要收我。（这个面试代表engineering falculty 认可你做phd学生，不代表某个特定的教授就要招你）

感想

  • 面试的时候有说 charles kao 是自己的偶像，想做newton in physicals那样的人物。教授有点“冷笑”的意思。 再想想自己现在其实并没有什么能摆上台面的achievement，说这种话真有点“志大才疏”的意思，心比天高的人其实是我最不想成为的人。在我能说出这些话之前，先有足够的实力才不会被人质疑。不过所幸还有足够时间努力。
  • eric lo 从工业界回到学术圈的原因也知道了，不喜欢编程。觉得钱不是最重要的事。很高兴其实还是有很多人这么想的。就像记者问charles kao没有光纤专利后不后悔，他说不后悔，” if everything is for making money, then I cannot absolutely invent the optical fiber”。至少我也一定不会做一个money-oriented 的人，对我来说 人生的追求不是making big money.

Posted on Edited on In Valine: 
1
2
3
4
5
6
7
8
9
10
11
// loop over inner tile(output tile) dimension
    for ( int iktile = 0; iktile < ntiles; iktile++ ) {
  
      // loop over row tiles
      for ( int irowtile = 0; irowtile < ntiles; irowtile++ ) {
        // loop over column tiles
        for ( int icoltile = 0; icoltile < ntiles; icoltile++ ) {
…
		}
      }
    }

Details description