NEWAY

GNN

$$H^{(k+1)}=activation(D^{-1/2}(A+I)D^{1/2}{H}^{k}W)A=adjacentmatrixD=degreematrix{H}^0=featuresofgraphnodesW=trainablevariables$$

Reason:

$(A+I)H$ represents that the feature of one node is the sum of features of node itself (plus $I$) and its adjacent nodes( $A$)

$D^{-1/2}(A+I)D^{1/2}$ = normalized ($D^{-}1$)

GIN

This is one of my favourite papers.

ref: How powerful are graph neural networks (ICLR2019)

Lemma 2. Let G1 and G2 be any two non-isomorphic graphs. If a graph neural network A : G → $R^d$ maps G1 and G2 to different embeddings, the Weisfeiler-Lehman graph isomorphism test also decides
G1 and G2 are not isomorphic.

lemma 2 means that upper bound of GNN equals to 1-dim WL test

Theorem 3. Let A : G → $R^d$ be a GNN. With a sufficient number of GNN layers, A maps any
graphs G1 and G2 that the Weisfeiler-Lehman test of isomorphism decides as non-isomorphic, to
different embeddings if the following conditions hold: all of operations in GNN (aggregate, combine and readout are injective(单射))

based on theorem 3, we can propose a simplest GNN model : GIN, where aggeregate = sum, combine = (1+ $\alpha$) h + aggeragate , ($alpha$ is simply a pre-defined scalar)

GMN

Graph match

(input G1 G2, output similarity score)

Only difference with GNN: when we combine information, we will consider one more term:

${\mu }_{j\to i}=a_{j\to i}(h_i^{(t)}-h_j^{(t)})$

i,j different graph, $a_{j\to i}$ is the softmax value of vector difference between hi and hj.

Reviews on deep learning w. discrete features

ref:

https://mp.weixin.qq.com/s/HhrnCKUvNHnZDgoGF52Vuw

Properties of Deep learning

• Super memorizer: easily fit a random labeling
• super energy sucker
• overly parameterized ( compression while maintaining similar accuracy is easy )
• 先略后详(learning process)
  • from easy to difficult
  • from smooth to noisy
• Robust to massive label noise (compared with MLP, Perceptron)

Learning with more knowledge(which can be discrete features)

Input

• Multi-modal inputs
• synthesized inputs
• others

Output

• Multi-task learning(more outputs?)
• more representations
• more priors

虽然不看cba 虽然一直都是跟着老詹粉球队 虽然这次看比赛真的看的气

但是以后玩2k 还是会把阿联周琦搞到自己球队里 选秀的时候还会刻意选个中国的小伙子

然后谢谢你啊 阿联

这篇文章写在单曲循环Hey Kong时的2019年九月（严格意义上来说算是八九之交的时候）。

Hey Kong的歌词是十年前的自己写给现在自己的一封信。虽然和从小梦想做一个rapper的“打架王”不太一样，但是歌词还是引起了很多的共鸣，有对未来的小心翼翼的希望，虽然很想知道未来是怎样，但又很害怕自己的未来是灰暗，也有青春时期对于好感的懵懂情怀，以及各种烦人的事儿。

已经基本忘记了十年前的自己每天的生活会怎样，但是能猜到如果真要照着歌词写一封十年前的信的话，里面肯定会想问我去了哪个大学，大学是不是自由了，能够每天打游戏了吗，还需要背英语单词嘛。。。

Anyway, 很遗憾那时候没有写封给现在我的信。所以今天想花点时间，写点给未来自己的一封信。

Hey Neway，我不知道你是不是还叫做neway：至少现在的我还蛮喜欢这个local室友给我起的英文名的，所以姑且我称你neway。我现在正打着赤膊在给你写信，香港的九月比较热，不过十平米豪宅的空调还是很给劲的。

昨天刚刚把缠了我几个月很dirty work的OpenMPL搞定了，今天小小奖励了下自己看了rng的总决赛和中国男篮打韩国的世界杯，不知道那时候RNG夺冠了没哈哈哈，不过那时候LOL是不是dead game都不一定了呢。

真正做research也有一年多了，虽然蹭了二作的best paper，老师也说我可以申四大，但是我真的很担心，这么久了拿得出手的一作都还没有，DAC的ddl只有三个月了，要投DAC的work现在还是一点进度都没有，虽然老板偶尔会夸我有灵气，但是这种灵气离paper差的也太多了。talk is cheap。

Neway，我现在感觉每天都要做各种事，但又有好多东西还要学，我要重新看一遍linear algebra，想再看一遍computer principle，现在是我入学mphil的第一学期,所以只选了一门课,希望自己有时间去把基础再打牢点,对了,唯一的那门课是optimization,特别有趣,可能是因为这一年多的research接触到了很多optimization的东西,那时候书到用时方恨少,所以上课的时候恨不得不要下课.

这一两年明显感觉自己身体差了很多,一到下午太阳穴那就特别疼,医生说是神经性头痛,让我多休息,不要低头,不要给自己太大压力. 我觉得我还是得重新打打球:等OpenMPL彻底交完之后吧? 说起打球,我感觉我的时间已经支撑不起自己其他的兴趣了:什么吉他啊 看书啊 都荒废好久了. 其实一直都想练下hey kong这首歌来着.

Neway,不知道你现在过的怎么样了.是不是真的做教授了,如果是的话,一定不要为名望,为职称,为金钱变成一个自己讨厌的人. 不过没能做成教授也没关系啦,我相信你的选择肯定是努力后的,人生路途这么长,哪有人能称心如意,不要活在别人的看法里,或者和别人的比较里就很好了啦.

另外不知道未来你的cs知识是不是足够能让自己”自信”，就像我高中对数学的自信那样，也不知道你身体怎么样了,希望能好好的。另外如果当教授了,有时间了,把自己的爱好都捡起来,可以和家人一起鸭~可能你还有崽崽了哈哈,和ta打篮球教ta弹吉他一起看书什么的多好鸭.

好了就写到这吧~,明天还要组会. 我得睡了,希望明天的下午不要再头疼欲裂了. 周一预约了深圳的神经内科医生,希望这次能不用排队做个脑部检查了.

希望一切顺利,一起加油~

这篇文章写在单曲循环Hey Kong时的2019年九月（严格意义上来说算是八九之交的时候）。

Hey Kong的歌词是十年前的自己写给现在自己的一封信。虽然和从小梦想做一个rapper的“打架王”不太一样，但是歌词还是引起了很多的共鸣，有对未来的小心翼翼的希望，虽然很想知道未来是怎样，但又很害怕自己的未来是灰暗，也有青春时期对于好感的懵懂情怀，以及各种烦人的事儿。

已经基本忘记了十年前的自己每天的生活会怎样，但是能猜到如果真要照着歌词写一封十年前的信的话，里面肯定会想问我去了哪个大学，大学是不是自由了，能够每天打游戏了吗，还需要背英语单词嘛。。。

Anyway, 很遗憾那时候没有写封给现在我的信。所以今天想花点时间，写点给未来自己的一封信。

Hey Neway，我不知道你是不是还叫做neway：至少现在的我还蛮喜欢这个local室友给我起的英文名的，所以姑且我称你neway。我现在正打着赤膊在给你写信，香港的九月比较热，不过十平米豪宅的空调还是很给劲的。

昨天刚刚把缠了我几个月很dirty work的OpenMPL搞定了，今天小小奖励了下自己看了rng的总决赛和中国男篮打韩国的世界杯，不知道那时候RNG夺冠了没哈哈哈，不过那时候LOL是不是dead game都不一定了呢。

真正做research也有一年多了，虽然蹭了二作的best paper，老师也说我可以申四大，但是我真的很担心，这么久了拿得出手的一作都还没有，DAC的ddl只有三个月了，要投DAC的work现在还是一点进度都没有，虽然老板偶尔会夸我有灵气，但是这种灵气离paper差的也太多了。talk is cheap。

Neway，我现在感觉每天都要做各种事，但又有好多东西还要学，我要重新看一遍linear algebra，想再看一遍computer principle，现在是我入学mphi的第一学期,所以只选了一门课,希望自己有时间去把基础再打牢点,对了,唯一的那门课是optimization,特别有趣,可能是因为这一年多的research接触到了很多optimization的东西,那时候书到用时方恨少,所以上课的时候恨不得不要下课.

这一两年明显感觉自己身体差了很多,一到下午太阳穴那就特别疼,医生说是神经性头痛,让我多休息,不要低头,不要给自己太大压力. 我觉得我还是得重新打打球:等OpenMPL彻底交完之后吧? 说起打球,我感觉我的时间已经支撑不起自己其他的兴趣了:什么吉他啊 看书啊 都荒废好久了. 其实一直都想练下hey kong这首歌来着.

Neway,不知道你现在过的怎么样了.是不是真的做教授了,如果是的话,一定不要为名望,为职称,为金钱变成一个自己讨厌的人. 不过没能做成教授也没关系啦,我相信你的选择肯定是努力后的,人生路途这么长,哪有人能称心如意,不要活在别人的看法里,或者和别人的比较里就很好了啦.

另外不知道未来你的cs知识是不是足够能让自己”自信”,就像我高中那样,也不知道你身体怎么样了,希望能好好的. 另外如果当教授了,有时间了,把自己的爱好都捡起来,可以和家人一起鸭~可能你还有崽崽了哈哈,和ta打篮球教ta弹吉他一起看书什么的多好鸭.

好了就写到这吧~,明天还要组会. 我得睡了,希望明天的下午不要再头疼欲裂了. 周一预约了深圳的神经内科医生,希望这次能不用排队做个脑部检查了.

希望一切顺利,一起加油~

Project Lists

来自学长的一些吐槽/建议

• 中大CS和内地高校不同（更糟糕的点）是本科的时候很难有途径接触到真正 paper-oriented 的research（不是课上的proj），所以申请的时候确实很吃亏，因为简历上真正拿得出手的也就一个GPA了，所以我那届（18） major GPA 4.0的学神都只申请到了加拿大的master。。因此在我看来本科接触一些科研实在是很有必要的，

  • 一来可以体验下了解自己是不是真的喜欢科研，以及是不是有具体的喜欢/讨厌什么方向，要不要申请PHD，
  • 二来如果有了成果，以后申请深造优势也大太多了，
  • 三来这个方式拿到的推荐信比起上了xx教授的课拿了a给的推荐信分量也重很多，
  • 四来（不好意思一下说了这么多优势，但都是自己的血泪经验）research时候被push着学到的很多东西哪怕不做research也是很有帮助的，比如tensorflow？pytorch？c++从入门到xx？

  因此哪怕对这些proj都不感兴趣，还是建议各位能主动去联系找一个research做来看看，等到大四或者之后自己就有能力直接lead一个research，这样简历也会厚实很多。

• research 和课上的proj不一样的是重要的是self-motivation，如果你不想干装死了也没人可以扣你GPA，我也不可能把刀架在你脖子上哈哈哈，但是要自己想清楚退出的benefit和drawback，在我看来research肯定有很多要新学不太知道的，别因为这个就放弃，太可惜了，因为其实不是能力问题，只是接触的太少，多google多问（多google优先，学长是暂时的，google是能陪你一辈子的）就好。

表格链接

（还有什么关于深造、科研、就业等问题都可以问我啦~毕竟我也是过来人哈哈哈）

https://docs.google.com/forms/d/e/1FAIpQLSfl21puGxoPEQF-tzvG9sD6PJfzOf4Ffdgm2w4hL9zJgVTYJw/viewform?usp=sf_link

Another perspective of matrix multiplication (row-based/column based)

• Q: How to represent “substract 3$\times$ row 1 from row 2” in matrix form?

• A:

  [1,0,0] -> the first row of the output is a row combination of 1 first row, 0 second row and 0 third row

  [-3,1,0] $\times$M ->-> the second row of the output is a row combination of -3 first row, 1 second row and 0 third row

  [0,0,1]

实在是太美了。为什么之前没好好听课 就抱着高中奥赛的东西乐享其成呢。

大学四年一直心心念念想去重庆/成都玩玩，现在趁着难得的假期一个人（本应是两个人）出去玩了玩，权当散心。

• 重庆话/成都话真好听好可爱，吹爆！
• 川渝小姐姐都好可爱，吹爆！
• 第一天的时候一个人吃了顿火锅，以后再也不可能做这种事了。
• 第二天的时候去了武隆徒步，风景是秀丽，景色是动人，但这种自然景观未免也太累了，如果没有一个聊天的伴实在是太难顶了。中间疯狂思索旅行的意义。
• 旅行的意义:
  • 自然景观似乎也就这样，如果是放松心情投奔大自然去周边郊区也可，真像老板说的，旅游就是从一个地方去另一个地方的折腾。
  • 人文景观得是自己了解过的，这样才能感同身受，譬如这次去武侯祠想到孔明、姜维当年往事，真的还是很心情澎湃激动万分的，但是在杜甫草庐。。自己的诗词都背不了几首了。。
  • 所以对我而言，旅行最有价值的地方似乎就是认识当地的/旅行的朋友，感受当地的风俗以及吃了。。。可能是香港呆久了吧，我真的觉得重庆成都吃的都巨赞，尤其是最后一晚和四川本地大哥一起吃的一顿川菜简直了。。我饿了。
• 在杜甫草庐逛的时候碰到一位八十多的志愿者老奶奶，给我拍照教我一些他们认为潇洒的姿势哈哈哈，然后还鼓励我像竹子一样结节向上，虚心。真是太可爱了。时光恍惚终会过去，年龄不应成为限制一个人心态的标签。
• 狼人杀还是蛮好玩的。。好久没和小朋友们玩这些游戏了，上次这样的集体互动似乎是大二?毕竟现在科研都是一个人，难得的休闲时间也是自己一个人消化了。不过狼人杀还是蛮有意思的，最重要的就是当狼人的话也把自己假定成自己的目标角色（村民/女巫/猎人。。。）
• 在成都的时候和一个台湾的同龄人玩的，虽然他是台湾极少数浸染在大陆文化圈内的（b站），但还是能感受到台湾普遍青年的反华情绪。
• teamviewer再也不可能用了

生活的意义

• 孩子
• 上帝
• 来生
• 没有任何意义（荒诞不代表不值得过，而是要克服生活中的不公让生活值得过）

生活是什么

• 游戏
• 故事 （好的故事是怎样的？艺术性怎么体现的）
• 悲剧（每个人都有悲剧要素，活得好意味着怎么英雄式的承受这种悲剧）
• 喜剧
• 使命
• 艺术品
• 冒险
• 疾病
• 欲望（没有欲望便等于没有了生活）
• 涅槃（梵语:处于平和状态）
• 利他主义
• 荣誉
• 学习
• 受苦
• 投资
• 各种关系

本回答写于完全阅读大问题之前。

没有任何哲学素养的我只能大概按照第一章学到的内容，用逻辑、推论去解释我的思想。、

1.有没有某种你愿意为之付出生命的东西？如果有，它是什么？

有。人的生命是有限可穷的，不愿结束生命的原因是生命还有继续发光延续人生价值的意义。但若付出生命可以实现自己最大的人生价值，那么便死而无憾。（人生价值因人而异，于我，仔细想想，似乎还没有？因此答案也可以称为暂时没有？）

2.如果你只有几分钟可以活了，那么你将怎样利用这段时间？如果还能活几天呢？二十年呢？

答：
几分：把自己的爱意、感激告诉对方。
几天：已经没有机会学习哲学，科学，因此除了第一点，可能就是记录一些人生中的片段和粗浅的感想，然后去一个特别想去的地方。
二十年：找到自己的兴趣爱好，并且彻底钻研进去，为人类文明做出成就，留下属于自己的灿烂。

3.有一位著名的哲学家曾经说过，人的生命就像牛或者昆虫的生命一样没有什么意义。我们吃饭、睡觉、活过一段时间、生殖，别的动物也是如此，生命没有任何最终的目的。你会怎样来回答他？人的生活拥有哪些在牛或者昆虫那里无法找到的目的？你生活的目标是什么？

答：
人类拥有由书本等载体记录在案的光辉的思想，既前人之志而为后人铺路，这是人类文明灿烂的原因，也是我们生活所能达到的最终目的。

4.你信仰上帝吗？为什么？上帝是怎样的(也就是说，你所信仰的是什么)?你怎样向一个不信上帝的人证明你所相信的是真的（或者说是值得信仰的），即上帝的确是存在的（什么会使你改变想法）？

若称上帝为自己信仰之神，我没有。我是个唯物主义者，我相信科学，相信万物皆由物理定律和化学定律限制组成。

5.下面哪种东西最“真实”——是你所坐的椅子，构成这张椅子的分子，还是当你坐在上面时的感觉印象？

Interesting, 何谓真实？在我现在的定义为自己感官所能感受到的，因此印象=椅子>分子。

6.假定你是心理学家实验室里的一只动物，但你拥有思想和感觉的所有能力，也就是说有一个与现在完全相同的“心灵“。你无意中听到科学家跟一位助手说：”别担心，它只是一头不会说话的动物，既没有思想，也没有感觉，只是在按照它的本能活动罢了。“你怎样证明你的确具有思想和感觉，有一个”心灵“？现在假定有一位心理学理论家（比如哈佛大学的B.F.斯金纳）这样说，一般说来，没有所谓”心灵“这种东西，人只是”行动“罢了（也就是，根据从环境中接受到刺激去移动身体和发出声音）。你将怎样证明你的确有一个心灵，你不仅仅是一个自动机或者机器人，而是一个有思想、有感觉的存在？

自动机、机器人接受外界的刺激移动身体和发出声音是有逻辑控制的，但是我的思想可以有无穷尽的可能性。

7.假如你生活在这样一个社会，每一个都相信地球是静止不动的，而太阳、月亮和群星则围绕地球，沿着可以预测的轨道作着也许比较复杂的运动。你反驳说：”你们都错了，地球是围绕太阳转的。“但是没有人同意你的说法。他们都认为你疯了，因为人人都感到地球并没有运动，人人都看到太阳、月亮和群星在运动。到底谁是正确的？难道真的可能只有你懂得真理，而其他人都是错误的？

我看来的地心说太阳说谁正确 取决于事实如何，而不是人的思想何如。

8.”生活不过是一场梦”，一首老歌这样唱道。假如你觉得有这样一种想法是可能的或者至少是可以设想的（比如在一堂哲学课上）：你此刻仍然还在床上睡着觉，只不过梦见自己在读一本哲学书。你该怎样向你证明这不是真的，你其实正醒着（捏自己并不管用，为什么）？

梦境中的我们也不会觉得是梦。不过依据我的经验，梦境中的世界不是由严格物理定律组成的世界。

9.把你当成小说中的人描述一下自己。谈谈你的举止、习惯、个性以及特征用语。你最终成了一个什么样的人？你喜欢这个人吗？喜欢（或不喜欢）ta的哪些方面？

这是一个待人友善、有着似乎是天生的与陌生人便能聊天的力量的人。他有着互联网世界中特有的互联网文化的年轻人的放荡不羁、口无遮拦、大大咧咧的德行，由于小时候的经历，他是个在乎他人看法但不会表现出来而是 经常反思自己的人。喜欢这种人的善良，不能评价归结于己是否就可取，但我喜欢这样的人。

10.你怎样向一位外星来客解释你是谁（什么）？

。。。手势？舞蹈？音乐？

11.我们发明了一台机器，它是一个有着若干电极和一个生命维持系统的箱子，名叫”快乐箱“。只要你进入这个箱子，就会体验到一种特别快乐的感觉，而且这种感觉将一直持续下去，因为它可以产生足够多的变化使你不会失去新鲜感。现在我们想邀请你去试试。只要你愿意这么做，你可以随时决定出不出来；但我们可能会对你说，人一旦进到箱中，还没有谁愿意出来过。过了十个小时左右，我们接通了生命维持系统，人们就在那里耗完他们的一生。当然，他们其他什么事都没做，所以过了若干年后，由于缺乏锻炼，他们的身体开始变得肥硕臃肿，摇摇晃晃，但他似乎从未为此烦心过。现在轮到你做决定了：你愿意跨进快乐箱吗？为什么？

不愿意，快乐不是我的人生目的。

12.一个好人（一个不去做恶，只做”分内之事”的人）必定会快乐吗？换句话说，你相信生活最终是公平的吗？一个恶人——至少是最后——必定会受惩罚吗？（如果不会，为什么每个人还要力图做一个好人？）

快乐很大程度取决于自己。能够在困境中也能找到快乐的人可以称为一个明智的人，但好人与明智的人往往不是等于号。我不相信生活是公平，恶人最后也可能不受惩罚：事实上无数例子已经证明了。

做一个好人不是为了自己不会受惩罚，而是内心的善意驱动着自己做自己愿意成为的人。

13.你相信杀生在任何情况下都是错误的吗？

错误即为不可取？但若如此理解，我认为杀生并不错误，因为有时候是可取的。

14.你是否曾经做过一个不牵扯别的任何人而完全只属于你自己的决定（也就是说，不是因为你的父母向你提出，不是因为你的朋友或者电视、书籍、电影的影响，也不是因为迫不得已或过分受到某个人或某种情况的影响）？

人根据自己的思想做决定，而人的思想本就是在周围的人、经历过的事、看过的书等方方面面的影响下形成的，所以答：“在不受任何影响的情况下做出只属于自己的决定”这种说法本身就是有问题的。

15.自由总是一件好事吗？

如果按照思想自由的定义来看。思想的自由是毫无疑问的好事。可取的事。

16.你想要孩子吗？为什么？

答：想。喜欢心里有一个牵挂、把他培养成人的感觉。