windows编译tensorflow tensorflow单机多卡程序的框架 tensorflow的操作 tensorflow的变量初始化和scope 人体姿态检测 segmentation标注工具 tensorflow模型恢复与inference的模型简化 利用多线程读取数据加快网络训练 tensorflow使用LSTM pytorch examples 利用tensorboard调参 深度学习中的loss函数汇总 纯C++代码实现的faster rcnn tensorflow使用记录 windows下配置caffe_ssd use ubuntu caffe as libs use windows caffe like opencv windows caffe implement caffe model convert to keras model flappyBird DQN Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Neural Networks Fast-style-transfer tensorflow安装 tensorflow DQN Fully Convolutional Models for Semantic Segmentation Transposed Convolution, Fractionally Strided Convolution or Deconvolution 基于tensorflow的分布式部署 用python实现mlp bp算法 用tensorflow和tflearn搭建经典网络结构 Data Augmentation Tensorflow examples Training Faster RCNN with Online Hard Example Mining 使用Tensorflow做Prisma图像风格迁移 RNN(循环神经网络)推导 深度学习中的稀疏编码思想 利用caffe与lmdb读写图像数据 分析voc2007检测数据 用python写caffe网络配置 ssd开发 将KITTI的数据格式转换为VOC Pascal的xml格式 Faster RCNN 源码分析 在Caffe中建立Python layer 在Caffe中建立C++ layer 为什么CNN反向传播计算梯度时需要将权重旋转180度 Caffe使用教程(下) Caffe使用教程(上) CNN反向传播 Softmax回归 Caffe Ubuntu下环境配置

三年研究生生涯感悟

2016年05月29日

三年研究生生涯感悟

一晃三年的研究生生涯即将结束,随着顺利通过论文答辩拿到学位,距离毕业离开母校的时间越来越近。回顾三年的研究生生活,自己非常幸运遇到自己的导师。那时候刚刚考研通过后选导师,由于本科时候在浑浑噩噩吃喝玩乐中度过,自己的成绩并不是非常出彩,所以既没有获得保研的资格,那些学院里有名望的导师也早早选择了那些本科时候就非常出色的学生。后来偶然得知自己的亲戚认识学院的院长,然后特地去拜访了院长,他给我推荐了一个即将海外引进的导师。然后我就选择了后来的这位导师,那时候我的导师还在国外还没有入职学校,怀揣着素昧平生的神秘感和传言年轻有为的崇拜感,我跟着现在的导师开始了自己的研究生生涯。

就这样我成了导师的第一个学生,有时候第一个总是有很大的压力或者说承担了特殊的使命。对于本科时候的一个学习成绩一般的菜鸟,我想证明自己并不比别人差。就这样,感觉自己的思想境界发生了飞跃,我变的很好学,那时候刚开始接触机器学习和人工智能,2013年的时候人工智能还不是很火,远不如现在这样火遍学术界和工业界。在这里要感谢AlphaGo,它的出现将机器学习推向了一个高潮。第一次和导师正式见面是在实验室的一个小屋子里,那时候实验室初步建立,学生都特别的少,我还有导师另外招的两个学生,就这样开始了一个课题组的工作。开始总是特别困难,第一次看全英文的学术论文,那时候还要查字典,每个不认识的单词都要写上注释,一篇20页的双栏期刊可能要看两三天,现在想来特别有趣。光把英文单词看懂都得花小半天,不要说涉及到数学理论了。不过慢慢地看多了也就习惯了到了后来看英文期刊基本不需要字典了,看懂一篇文章的核心思想可能只需要静下心来花一两个小时。研究生三年,自己的英语水平也间接提高了很多很多。研一的时候我们主要的工作还是应付必修课课程,而那时候我们课题组就开始了科研的任务。记得第一个研究点是导师介绍和指导的,然后相互商量一下改进的点就开始了实验的过程。那时候写代码,调参数,记录实验结果并分析比较,非常热火朝天,充满了干劲,从来周六周日实验室也有我的身影。那时候这种动力可能还来源于对于毕业论文的要求。很快成果就出来了,开始写论文,第一次写全英文的会议论文,很难下手,毕竟自己英语写作水平一般,也很难下手,前前后后可能写了大半个月就4页的内容,然后导师提意见帮忙修改,到最后投稿。很快论文被IGASS会议接收了,虽然现在看来这个工作可能不值一提,但那时候对自己的学术生涯是一种激励,第一次自己的工作得到了外界的认可,那种满满的成就感油然而生。工作很快有了推进,很快导师又布置了下一个科研任务,他总是和我们说,第一个科研任务和第一篇论文是将你们领进了门,以后的方向需要你们自己去把握和钻研。这时候基本上导师只是把握我们的大方向和学术领域一些新的动态,并不会提供具体细节的指导了。的确培养一个研究生并不需要教什么理论方法,而只需要教会学习的方法。授人以鱼不如授人以渔,在这一点上非常感谢导师,他做的很好,非常地负责任,非常地敬业。科研任务依旧在推进,发完了会议论文下一步就要向SCI冲击了,又是不停地看论文做实验想方法。那时候实验室初建,学生特别少,我和另外几个学生经常工作到凌晨,偌大的一个实验室,凌晨空空荡荡也挺阴森的。没过一个月又一个Idea被转化成了实验并获得了不错的结果,然后又是开始写文章。第二次提笔已经轻松了很多,论文很快写出来修改好被投出去,经过了漫长的等待,审稿意见给了大修。相比于第一次的直接Accept,突然觉得自己的工作可能出了问题,那种挫败的感觉可能是因为第一次的太过顺利便被无限的放大,记得那时候很沮丧,感觉像被拒了一样。后来导师来安慰我说他自己很多论文审稿意见经常大修甚至直接被拒。那时候我还是第一次投稿SCI的小白,不懂一般的论文,不是太出色基本上都要经过大修,小修,接收的过程。还好后来经过两轮修改回复审稿意见,第一篇SCI论文成功被JARS接收了。那时候我还是研一的时候,已经发表了一篇EI会议和SCI论文,感觉已经被周围的同学捧上了天,不过其实那时候并没有太强的成就感,因为虽然成果是很快产出了,但是感觉自己的理论基础并不是很出色。于是接下来的时间开始钻研理论研究,基本上研二上学期都在学习理论知识,混迹于各种学术博客论坛,补数学知识,推导数学公式,学习编程语言。中间也穿插了几个项目的实践。就这样闭关修炼了半年的时间,导师又开始催科研进度了,于是拿起以前的工作开始设计新的实验和测试新的算法。实验总是让人有挫败的感觉,一次次不佳的实验结果其实只因为对算法的本质认识的不够清晰,自己的能力也仅仅停留在实验向理论的过渡,就这样煎熬了又半个学期,勉强做出来一个看似还可以的结果,然后又是开始提笔写论文,4页的论文还是写着很艰难,可能因为其实我并不是很满意这个结果,只是为了出结果而写。当然后来的投稿也不是很顺利,第一次投稿了PRL,结果被拒了。意料之中,因为实验结果并不是特别突出,然后开始了漫长的修改和转投其他杂志。这其中有两件事情对我现在其实产生了很大的影响,第一个就是实验室别的老师的师兄开始研究深度学习,这个2012年第一次提出的理论在2014年那会还只是最前沿的学术研究项目,很少有资料和文献,只有少量博客中的大牛才开始介绍。我就是那时候开始接触自然图像的研究。第二个就是有一个和中科院合作的项目,我被派去中科院驻点开发飞机检测的算法研究。那时候开始接触了点自然图像和机器视觉方面的东西,便很快被这个领域深深地吸引,相比于枯燥的图像处理,新生的图像视觉和机器智能算法就像是打开未来大门的钥匙真正提起了我的兴趣,于是我开始了这方面的研究,当然导师也很支持我往这个方向研究,毕竟那时候课题组的研究方向还比较单一。记得那时候我还帮同寝室的一个学生想研究课题发文章,因为他本来的研究方向已经很难发文章了,那时候他下载了一个LLC的项目,用来做Caltach101的图像分类,自己很感兴趣研究了一下那篇CVPR的文章,没想到后来LLC里面那个特征会是后来这篇二区SCI的很重要的一个部分。出于对图像分类识别的兴趣,开始转向研究视觉领域的方向,整个暑假我都在实验室待着,实验室本来是有2周的暑假我也没有休。实验进展很顺利,可能是真的对这个方向的热爱,相比于前面几个工作花了很多时间停留在数学理论的研究,相应的认识也比较深刻吧。另外也要感谢导师认识的一个美国博士的帮忙,他在后面的论文撰写过程中也帮了不少的忙。那段时间正值暑假,本来实验室人就很少,暑假人就更少了,本来以前还有其他几个学生坚守阵地后来也不在了。实验室变得特别空旷,我一般早上很少去实验室,都是吃完饭去实验室然后工作到凌晨12点左右离开,偶尔也会到凌晨两三点,或许我觉得凌晨夜深人静的时候才是思如泉涌的时候。就这样花了6天的时间,我写了一篇单栏40多页的论文,从整个实验构思,实验设计,论文排版,文献综述,实验分析都是完全由一个人完成。那一刻我感觉自己真的成为了一个研究生,可以独立的从事科研任务,导师教会了我科研的方法,而我需要运用这些方法去开启真理的大门。后来文章修改第一次想投到Pattern Recognition,后来被拒稿了,不过理由是它给我们推荐了一个更适合的杂志Information Science,也是同一个杂志社更好的一个期刊,因为编辑觉得更适合那个杂志。这里不得不感谢老外的大公无私。后来文章很顺利,投稿3个月就被接收了,这篇文章也成为研究生生涯学术水平最高最值得骄傲的一个工作。到了研三,我开始再次研究深度学习,这时候深度学习已经在学术界掀起了巨浪,很多图像领域都被深度学习摧枯拉朽的刷新各种state-of-the-art。由于实验室那时候资源有限,这个方向需要耗费很大的计算资源,这个方向自己也不具备单独研究的能力,于是我选择了出去实习,索性经过我的请求导师也同意了,毕竟我还是在搞相关领域的科研。于是我去了理光软件,也就是现在即将就业的公司,由于这个领域是个新生事物,2012年以后才受到关注,具体来说2014年Google公司投入大量人力开发以后才获得了工业界的认可,都处于起步阶段。经过实习了一段时间,我做了一个场景识别的项目和目标检测的项目效果都比以前好了很多,后来也顺理成章地拿到了offer。

现在即将毕业,回想这三年的经历,自己成长了很多,研究生生涯是自己能力提升最快的时候,相比于本科毕业觉得自己根本没有学到一技之长留用与社会,现在即将毕业坦然了许多。即将毕业有一种情感油然而生,舍不得母校,舍不得导师,舍不得这些年一起成长起来的我们。

最后祝愿我的导师科研事业取得更多辉煌,祝愿517实验室的师弟师妹们学业顺利,在研究生生涯能过得快乐。

1

2


blog comments powered by Disqus