去年 8 月,来自中国科学技术大学计算机科学与技术专业的何灏迪,通过微软创新人才学院项目来到微软亚洲研究院视觉计算组实习。从没有做过完整的科研项目,到完成一作论文并被 ECCV 2022 接收,何灏迪实现了自己初入微软亚洲研究院时立下的目标:在这里完成自己的科研项目。与此同时,他也收获了自己的第一篇国际顶会论文。
从初出茅庐到以一作收获顶会论文
一年前,看到微软创新人才学院的招生通知,正在读大三的何灏迪就毫不犹豫地投出了申请,“这在中科大是一个特别好的机会,大四如果可以出来实习,微软亚洲研究院是世界上最好的地方之一。”通过微软中科大创新实践项目以及后续面试选拔,何灏迪顺利进入微软亚洲研究院视觉计算组,开启了他在这里一年的科研探索之旅。
微软创新人才学院旨在帮助有志于从事科研的学生,在本科阶段就能在国际一流的研究氛围中,发掘自己的科研潜力。入选微软创新人才学院的学生将在大四阶段在微软亚洲研究院实习一年,与微软亚洲研究院的研究员一起探索前沿课题。
初出茅庐的何灏迪并不具备丰富的科研经验。本科前三年,在学校以上课为主的环境中,何灏迪并没有很多科研项目的机会,只在课余时间参与学校的一些课题。因此,这时的他也还没有明确的科研目标和未来的发展方向。
来到微软亚洲研究院后,何灏迪开始在 mentor——微软亚洲研究院研究员元玉慧的指导下进行自己的第一次完整科研尝试。
在 mentor 的指导下,何灏迪决定在计算机视觉的领域内选择“图片视频分割”作为自己的研究方向。“每天早上 9 点 30 到公司开始分析之前的实验结果,10 点 30 到 11 点 30 和 mentor 开会讨论研究进展并解决目前遇到的问题,下午开始写代码,做实验的迭代,晚上会针对一天的研究进度进行复盘。”这是何灏迪在微软亚洲研究院每一天的工作日常,也是他为了实现目标做出的努力——在初入研究院时,他就决定要在这里完成自己的科研项目。
他的努力逐渐开花结果。一年的时间里,他以第一作者完成了“基于多标签类别排序的图片视频分割”、“对DETR框架的收敛加速研究”这两个项目。第一个项目中,他提出的 RankSeg 算法可应用于提高 MaskFormer、Mask2Former 等最先进的分割模型,该研究成果已被计算机视觉领域顶会 ECCV2022 接收。
成功并非一蹴而就,这个科研项目曾有一次被拒稿的经历。最初,何灏迪时基于 Segmenter 等像素分类型的分割模型进行研究,到 2021 年 11 月就有了一些不错的结果,于是他们将论文投稿至 CVPR,收到的却是拒稿的消息。他没有气馁,开始根据审稿意见对研究进行改进。通过增加分析性实验,在不同的模型和数据集上进行测试,他更好地证明了提出方法的有效性和优越性,并收获了自己的第一篇顶会论文。
“在这里,我完整经历了学术课题从最初寻找idea开始,到一步步深入研究、实现代码,进行论文的写作以及分析性实验设计,进行论文 rebuttal,最后发表、开源的整个过程,这个过程对我各个方面的能力都有充分的提升。” 何灏迪说,“之前,我对计算机视觉任务并没有那么全面的理解,只是从一两个子任务上入门,而经过这里的科研锻炼,我对领域内的各种问题都或多或少有了自己的理解。”
与 mentor 亲密无间的合作带他走出瓶颈
何灏迪在科研上的进步离不开 mentor 元玉慧的悉心指导。何灏迪用“紧密”来形容他和元玉慧的合作——每天都会一起讨论实验结果、一起设计新的网络结构、一起检查代码中可能的问题。在过程中,元玉慧提出的很多意见很好地促进了何灏迪对课题的思考,也补全了他忽略的细节问题,对课题研究和他的科研习惯都有很大的帮助。
在项目遇到瓶颈时,何灏迪也遭遇了心态上的焦虑。好在 mentor 元玉慧在背后不断给予支持,一方面他给何灏迪补充了许多在计算机视觉领域的知识,另一方面他们每天的高频开会,元玉慧会第一时间解决何灏迪遇到且无法解决的困难,并带领何灏迪不断地去做尝试。
“灏迪是我过去5年带过的实习生中里最优秀的几个人之一。” 元玉慧这样评价何灏迪,“因为何灏迪是第一次做计算机视觉研究,而且是在计算视觉竞争最激烈的赛道上,肯定时遇到了非常多的困难,比如工程量大、实验迭代周期长等。我们会每天一起讨论来解决这些困难。实际上,我们从开始一起合作 RankSeg 到第一次投稿仅仅花了 2 个半月,因而,我们做科研的节奏是强度是相对很高的。”
何灏迪则认为 mentor 元玉慧是“很努力、很努力” 的人。这种“努力”也激励何灏迪更主动地去进行科研探索。“因为我们一直在做讨论,所以就不断有新的科研想法出来。”何灏迪说。同时,在更高科研理念层面,何灏迪也在元玉慧的指导下有了更深的理解:要做有影响力的工作,在具体的科研中,又要注意把控住每一个细节。除了科研本身,元玉慧也很关心何灏迪的未来发展。在何灏迪申请斯坦福大学博士生的过程中,元玉慧也给予了许多帮助。
在微软创新人才学院开拓科研视野
作为微软创新人才学院的一员,除了常规的科研工作,何灏迪还通过学院为学生设计的一系列专属课程全方位提升能力、开拓科研视野。
前沿研究讲座系列是其中之一,由各领域的资深研究员带来关于该领域过去发展、当下热点和未来发展的洞察。因为在计算机视觉领域探索,微软亚洲研究院高级研究员胡瀚的分享给何灏迪带来的收获最大。“胡瀚老师对计算机视觉概念和的未来发展的介绍给了我很大的启发,他还指出了该领域的许多潜在机会。计算机和人类之间仍然存在着很大的差距。我希望自己将来能投身于这个领域,并努力将这种差距降到最低。”
创新人才学院开设的高级软件工程课程,也为何灏迪打开了“新天地”。在来到微软亚洲研究院之前,何灏迪并未完整接触过软件工程领域相关的专业知识。课程激发了何灏迪的学习兴趣,每一次课程上布置的项目任务他都和小组成员积极出色地完成。其中一次任务中,他与三位小组成员一起为 VSCO 制作了一个代码管理相关的插件,为了更完美地展示插件效果,灏迪还自学视频剪辑,制作了一个宣传视频,引起了不错的反响。
何灏迪用“自由平等”和“超级努力”两个词概括微软亚洲研究院的科研氛围,他说:“加入微软亚洲研究院之后最大的感受就是,大家虽然已经取得了一定的成就,但还是依然在科研的道路上非常努力,比如我的 mentor 在项目的投入度上就非常高,还会竭尽所能地为实习生提供支持和帮助。微软亚洲研究院提供了一个非常平等的学术交流环境,在这里有机会我见到很多非常优秀的研究学者,他们都非常愿意和学生交流学术经验。”
一年的时间,何灏迪在微软亚洲研究院从一个初出茅庐的科研新生,逐渐成长为可以独立进行项目、有自己科研想法的优秀科研力量。他也在这里认识了志同道合的朋友,培养了沟通交流、与人合作的能力。
奔赴斯坦福大学的读博之旅即将开启,何灏迪与微软亚洲研究院的缘分也不会就此终结,他还会和 mentor 元玉慧一起针对之前的研究题目开展更加深入的探索,他也将带着微软亚洲研究院给他的科研馈赠不断前行!
Mentor 寄语
很高兴能够参与指导灏迪在微软亚洲研究院的这段科研实习,我跟组里的同事一起见证了灏迪的成长、蜕变以及阶段性的成功。尤其值得高兴的是,灏迪不仅顺利拿到了斯坦福的博士 Offer,也顺利以一作身份发表了他的第一篇顶会文章!希望灏迪未来在美国求学的日子中继续砥砺前行、迎难而上并早日成长为一名杰出的科研工作者!