微软亚洲研究院“明日之星”实习生项目

实习派|王一栋:主动就会有故事!高效科研秘诀大公开

分享这个页面

在科研中,如果主动向前一步,是否会有不同的故事?来自东京工业大学的王一栋的实习经历给出了肯定的答案。他尝试了 “先合作,再实习” 的新路径——主动联系导师达成远程科研合作后,正式来到微软亚洲研究院社会计算组实习。在将近一年的实习时间里,他作为核心成员参与了四个科研项目,并在 NeurIPS、ICLR、COLING、ACML 等国际顶会中发表了五篇论文,其中四篇为第一作者。在这里,王一栋确认了自己对科研工作的胜任力,并逐步搭建起科研兴趣驱动的全球研究社群,从实习中收获的友谊甚至助推他做出了回国读博的决定。如此高效产出高质量科研工作的秘诀是什么?他又有哪些在论文发表之外的实习收获?相信你会通过这一期的故事有所启发。

先合作再实习,展开一场师徒之间的双向奔赴

早在正式实习之前,因研究兴趣的契合,经由东京工业大学同组师兄侯汶昕介绍,王一栋就开始以远程的方式与微软亚洲研究院主管研究员王晋东展开科研合作。他们聚焦鲁棒机器学习中的半监督学习,期望用以此提高模型的泛化性。

经过科研探索,他们针对半监督提出了课程伪标签的方法,其能被简单地应用到多个半监督方法上并提升其精度,同时不会引入新的超参数和额外的计算开销。基于此,他们提出了 FlexMatch 这一新算法,在多个图像分类数据集上取得了前沿(state-of-the-art)的效果,相关成果发表于 NeurIPS 2021 且在学术界反响良好。此外,他们还开源了一个统一的基于 Pytorch 的半监督方法库 TorchSSL,公平地实现了诸多流行的半监督方法,方便相关领域进行进一步研究。

“王老师全程悉心指导了这个项目的开发与投稿。经过这个项目的合作,我也对微软亚洲研究研究院产生了很大的向往。” 成果丰硕的科研合作后,王一栋申请来到研究院实习,对之前合作的问题做进一步的探索。

“研究院的导师都是比较开放包容的,在邮件里表明自己的合作意向,很有可能得到积极的回应”,王一栋从 “先合作,再实习” 的方式中受益良多。王晋东也认为这是对彼此更负责的一种方式,有助于导师和学生之间的双向了解。通过这次合作,王一栋确认了导师在方向、性格等方方面面与自己的契合度。与常规模式相比,前期的合作经历使他正式来这里实习后更加 “如鱼得水”,迸发出极大的科研力量。王一栋的硕士导师、东京工业大学的 Takahiro Shinozaki 教授也非常支持王一栋积极向外探索,并持续对他的科研工作进行细致的指导。

与 Mentor 的及时沟通是王一栋不走弯路的一大保障,在他看来,研究院的实习生数量相对较少,每位导师都是等待每一个实习生挖掘的宝藏般的存在。王晋东重视并尊重学生,不对工作时长做硬性规定,从做什么方向到投什么会议,每个环节都给予学生充分的尊重,持续为王一栋提供着科研想法指导以及实验和写作所需的资源支持。“有了想法之后我不会马上去做,而会寻求王老师的意见,即使是有些幼稚的想法,王老师也会耐心听我讲完并指出其中的不足。王老师也经常把自己的想法讲给我听,让我试着做一些课题。达成一致后再共同规划实验,大大节约了试错成本”,王一栋说。

受到研究员们严谨的科研态度的感染,王一栋愈发精益求精。在社会计算组组会的报告时间,微软亚洲研究院首席研究员谢幸要求参会成员使用英文交流展示,高度专业且具有全球视野的交流帮助王一栋提升了沟通能力和英文表达能力。同时,在王晋东的影响下,他以严谨的态度杜绝 “虎头蛇尾” 的科研。在完成 FreeMatch 的论文时,师徒一起在一个多月里进行了近十次的大版本改动,“经常是写完一个版本后,我们共同讨论出更好的写作思路,不断大篇幅地修改”。该成果最终发布于 ICLR 2023。

线下实习也使王一栋解锁了 Mentor 在科研之外的另一面。共同讨论问题、吃饭聊天、周末一起在王晋东家打“双人成行”……在密切的交往中,他们共享着许多快乐记忆,在生活中也成为了无话不谈的好朋友。亦师亦友,这是王一栋和王晋东关系的最佳描述。

王一栋(中)与谢幸(左一)、王晋东(右一)
王一栋(中)与谢幸(左一)、王晋东(右一)

厚积薄发,在问题意识中绘就体系化的研究版图

博观而约取,厚积而薄发。经历了本科阶段对科研的懵懂接触以及硕士阶段对课题的自由探索,王一栋在微软亚洲研究院完成了从科研菜鸟到合格科研工作者的蜕变,逐渐形成体系化的研究版图。

将问题意识贯穿在科研工作的每一个环节是王一栋高效科研的秘诀之一。在 FlexMatch 这项工作的进行过程中,研究者们意识到半监督学习存在两大痛点:训练时间过长,环境不友好;且阈值的选择对半监督学习算法性能影响很大,但是挑选阈值又很费时费力。

针对以上问题,他们提出了通过在训练期间保持大量和高质量的伪标签来有效利用未标记的数据的方法 SoftMatch,能够根据模型的学习状态以自适应方式调整置信度阈值的模型 FreeMatch,首个将视觉、语言和音频分类任务进行统一的半监督分类学习基准 USB,以及用于细粒度情感分类 TOWE 任务的多粒度半监督算法,从各种角度应对在标签不足的场景中让预训练模型进行高精度适配的挑战。

完成了对半监督学习的阶段性探索后,王一栋又将目光投向长尾视觉识别任务,在分类间隔的视角下提出了间隔校准算法 Margin Calibration,用三行代码解决了长尾不平衡类别分类的问题。目前,关于这些问题的探索仍在持续进行中。

在论文写作中,王一栋通过王晋东传授的技巧,积累了 “如何让自己科研想法能够更容易地被审稿人所看重” 的经验。大道至简,在写作时应突出所解决问题的重要性,而非花大量笔墨描述方法的复杂性。“如果之前没有人想过去解决这个问题或者解决得不好,即使所用方法很简单也能脱颖而出”, 王一栋说。

对于合格的科研工作者而言,成熟的心态管理也是学术修炼中不可或缺的重要一环。在微软亚洲研究院,王一栋养成了不因一时得失而情绪起伏的稳定心态。他回忆起 FreeMatch 这篇论文在收获审稿人的一致好评后却最终遭遇拒稿时的复杂心情,在 Mentor 王晋东的开导下,王一栋重拾对工作价值的信心,根据审稿人的意见继续改进后,通过把精力投入其他工作的方式来转移注意力。在反复打磨中,被拒稿的工作也相继收到好消息。

生活中的王一栋
生活中的王一栋

广结善缘,优秀工作助推全球研究社群搭建

在微软亚洲研究院所在的这条善缘街上,王一栋持续 “广结善缘”,通过自己的优秀工作吸引了来自全球顶尖研究机构的研究者,拓展关系边界并促成稳定合作,逐步搭建起基于共同研究兴趣的科研社群。

论文 Flexmatch 公布后,在学术界受到了许多关注,其开源项目 TorchSSL 在 GitHub 上获得了 1000 多颗星,他也收到了来自领域内其他研究者的许多邮件。在与不同人的交流碰撞中,王一栋受到诸多启发,也以此为契机与这些遍布全球的优秀研究者们展开进一步的科研合作。除了王一栋、王晋东和谢幸,这些工作还融淬了卡内基梅隆大学的陈皓、马克斯·普朗克信息学研究所的范越、北卡罗来纳大学的衡强、东京工业大学的吴昊,以及南京大学的吴震、西湖大学的张岳等研究者的成果。“特别感谢他们,我的进步离不开他们的帮助”,王一栋说。

在研究院开放包容的环境中,王晋东乐见这样的合作,并发挥牵线搭桥的作用,帮助王一栋整理思路以更好地与全球研究人员分享,同时更好地理解合作者的反馈以修正研究思路。在齐心协力的合作下,一篇篇优秀的论文在头脑风暴、互信互补中相继诞生。

除了通过研究工作吸引志趣相投的合作者,王一栋也主动联系自己敬仰的老师交流学习,在科研上的每一步都充满主动性。萌生出把半监督学习应用到自然语言处理场景中的想法后,他又前往西湖大学学习交流。无论是硕士导师、东京工业大学的 Takahiro Shinozaki 教授,还是西湖大学的张岳教授,都给予了王一栋详尽的指导,并纷纷成为论文的合作者。一个由研究兴趣驱动,集结了具有不同背景、来自不同文化的全球研究者的科研社群逐渐成型。

在微软亚洲研究院,王一栋还收获了许多好友。在劳逸结合的工作节奏中,他们的友谊在一起吃饭、看电影、打台球的过程中不断加深。今年 9 月,他即将进入北京大学攻读博士学位,“决定回国读博最主要的契机就是在研究院认识了许多好朋友”,他们的友谊也将继续在北京延续。对于性格开朗、交友广泛的王一栋来说,这些弥足珍贵的情感甚至在无形中影响着他的人生航向。

王一栋(右三)与伙伴们
王一栋(右三)与伙伴们

王一栋时常将自己取得的成绩归结为 “运气好”,并对一路走来为这份运气加成的恩师与挚友心怀感恩。在微软亚洲研究院,他在科研压力并不大的状态中按部就班地工作,最终得以 “守得云开见月明”。事实上,好运气的背后更是主动出击的行动、持之以恒的努力、独立敏锐的思考、乐观稳定的心态、以及开放共赢的合作精神。研究院之于他像是 “梦开始的地方”,收获满满的实习使他对这里充满归属感,“未来有机会的话非常愿意再回来实习或工作”,王一栋说。

欢迎关注 USB 开源库:
https://github.com/microsoft/Semi-supervised-learning

Mentor 寄语

text

王一栋同学在实习期间深耕鲁棒机器学习,特别是半监督学习领域。他在理论、算法、应用和开源框架方面均取得了卓越的进展,并将研究成果发表于国际顶尖学术会议 ICLR、NeurIPS、COLING 和 ACML 中。这些工作成功解决了在标签不足的场景中如何让预训练模型进行高精度适配的挑战,并使得微软亚洲研究院在该领域拥有了国际领先的研究成果。

王一栋同学思维敏捷、行动力强,并且具有很强的团队合作精神。他善于团结不同背景的研究人员,通过广泛合作的方式做出更具影响力的工作。我对他的科研潜力深感信心,相信他未来会有更大的发展,并希望他能在其他领域做出更多的有影响力的成果。