从产品合作到前沿研究,从推荐系统到社会责任人工智能,从 AI 小白到四篇顶会一作,中科大-微软联合培养博士生易婧玮在研究院的四年实习生涯中经历了太多的成长与蜕变。
她完成过“复现陌生领域论文”的笔试挑战,也抗下过“推翻工作重新修改”的巨大压力。一路的困难与鲜花背后,是命运的草蛇灰线,也是天道酬勤的因果耕耘。而在体验了各种工作、斩获 ACL 2023 领域主席奖后,她也更加明确了自己的心之所向。
站在日新月异的时代前沿,她想继续做科技旷野的探索者,在社会关注的领域做出有影响力的工作。
从零开始,复现陌生领域论文
在短时间内复现一篇论文,这是易婧玮申请微软亚洲研究院联合培养博士生项目时接到的笔试题。
作为信息安全专业的本科生,当时的易婧玮还是一个对人工智能领域几乎一窍不通的小白。复现一篇陌生领域的论文,对她来说无异于从头学习。问题概念、操作工具、相关研究……一切都要从零开始。
缺乏领域知识以外,复现论文任务本身对她也是一个前所未有的挑战,如何配置运行环境、如何绕开关键陷阱、如何自行补充细节等等,都是未知的困难。
虽有重岩叠嶂,但过往经历已为她装备好了行囊。婧玮对这种短时间内的高强度学习并不陌生,她在 2018 年参与过国际基因工程机械竞赛并获得银奖,在 2019 年全国大学生信息安全竞赛中获得一等奖。参赛的经历锻炼出她快速入门新领域与上手新工具的能力。
在学校外订下的酒店里,在好几个辛苦而充实的没日没夜中,婧玮终于看到屏幕上出现令人满意的结果。忐忑不安的几天等待后,她收到了面试邀请。笔试作答中展现出的优异动手能力,让她得以被中科大-微软联合培养博士生项目录取,由中国科学技术大学少年班学院党总支书记兼副院长孙广中教授和微软亚洲研究院资深首席研究员谢幸博士两位老师共同指导。
严师领路,从“零经验新人”到独当一面的研究者
2019 年 6 月,大四的易婧玮通过“微软创新人才学院”来到微软亚洲研究院社会计算组实习。
虽然已被联培项目正式录取,但她却似乎是组里的“后进生”。此前她的主要研究方向是系统领域的信息安全,对社会计算组研究的推荐系统几乎没有概念。相比之下,组里许多同学早已接触过相关工作。组内会议中,婧玮甚至经常听不懂讨论内容。
了解到这一情况后,婧玮的 mentor、微软亚洲研究院首席研究员吴方照开始带领她入门新领域。在吴方照的指导下,婧玮学习了推荐系统领域的新知识与工程技能,并积极与其他老师同学沟通交流。虽然任务重、节奏紧张,但婧玮非常感谢方照对她的严加训练:“一开始学新东西的时候,就需要有人在后面 push 你一把,才能脱离之前的舒适圈。”
在“严师”的带领下,婧玮完成了知识储备,追赶上了组内的工作节奏,也逐渐收获了各项成果以及来自专业领域的肯定。
微软亚洲研究院社会计算组与微软产品组有许多合作,这为婧玮提供了一个了解产品真实需求、解决产品真实问题的机会。在微软新闻项目中,她跟随项目组完成了调研问题、设计模型、落地部署的整个流程,并收获了一个实际上线的产品——将鼠标悬停在 Windows 系统任务栏的天气图标上,即可访问“新闻与兴趣”(News and Interests)信息流,这一功能背后运行的便是婧玮参与设计的模型。(点击此处,查看“新闻与兴趣”功能详情) (opens in new tab)这也让婧玮体会到了工作上线的喜悦:“看见自己的模型真实地跑在产品后端,的确是一件非常有成就感的事情。”
而在与必应产品组的合作中,针对搜索引擎存在“摘要生成效率低下”的问题,婧玮设计出了一种更高效的搜索摘要生成模型,通过缓存搜索语句的部分内容与优化关系模型来提高生成效率。这一工作后来被 EMNLP 2022 所接收。
除此以外,在推荐系统领域,婧玮还在 EMNLP 2021 上发表了一篇关于解决联邦学习推荐系统通信开销问题的工作,在 KDD 2023 上发表了一篇揭示联邦推荐系统安全风险的工作,并且参与协助了微软 2020 年举办的个性化新闻推荐比赛 MIND Competition。近两年的深耕中,婧玮不断锤炼研究能力和工程能力,逐渐成长为能够独当一面的研究者。
关注 AI 版权,高分论文斩获 ACL 2023 领域主席奖
随着社会对人工智能在隐私、公平性、透明度等方面的关切逐渐增加,负责任的人工智能(Responsible AI)成为了重要议题之一,并在业内引起了广泛的讨论和行动。
在这一背景下,为确保人工智能成为对社会负责任的技术,微软亚洲研究院资深首席研究员谢幸带领社会计算组进行了研究方向的转型,开始致力于“社会责任人工智能(Societal AI)”研究。
又一个全新的研究方向,这不仅是她从未接触过的课题,在人工智能领域也是全新而重要的议题。
婧玮已经准备好接受挑战。在谢幸、吴方照等老师的指导下,婧玮将关注点聚焦于两个研究问题:安全问题和版权问题,前者主要研究模型与人类的价值对齐、与社会学的交叉、防范恶意提示等等,后者则主要关乎保护模型开发者的权益。
在版权问题方面,婧玮与合作者开始了一项关于适用 EaaS (Embedding as a Service,向量表示服务)的水印研究工作。EaaS 的统一接口设计使用户可以便捷选用嵌入技术和模型,然而这也催生了盗用行为。因此,他们考虑通过验证某一模型的输出中是否含有水印,辨别其是否为盗用模型。他们计划将这篇工作投到自然语言处理领域国际顶级会议 ACL 2023。
几个月后,论文基本成稿,婧玮和吴方照在检查论文时却发现实验设计存在致命缺陷,如果不加以修正,整篇工作的成立性都存疑。而此时,距离 ACL 2023 的投稿截止日期已经不远了。要修正这个缺陷,就需要快速修改设计、重新跑实验、整理数据、画图、改论文……这让所有人都感受到了前所未有的压力。合作者之间的互相鼓励、mentor 们夜以继日的耐心指导,加上微软 Azure ML 批量提交实验工具的科技加持,所有人拧成一股劲,向共同的目标发起挑战。
ACL 2023 的投稿截止在大年三十的晚上,婧玮与合作者们相隔多地,讨论着最后的修改。直到截止时间前的最后一刻,婧玮都在敲着键盘。她的耳边是家里长辈稀里哗啦的麻将洗牌声,和大年三十此起彼伏的礼炮与烟花。
一些时刻,她好像回到许多次备赛的高压状态中,回到曾经从零开始艰难复现论文的酒店里,回到跟进产品组项目时忙碌到倒头就睡的深夜。
困苦的至暗过后,总是胜利的曙光。ACL 的论文入选机制是先告知作者论文得分。5 分制评分下,通常论文在 3 分以上便足以被接收——因此,当婧玮看到论文得到了 4.5 的高分时便有了信心,知道自己肯定可以中稿。
放榜时,她还收获了意外之喜。这篇工作不仅以高分被 ACL 2023 主会接收,还获得了“NLP应用”领域的 Area Chair Award(领域主席奖)。该奖项由每个领域的高级主席提名,每一领域仅有一篇。
这篇论文为婧玮在“社会责任人工智能”领域的探索之路定下了漂亮的开篇,也让她更加确定自己喜欢这项踏浪时代最前沿的工作。
广泛学习,做有影响力的工作
2019 年到 2023 年,婧玮通过中科大-微软联合培养博士生项目书写了自己的四载春秋。而在这一路的科研探索与成长中,导师们扮演着重要角色。
中科大孙广中老师是婧玮得以专心做好科研工作的“大后方”,他非常支持婧玮探索自己感兴趣的科研方向,并在转博、开题答辩等关键的时间节点给予敦促和指导,带领婧玮往正确的方向前进。
研究院的两位 mentor 中,谢幸老师往往以前瞻性的洞察,规划和把控着高层次的研究方向,带领整个团队前行。谢老师的日程排得非常满,但他仍会安排例行的会议与婧玮交流讨论,了解她的课题进度与遇到的问题,并给出相应的针对性建议。“婧玮是一位具有强烈探索精神的同学,愿意花时间进行深入的独立思考”谢幸这样评价她。
婧玮眼中的谢老师还非常亲切与温暖。有时候手中的项目紧急、工作内容艰巨,面对这样的压力,婧玮在情绪上难免出现波动,导致工作状态不佳。一个心情跌落谷底的晚上,她打电话给谢老师倾诉,谢老师不仅耐心倾听了她的问题、安抚了她的情绪,还让她第二天继续去找他面聊。婧玮感慨:“谢老师格外关注学生的情绪和心态。与谢老师交流,最后问题往往都能解决得很好。”
吴方照则是她身侧的引路人。每个工作日,方照都会与婧玮进行讨论,跟进进度、分享想法、头脑风暴、提供具体建议等。在初期的严格要求后,随着婧玮在科研上愈加熟练,方照也开始给予她更大的自由度,鼓励她去自主探索感兴趣的方向和想法。在方照看来,婧玮是一位“具有良好的学术品位和判断力,对工作质量要求高,稳扎稳打”的学生。
除了两位 mentor,微软亚洲研究院的许多不同方向的老师都在婧玮的探索道路上提供过帮助。婧玮花了两天时间才懵懂理解的理论,首席研究员张辉帅用了不到一小时便看完,并指导婧玮如何改进;在准备 CIKM 2022 AnalytiCup 时,高级研究员李朝卓知无不言地倾囊解惑,为婧玮提供了许多建议,帮助他们最终获得赛事第二名。
此外,研究院也为婧玮提供了一个接触“大佬”的平台。在今年六月的比尔·盖茨的访问中,婧玮以联培学生代表身份参与了座谈会,近距离接触了这位传奇人物;在 2023 年微软亚洲研究院“社会责任人工智能(Societal AI)”专家座谈系列活动的契机下,婧玮与普林斯顿大学社会学教授谢宇老师面对面交流研究想法。婧玮感到非常幸运:“这些宝贵的机会让我能够知道大佬现在正关注一些什么方向,我与他们的差距在哪里。这对我非常有启发,很多研究想法就萌发于这些交流。”
回望自己从懵懂的小白一路成长至今的旅程,婧玮非常感慨:“每位同学都能在研究院有所收获。经验丰富的同学来到这里可以带领项目,获得很多宝贵的资源;而对积累不足的同学,这里有许多经验丰富、乐于交流的研究员,还有身边很厉害的同学们,能够让你快速成长。”
婧玮曾在内部讲座上记录下关于“什么才是有影响力的工作”的笔记:或提出有价值的新问题,或为重要领域提出最佳解法,或彻底解决一个问题。
这一标尺始终指引着婧玮,她仍觉得自己还有很大的提升空间:“虽然我之前的工作拿到了 Area Chair Award 奖,但这个领域还需要更多学者的关注。”她想做开拓新世界的探索者,希望重要的研究问题上,做出对社会、对整个领域都有影响力的工作。
Mentor 寄语
希望易婧玮同学继续努力,在已取得初步成果的领域中进一步深入探索。更为重要的是,勇于跳出自己的舒适区,探究全新的跨学科问题。这样的研究方向往往能带来更具影响力和创新性的成果。每一次面对的挑战都是锻炼与成长的宝贵机会,每一次经历的失败都是通向成功的必由之路。我相信只要你能持续保持你目前的热情和专注,未来你必将成为学术界一颗璀璨的新星。
易婧玮同学是我合作过的最优秀的学生之一,我非常荣幸有机会见证她踏踏实实地成长和进步,也从和她的讨论交流中学习到很多。希望婧玮保持好奇心,不断学习,在负责任 AI 的道路继续探索未知。