微软亚洲研究院
新闻与深度文章
编者按：欢迎阅读“科研上新”栏目！“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里，你可以快速浏览研究院的亮点资讯，保持对前沿领域的敏锐嗅觉，同时也能找到先进实用的开源工具。 论文链接：https://arxiv.org/abs/2404.12876 (opens in new tab) 近年来，深度学习的显著进步极大地推动了计算机视觉领域的发展，尤其是视觉 Transformer…
作者：系统组（上海） 编者按：基于大语言模型（LLMs）开发的应用目前主要使用公共 LLMs 服务提供的 API 进行，但是这些 LLMs 服务的 API 设计以请求为中心，缺乏应用级信息，难以有效优化整个应用流程，影响任务的端到端性能。为此，微软亚洲研究院的研究员们开发了一个专注于 LLMs 应用端到端体验的服务系统 Parrot，它具有减少网络延迟、提高吞吐量、减少冗余计算等优势。Parrot…
作者：科学智能中心 编者按：分子动力学模拟在新药开发、材料设计等领域发挥着重要作用。近年来机器学习技术的不断发展，使得其对分子间相互作用的刻画也更加精确，但却面临着随分子体系扩大，计算效率降低和长程信息丢失的难题。在此背景下，微软研究院科学智能中心同耶鲁大学、西安交通大学提出了一种名为 LSR-MP 的新型分子动力学机器学习框架。该框架结合了物理洞见和几何深度学习，通过在原子/分子片段上分别建模短…
作者：苗又山 编者按：深度学习技术已经在图像识别、语音识别、自然语言处理、搜索推荐等多个领域不断展现出巨大的应用价值。然而，随着模型规模的不断增大，深度学习模型的训练变得耗时且昂贵，设计最优的并行策略组合以提高其在多设备上的执行性能是目前该领域的一大挑战。在此背景下，微软亚洲研究院提出 nnScaler 技术，通过一套并行化原语和策略限定搜索的方法来寻求最佳的并行策略组合。这一尝试为寻求深度学习并…
作者：量子位 编者按：激活稀疏性是解决大语言模型（LLMs）在推理阶段出现的计算成本高、内存占用大等问题的有效方法，可以有效减少激活张量中激活元素的数量。然而该方法无法实现 LLMs 激活的完全稀疏性，从而限制了推理阶段的效率提升。 对此，微软亚洲研究院提出 Q-Sparse 实现了 LLMs 激活的完全稀疏性。该研究不仅揭示了包括推理优化规模法则（inference-optimal scalin…
编者按：在全球向新能源转型的浪潮下，电动汽车的普及率正不断提升。然而，在享受电动汽车便利性的同时，你是否也在担忧电池的续航问题？电池的性能和寿命以及相应的监测、维护、回收等相关问题也同样困扰着电动汽车生产企业。而且如果废旧电池在回收、拆解和再利用的过程中处理不当，可能会对环境造成二次污染。 为了更有效地实现动力电池性能和寿命的精准预测，以及相应的对废旧动力电池的绿色回收和高效重复利用，微软亚洲研究…
作者：机器学习组 编者按：如今，时间序列预测在健康、能源、商业、气候等多个行业发挥着至关重要的作用。它不仅影响着相关资源的分配和调度，还影响着行业的管理和运营决策。但是现有的时间序列预测方法通常缺乏对基础预测需求的全面考虑，无论是经典的时序预测模型还是近期涌现的时序基础模型，都存在方法设计上的“偏见”。 为此，微软亚洲研究院的研究员们联合香港科技大学（广州）和清华大学的科研人员合作开发了 Prob…
作者：Susanna Ray 自2022年底生成式人工智能进入主流视野以来，大多数人都对这一技术有了一些基本的了解，并知道了它是如何利用自然语言来帮助人们更轻松地与计算机进行交互的，甚至有些人会在与朋友的闲谈中聊到“提示词”（prompts）和“机器学习”（machine learning）等热门术语。然而，随着 AI 技术的不断发展，其词汇量和术语体系也在持续演进。你知道大语言模型与小语言模型之…
编者按：你可以用左手（不常用的那只手）的小指与食指拿起一件物品么？ 试完你是不是发现自己竟然可以毫不费力地用自己不常用的手中，两根使用频率相对较低的手指，做一个不常做的动作。这就是人类大脑不可思议之处——无需经过特别的训练，大脑就能够在短时间内以低功耗的方式控制身体完成各种复杂行为，甚至是全新的动作。相比之下，人工智能虽然是人类智慧的产物，但在很多方面还远不及人类大脑。 为此，微软亚洲研究院（上海…