微软推出高性能MoE函数库Tutel
发布时间：2021-11-26 11:37:49 所属栏目：大数据 来源：互联网
导读：微软发布了高性能MoE（Mixture of Experts）函数库Tutel，可用来促进大规模深度神经网络（DNN）模型的开发，Tutel借由支持多样化灵活的MoE算法，使得跨人工智能领域的开发人员，可以更高效地执行MoE。 MoE是一种深度学习模型架构，可以让不同专家网络，来处
|
微软发布了高性能MoE（Mixture of Experts）函数库Tutel，可用来促进大规模深度神经网络（DNN）模型的开发，Tutel借由支持多样化灵活的MoE算法，使得跨人工智能领域的开发人员，可以更高效地执行MoE。 MoE是一种深度学习模型架构，可以让不同专家网络，来处理相同领域的异质问题，以计算机视觉来说，就可以结合侦测人类的神经网络，以及姿势评估的其他神经网络。微软提到，要将深度模型扩展至数万亿参数，MoE是目前唯一一种方法，能够让模型学习更多的信息，使计算机视觉、语音识别、自然语言处理和机器翻译系统等模型更加强大。 Tutel针对微软新发布的Azure NDm A100 v4系列执行实例进行优化，通过与Meta最先进的MoE实例fairseq相比，Tutel加速可达到2.75倍。以端到端的性能来说，Tutel获益于全体对全体（All-to-All）通信优化功能，比起Meta拥有1.1万亿参数的MoE语言模型，在同样使用64个NDm A100 v4节点上，可以实现40%以上的加速。 脸书解释，Tutel作为fairseq、FastMoE和其他高端MoE解决方案的补充，Tutel的重点摆在MoE特有运算和全体对全体通信的优化，并且支持各种灵活的算法。Tutel具有简洁的接口，可以简单地集成到其他MoE解决方案中，又或是开发人员可以使用Tutel，从头开始将独立的MoE层，整合到自己的DNN模型中，并直接获得高度优化的MoE功能。 （编辑：温州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
