微软一年前投给OpenAI的一亿美元出成果了!世界排名Top5的超级计算机

原标题:微软一年前投给OpenAI的一亿美元出成果了!世界排名Top5的超级计算机

大数据文摘出品

来源:VB

编译:牛婉杨、笪洁琼

大约一年前,微软宣布将向OpenAI投资10亿美元,共同为微软的Azure云平台开发新技术,并进一步扩展大规模人工智能的能力,以兑现AGI(通用人工智能)的“承诺”。

作为交换,OpenAI同意将其部分知识产权授权给微软,然后将其商业化并出售给合作伙伴。OpenAI还将在开发下一代计算硬件的过程中,在Azure上培训并运行人工智能模型。

一年后,到了兑现承诺的时间了!

昨天,在微软Build 2020开发者大会上,微软发布了专为OpenAI打造的超级计算机!

微软声称,与TOP 500相比,它排名第五!根据最新排名,它排在中国国家超级计算机中心的天河-2A后面,在德克萨斯高级计算机中心的Frontera前面,这意味着它在峰值时每秒可以执行38.7到100.7万亿个浮点运算!(即petaflops:每秒千万亿次浮点计算)

OpenAI很久以来就表示,巨大的计算能力是迈向AGI或AI的必经之路,AGI可以学习人类能完成的任何任务。然而包括Mila创始人Yoshua Bengio、Facebook副总裁Yann LeCun在内的名人都认为AGI并不存在。

但OpenAI的联合创始人和支持者,其中包括Greg Brockman,首席科学家Ilya Sutskever,Elon Musk,Reid Hoffman和前Y Combinator总裁Sam Altman始终相信,功能强大的计算机结合强化学习和其他技术,可以实现颠覆性的AI技术进步。

微软超级计算机的发布代表了OpenAI在这一愿景上的巨大赌注。

大型模型能够深入理解语言、语法、上下文等,实现更广泛的功能

这台由Azure托管、OpenAI联合设计的超级计算机包含285,000个处理器内核、10,000个显卡,每个显卡服务器都能达到每秒400吉比特的连接性。它的设计目的是训练单一的大型人工智能模型,这些模型可以从目前自主出版的书籍、指导手册、历史课程、人力资源指南和其他公开资源中汲取数十亿页的文本。

研究表明,这些大型模型表现良好,因为它们能够深入理解语言、语法、知识、概念和上下文的细微差别,使它们能够总结演讲、在实时游戏聊天中调整内容、解析复杂的法律文件,甚至通过搜索GitHub自动生成代码。微软已经使用它的图灵模型——它很快就会以开源的形式出现——来加强对Bing、Office、Dynamics和其他生产力产品的语言理解。

微软声称,在Bing中,这些模型改进了标题生成和问题回答,在某些市场上提高了125%。在Office中,他们表面上推动了Word的智能查找和关键洞察工具的发展。Outlook使用它们进行建议回复,自动生成可能的电子邮件回复。在Dynamics 365 Sales Insights中,他们根据与客户的互动向卖家提出了建议。

Outlook的智能回复使用了在Azure机器上训练的深度学习模型

从技术角度来看,大型模型更具优势,因为它们是自我监督的,这意味着它们可以通过数据各部分之间的关系来从数据中生成标签——这一步被认为是实现人类智能的关键。这与监督学习算法不同,后者针对人为标记的数据集进行训练,很难针对特定行业、公司或感兴趣的主题对任务进行微调。

微软首席技术Kevin Scott在一份声明中说:“这些模型令人兴奋的地方在于,它们能够实现的功能非常广泛。”

微软迎来新的市场机会

无论超级计算机是实现AGI的一小块垫脚石,还是将在实现AGI的道路上突飞猛进,那些用于设计超级计算机的软件工具,都能为微软带来新的市场机会。通过AI规模化计划,这家科技巨头正在提供资源,以优化的方式在Azure AI加速器和网络上训练大型模型。它将训练数据分为几批,用于在集群中训练模型的多个实例,并定期取平均值以生成单个模型。

这些资源包括新版本的DeepSpeed,这是Facebook PyTorch机器学习框架的AI库,可以在同一基础架构上训练大于15倍,快10倍的模型,并支持在ONNX Runtime上进行分布式训练。微软声称,当与DeepSpeed结合使用时,ONNX上的分布式训练,可使跨硬件和操作系统的模型实现高达17倍的性能提升。

微软首席技术官Kevin Scott在一份声明中说: “我们正在建造更好的计算机,更好的分布式系统,更好的网络,更好的数据中心。通过开发用于训练大型AI模型的领先式基础架构,所有这些将使整个Azure云的成本、性能和灵活性更好。”

相关报道:

https://venturebeat.com/2020/05/19/openai-microsoft-azure-supercomputer-ai-model-training/返回搜狐,查看更多

责任编辑:

平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
推荐阅读