阿里云PAI将神经机器翻译训练效率提升5倍

  • 时间:
  • 浏览:3
  • 来源:大发彩神苹果下载_大发神彩苹果下载官方

让当当你们设计了一组神经网络,使用4个多编码器将源语言一段话编码为4个多向量,有就让 使用4个多解码器对该向量进行解码,产生译文。同时,引入了注意力机制进一步提高译文质量。

PAI是阿里巴巴“NASA”计划发布的首个重磅工具,可删改兼容全球主流的厚度学习开源框架。同时,底层提供强大的云端异构计算资源,包含CPU、GPU、FPGA。在GPU方面,可灵活实现多卡调度。

在过去的一年时间里,阿里云协助客户落地了多项重大的人工智能应用。但人工智能要想真正成为成为普惠技术,前要一件人人可用的生产工具。PAI正是为此而生。

2,阿里翻译如保使用PAI





图:使用不同卡数时,在中英1000万训练语料上获得的收敛加速比



现在,阿里翻译团队还在破解线上服务处理延时的现象,为神经网络机器翻译模型的大规模应用扫除最后障碍。

阿里翻译团队通过使用阿里云机器学习平台PAI实现了模型训练波特率5倍的飞跃,并已应用在英俄电商翻译质量优化项目中。

去年,让当当你们首次将NMT技术应用在通讯场景下。好的反义词翻译质量取得很大的提升,但模型训练耗时太长。10000万的训练数据在单块GPU卡上一般前要训练20天以上,要能得到4个多初步可用的模型。

近两年,神经机器翻译(NMT: Neural Machine Translation)技术异军突起,翻译质量取得大幅提升。但不幸的是,NMT 系统的训练成本非常高,限制了你某些技术的大范围使用。

完会,让当当你们尝试在阿里云机器学习平台PAI上开发支持分布式训练的NMT系统,并于3月底完成了第4个多版本。在英俄电商翻译质量优化项目中,分布式NMT系统大大提高了训练波特率,使模型训练时间从20天缩短到了三四天。

NMT一词的老出要追溯到2014年9月1号,加拿大蒙特利尔大学Bengio教授研究组在开放论文网站arxiv上发布了让当当你们最新的研究成果『neural machine translation by jointly learning to align and translate』,NMT进入了让当当你们的视野。

原文链接

1,哪些地方是NMT

3,PAI是哪些地方

在阿里巴巴内部管理,阿里翻译负责为1688国际站、全球速卖通等提供多语言服务,中国卖家填写的某些中文信息会被机器自动翻译成多国语言。该团队同时还为钉钉、东南亚电商Lazada等提供服务。

在阿里巴巴内部管理,PAI完会被广泛使用。淘宝搜索使用PAI的参数服务器,要能把百亿个社会形态的模型,分散到数4个乃至于上百个参数服务器上,打破规模瓶颈。最终实现搜索结果基于商品和用户的社会形态进行排序。