当前位置:智能 > 正文

真心厉害!英伟达打破实时对话AI的训练和推理用时记录

2019-08-14 11:10:52  来源:网易科技

8月14日消息,据国外媒体报道,Nvidia用于开发和运行可理解和响应请求的对话式AI的GPU强化平台,已经达成了一些重要的里程碑,并打破了一些记录。

这对任何基于其技术进行开发的人来说意义重大——当中包括大大小小的公司,因为英伟达将很多用于实现这些进步的代码开源。那些代码用PyTorch编写,易于运行。

英伟达今天宣布的最大成果包括:BERT训练用时打破记录,进入1小时关口。BERT是世界上最先进的人工智能语言模型之一,也被广泛认为是自然语言处理(NLP)标杆的先进模型。Nvidia的AI平台仅仅需要53分钟就能够完成模型训练,经过训练的模型在短短2毫秒多一点的时间里(10毫秒在业内被认为是高水平线)就能够成功地做出推理(即利用通过训练学习到的能力得出结果)——又一个记录。

英伟达的这些突破不仅仅是吹嘘的资本——这些进步可为任何使用NLP对话式人工智能和GPU硬件的人提供切实的好处。Nvidia在它的其中一个SuperPOD系统上打破了训练时间记录,该SuperPOD系统由运行1472个V100 GPU的92个Nvidia DGX-2H系统组成;在运行Nvidia TensorRT的Nvidia T4 GPU上完成推理过程。Nvidia TensorRT在性能上超出高度优化的CPU许多个量级。不过,该公司将公开BERT训练代码和经过TensorRT优化的BERT样本,让所有人都可以通过GitHub利用。

除了这些里程碑以外,英伟达的研究部门还建立并训练了有史以来最大的一个基于“Transformer”的语言模型。这也是BERT的技术基础。该定制模型包含的参数多达83亿个,规模是当前最大的核心BERT模型BERT-Large的24倍。英伟达将这个模型命名为“Megatron”,它也对外提供了用于训练这个模型的PyTorch代码,因而其他人能够自行训练出类似的基于“Transformer”的大型语言模型。(乐邦)

推荐阅读

"杀猪盘"式诈骗 网购网贷网恋专骗年轻人

8月12日上午,发布会现场,广州警方向多位市民返还被骗资金。破获电信诈骗2200多宗,依法刑事拘留电信网络诈骗嫌疑人2300多名,挽回近3 5亿 【详细】

5G未来不止便利:还得警惕辐射

4G改变生活,5G改变社会。今年6月初,中国工信部正式发放首批5G商用牌照,使得全球5G商用时代进程大大提前。7月27日,在广州举行的第十一届 【详细】

研究称从植物获取蛋白质更健康

人们往往认为禽类、牲畜类、以及鱼类等各种肉类食物是人体所需蛋白质的主要来源。事实上,目前为止全世界食用的大部分蛋白质58%都来自植物 【详细】

iCloud数据竟存于谷歌微软服务器?

8月13日消息,加利福尼亚州北部地区的美国地方法院收到一起集体诉讼,指控苹果发布虚假广告,声称该公司表面上告诉消费者iCloud数据为由苹 【详细】

滴滴美团因违规派单双双被罚

8月13日晚间消息,近日,滴滴和美团因向无资质车辆派单,被上海市交通执法部门分别罚款550万元和147万元。滴滴和美团官方均对此暂未置评。 【详细】



科技新闻网版权