Mellanox部署100G以太网推动百度AI战略落地

2017-11-03 14:54:00 作者:佚名 分类 : 比特网

  2017年10月31日,SOSP’17,上海讯,世界领先的高性能计算数据中心端到端互连方案提供商(纳斯达克交易所代码: MLNX)Mellanox今日宣布, 互联网搜索巨头百度公司现已采用Mellanox端到端RDMA以太网互连解决方案为其打造全球顶尖的AI平台。在全球计算机系统领域的顶级会议——第26届操作系统原理大会(SOSP’17)上,百度提交了关于 “高性能RDMA协议栈关键技术” 的Poster。该Poster展示通过建立一种类Socket的RDMA通信库,可将现有业务无缝迁移到高性能RDMA协议栈。百度是国内第一家大规模部署Mellanox 100G RDMA (支持RoCE v2) 以太网网络企业,Mellanox与百度精诚合作,引领了网络技术的快速发展。

  随着人工智能和5G网络的兴起,“唤醒万物,万物互联”的时代已经来临。在人工智能领域,计算量需求的爆发式增长无疑对网络提出了更苛刻的要求。百度AI算法具有高流量突发的网络特征,而且对网络的时延、带宽以及吞吐量的需求也很高。百度类Socket通信库底层采用Mellanox 100G RDMA以太网,使得百度AI集群的训练速度获得了大幅度的提升,AI训练参数的同步时间也进一步缩短。

  作为高性能互连网络的核心组件,基于RDMA技术的Mellanox以太网解决方案在百度HPC集群和高性能存储集群中也发挥了关键作用。百度旗下的块存储服务——云磁盘(CDS)采用NVMe介质,其读写时延已低于传统TCP网络的通信时延,网络因此成为了最大的瓶颈。结合25G RDMA以太网解决方案,百度对其底层的Baidu RPC(brpc)进行了改造。测试结果表明,改造后brpc的延迟可降低20% - 60%,QPS(每秒查询率)可提升40% - 80%。相应的,云磁盘(CDS)的读写时延可降低10%-40%。

  “无论是传统的HPC应用还是新兴的人工智能平台,都离不开高性能RDMA网络的支持”,Mellanox公司亚太及中国区市场开发高级总监刘通表示。“我们很荣幸与百度公司合作,为业界领先的AI开放生态架构提供支持,共同构建更高效的网络协议堆栈,推动网络革新,共同引领100G RDMA以太网大规模部署,打造AI平台的网络新引擎。”

  目前, 百度人工智能研究成果已全面应用于百度产品, 让数亿网民从中受益; 同时, 百度还将语音、图像、机器翻译等难度高、投入大的领先技术向业界开放, 以降低大众创业、万众创新的门槛, 进一步释放创业创新活力。

最近更新
科普

科普图集
互联网+升级到智能+,开启万物智联新时代

互联网+升级到智能+,开启万物智联新时代>>详情

中国互联网消费市场,发展潜力一片大好

中国互联网消费市场,发展潜力一片大好>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。