英伟达RAPIDS:将传统CPU算力提升50倍

作者: CBISMB

责任编辑: 张金祥

来源: ISMB

时间: 2018-11-01 21:09

关键字: 英伟达RAPIDS

浏览: 0

点赞: 0

收藏: 0

早些时候,英伟达的黄仁勋在GTC Europe大会上发布了一款针对数据科学和机器学习的开源GPU加速平台——RAPIDS。而为了让更多中国用户对RAPIDS有更进一步的了解,英伟达在北京召开了RAPIDS平台的媒体沟通会,英伟达亚太区解决方案架构主管赵立威向媒体详细讲述了RAPIDS平台能为数据科学和机器学习市场提供哪些加速支持。

作为一套开源的库,RAPIDS能够为英伟达的GPU进行加速,提供了整个Data Science和Machine Learning的端到端的流程,包括:从数据的准备到整个Machine Learning模型的训练,以及到最终数据结果展示过程里面去。

后摩尔定律时代 算力进步靠GPU

英伟达亚太区解决方案架构主管赵立威认为在所谓的“后摩尔定律时代”,就是说英伟达的应用对算力的需求,或者说英伟达数据的增长量对算力的需求,已经远远超过英伟达现在正常意义上的英伟达算力的增长。所以在这个过程里面就提出了一些新的要求,英伟达的软件工程师、算法工程师,很多的时候也需要了解一些硬件的架构。英伟达很多以前的硬件工程师,其实某种程度上也需要了解一些软件的需求。

软硬结合在未来可能是解决后摩尔定律时代,英伟达认识到数据爆炸、应用复杂度增加,对算力的需求,而算力可能又很难去满足它的一种矛盾的实际状况。英伟达可能是解决这个矛盾比较好的一个途径。下一个可能得到图灵奖的人,就会是一个能够把软硬件架构进行一个很好的结合、很好的通过这种架构之间的完善,来去解决这些问题的一个很好的途径。所以我觉得某种程度上,大家可以去看到是说当CPU不能满足这些,CPU让英伟达的数据科学家要等待几十分钟甚至几个小时的时候,GPU加速在这个时间点上,其实会变得不光是重要,甚至是必要的。

随着摩尔定律的终结,加速会越来越困难。在GPU层面虽然现在有几家市场上有GPU Data base加速非常快,但是没有把这个数据的准备、操作、ETL的过程和Machine Learning训练,整个做成一个pipeline。英伟达这一次做的RAPIDS整个的平台,实际上把数据的准备、Machine Learning的训练合成了一个很好的pipeline,所以我的整个的流程里面加速会更快。

为数据科学和机器学习提供加速支持

之前IBM提到与英伟达在利用IBM POWER9处理器,结合NVIDIA GPU等技术方面有所合作,实际上RAPIDS开源软件帮助数据科学家显著地提高了工作绩效,对于这些数据科学家来说,种种业务挑战应接不暇,其中包括预估信用卡诈骗、预测零售存货及理解顾客购买行为等等。

有训练结果表明,RAPIDS数据处理速度与现有CPU的系统相比提高了50倍,极大地缩短了数据科学家在数据准备、抽取、转换、处理等过程中耗费的时间。机器学习在训练过程中不断循环,不断优化,通过参数的调整得到更精准的数据,从而提高预测结果。

除此之外,RAPIDS还与SPARK、PYTHON、APACHE ARROW以及DASK等其他开源社区,保持非常紧密的合作。并且作为开源项目,可以有更多开源的朋友来贡献他们的代码好和智慧,不断的完善和更新整个平台。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。