加利福尼亚州圣克拉拉市– 2021年11月9日–NVIDIA今日宣布其AI推理平台的重大更新，目前Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等25000多家客户都在使用该平台。

这些更新包括开源NVIDIA Triton推理服务器软件的新功能，该软件为所有AI模型和框架提供跨平台推理；同时也包含对NVIDIA TensorRT的更新，该软件优化AI模型并为NVIDIA GPU上的高性能推理提供运行时优化。

NVIDIA还推出了NVIDIA A2 Tensor Core GPU，这是一款用于边缘AI推理的低功耗、小尺寸的加速器，其推理性能比CPU高出20倍。

NVIDIA副总裁兼加速计算总经理Ian Buck表示："NVIDIA AI推理平台正在推动各行各业的突破，包括医疗健康、金融服务、零售、制造和超级计算。无论是提供更智能的建议，发挥对话式AI的力量，还是推进科学发现，NVIDIA推理平台都能以简单易用的方式提供低延迟、高吞吐及多种性能组合的服务，为全球关键的AI新应用赋能。"

关键的软件优化

Triton推理服务器的主要更新包括：

●       Triton模型分析器–这款新工具可以自动化地从数百种组合中为AI模型选择最佳配置，以实现最优性能，同时确保应用程序所需的服务质量。

●       多GPU多节点功能–这一新功能支持基于Transformer的大规模语言模型，例如Megatron 530B，在多个GPU和服务器节点上运行并提供实时推理性能，而不是在单个GPU上运行。

●       RAPIDS FIL–这一针对随机森林和梯度提升决策树模型GPU或CPU推理的新后端为开发者使用Triton进行深度学习和传统机器学习提供了一个统一的部署引擎。

●       Amazon SageMaker集成–这种无缝集成让客户能够在SageMaker（AWS完全托管的AI服务）中使用Triton轻松部署多框架的模型，并实现高推理性能。

●     支持Arm CPU–除了NVIDIA GPU和x86 CPU外，Triton后端现在还支持在Arm CPU上优化AI推理工作负载。

Triton支持在云、数据中心、企业边缘和嵌入式设备等环境中对GPU和CPU进行AI推理，并与AWS、Google Cloud、Microsoft Azure、阿里云PAI-EAS等平台集成。此外，NVIDIA AI Enterprise也集成了Triton。

NVIDIA AI Enterprise是一款经NVIDIA优化、认证和支持的用于开发和部署AI的端到端软件套件，客户可利用它在本地数据中心和私有云的主流服务器上运行AI工作负载。

除了Triton外，TensorRT现在还与TensorFlow和PyTorch集成，只需一行代码就能提供比框架内推理快3倍的性能。这使得开发人员采用极为简化的工作流程就可以体会TensorRT的强大功能。

NVIDIA TensorRT 8.2是SDK的最新版本，可加速高性能的深度学习推理，在云端、本地或边缘提供高吞吐和低延迟。有了最新的性能优化，数十亿个参数的语言模型可实现实时运行。

行业领导者支持NVIDIA AI平台推理

全球众多行业领导者都正在使用NVIDIA AI推理平台改进业务运营并为客户提供新的AI赋能服务。

Microsoft Azure认知服务为高品质AI模型提供基于云的API，以创建智能应用程序。他们正在使用Triton运行语音转文本模型，为Microsoft Teams用户提供准确的实时字幕和转录。

“Microsoft Teams是全球沟通和协作的重要工具，每月有近2.5亿活跃用户，”Microsoft团队呼叫、会议和设备部首席PM经理Shalendra Chhabra表示。“这样的AI模型极其复杂，需要数千万个神经网络参数才能在几十种不同的语言中提供准确的结果。模型越大，就越难以经济高效地实时运行。Microsoft Azure认知服务上的NVIDIA GPU和Triton推理服务器使用28种语言和方言，通过AI近乎实时地帮助改进实时字幕和转录功能。”Microsoft Azure认知服务上的NVIDIA GPU和Triton推理服务器，结合AI模型，帮助提升了涉及28种语言和方言的实时字幕和转录功能的成本效益。

Samsung Medison是三星电子旗下一家全球医疗设备公司。该公司正利用 NVIDIA TensorRT通过智能辅助功能来为其超声波系统提供增强的更优质的医疗影像。Samsung Medison致力于通过提高患者的舒适度、减少扫描时间、简化工作流程并最终提高系统吞吐量来改善患者和医疗健康领域专业人员的生活。

“在新款V8高端超声波系统中应用NVIDIA TensorRT后，我们能够在查看和诊断图像时更好地为医学专家提供支持，”Samsung Medison副总裁、客户体验团队主管Won-Chul Bang表示。“我们正在积极地将基于AI的技术引入我们的超声波系统，以便为医疗专业人员提供更好的支持，使他们能够专注于患者诊断和治疗等更重要的领域。”

Siemens Energy是一家拥有领先能源技术解决方案的能源专营公司，该公司正利用Triton通过AI来帮助其发电厂客户管理相关设施。

“高度复杂的发电厂通常会配备摄像头和传感器，但采用的却是传统软件系统，NVIDIA Triton推理服务器出色的灵活性能够让这些发电厂加入自主工业革命，”Siemens Energy自主运营部投资组合经理Arik Ott表示。

Snap是一家全球性摄影软件和社交媒体公司，其主要产品和服务包括Snapchat、Spectacles和Bitmoji等。Snap正在使用NVIDIA技术来提高商业变现能力和降低成本。

"Snap使用NVIDIA GPU和TensorRT将机器学习推理的成本效率提高了50%，并将服务延迟降低了2倍，“Snap公司策划与商业变现部门工程副总裁Nima Khajehnouri表示。"这为我们提供了计算资源，以实践和部署更大型、更准确的广告和内容排名模型。"

NVIDIA面向推理的AI平台包括了新的NVIDIA认证系统,全新A2 GPU

NVIDIA认证系统可以帮助客户在高性能、经济高效且可扩展的基础设施上为各种现代AI应用识别、获取和部署系统，该认证系统现在包含两个新的边缘AI类别。

扩展的类别允许NVIDIA系统的合作伙伴为客户提供完整系列的由基于NVIDIA Ampere架构的GPU支持的NVIDIA认证系统，来处理各种实际工作负载。新的NVIDIA A2 GPU也包含在内，它是一个入门级、低功耗的紧凑型加速器，适用于边缘服务器中的推理和边缘AI。NVIDIA A2与适用于主流企业服务器的NVIDIA A30、适用高性能AI服务器的NVIDIA A100一起，为边缘、数据中心和云端的AI推理提供了完整的方案。

Atos、戴尔科技、技嘉、慧与、浪潮、联想和Supermicro等全球领先的企业系统供应商，其AI系统产品线均支持在NVIDIA认证系统上使用NVIDIA AI Enterprise。

其他系统提供商，如研华科技、ASRock Rack、华硕、宁畅、新华三和QCT也为各种工作负载提供了NVIDIA认证系统。包括研华科技、技嘉和联想在内的领先供应商将很快推出首款通过新边缘类别认证的NVIDIA认证系统。

供货情况

Triton通过NVIDIA NGC目录提供。NVIDIA NGC是针对GPU优化的AI软件中心，包括框架、工具包、预训练模型和Jupyter Notebooks。Triton源代码可从Triton GitHub资源库获取。

NVIDIA开发者计划成员可通过TensorRT页面获取TensorRT。最新版本的插件、解析器和示例也以开源形式提供，可从TensorRT GitHub资源库获取。

客户可以通过今日独家发布的NVIDIA LaunchPad中的全球精选实验室，在NVIDIA AI Enterprise软件套件中体验NVIDIA Triton。

NVIDIA AI Enterprise软件套件可通过全球NVIDIA渠道合作伙伴获取，包括Atea、Axians、Carahsoft Technology Corp.、Computacenter、Insight Enterprises、Presidio、Sirius、SoftServe、SVA System Vertrieb Alexander GmbH、TD SYNNEX、Trace3和WWT。