SIGGRAPH主题演讲：NVIDIA首席执行官带来生成式AI多项创新

作者：CBISMB 责任编辑：张金祥 2023-08-09 15:38:44 来源：ISMB 关键字：SIGGRAPH NVIDIA 黄仁勋

黄仁勋发布最新GH200 Grace Hopper超级芯片和NVIDIA AI Workbench，并宣布更新NVIDIA Omniverse，使其支持生成式AI

在生成式AI继续席卷日益数字化和互联化的世界之际，NVIDIA创始人兼首席执行官黄仁勋重返全球知名的计算机图形大会SIGGRAPH舞台。

“生成式AI时代和AI的iPhone时刻已经到来”，黄仁勋在SIGGRAPH现场向数千名观众发表了主题演讲，并通过直播分享给全球观众。

黄仁勋发布了GH200 Grace Hopper超级芯片平台和一个名为NVIDIA  AI Workbench的全新统一工作空间，以简化NVIDIA AI平台上模型的调节和部署。此外，他宣布将对NVIDIA Omniverse进行重大升级，加入对生成式AI和OpenUSD的支持。

这些发布旨在将过去十年所有的创新结合在一起，其中包括人工智能、虚拟世界、加速、模拟、协作等创新与技术。

黄仁勋表示：“计算机图形学和AI密不可分，图形学需要AI，AI也需要图形学。”他解释说，AI将在虚拟世界中学习技能，于此同时，AI也可以用于创建虚拟世界。

AI和实时图形的基础

黄仁勋表示，“五年前在SIGGRAPH上，NVIDIA将AI和实时光线追踪引入GPU，从此颠覆了计算机图形。不仅如此，在NVIDIA通过AI重塑计算机图形的同时，也致力于为AI重塑GPU。”

这些努力换来的成果是越来越强大的系统。例如NVIDIA HGX H100，它利用8个GPU和总共1万亿个晶体管来实现加速计算，超越基于CPU的系统。

“这就是全球数据中心迅速转向加速计算的原因，”黄仁勋告诉观众。“买得越多，省得越多。”

为了延续AI的发展势头，NVIDIA打造了Grace Hopper超级芯片NVIDIA GH200，该芯片结合了72核Grace CPU和Hopper GPU，并已于5月全面投产。

黄仁勋介绍说，已经投产的NVIDIA GH200将补充一个配备领先HBM3e内存的附加版本。

黄仁勋宣布推出新一代GH200 Grace Hopper超级芯片，它能够连接多个GPU，以实现卓越的性能和易于扩展的服务器设计。

专为处理世界上复杂的生成式工作负载而构建的新平台，将提供多种配置，其中涵盖大型语言模型、推荐系统和矢量数据库等。

与当前一代产品相比，双配置的内存容量增加了3.5倍，带宽增加了3倍，包括一台具有144个Arm Neoverse核心、8 petaflops的AI性能和282 GB最新HBM3e内存技术的单服务器。

领先的系统制造商预计将在2024年第二季度交付基于该平台的系统。

NVIDIA AI Workbench加速自定义生成式AI的应用

为了加快全球企业对自定义生成式AI的应用，黄仁勋发布了NVIDIA AI Workbench。该平台为开发者提供了一个统一、易用的工作空间，使他们能够在个人电脑或工作站上快速创建、测试和微调生成式AI模型，然后将这些模型扩展到几乎所有数据中心、公有云或NVIDIA DGX Cloud。

AI Workbench大大降低了企业AI项目的门槛。开发者通过在本地系统上运行的简单界面，就可以使用自定义数据对来自Hugging Face、GitHub和NGC等常见资源库的模型进行微调，然后在多个平台上轻松共享。

虽然目前有成千上万的预训练模型可用，但使用许多现有的开源工具自定义这些模型依然十分困难且耗时。

黄仁勋表示：“为了使这种能力更加普及，我们必须使其能够在几乎任何地方运行。”

借助AI Workbench，开发者只需点击几下就能自定义和运行生成式AI。开发者可以将所有必要的企业级模型、框架、SDK和库整合到一个统一的开发者工作空间中。

“有了AI Workbench，任何人都可以做到这些。”黄仁勋说道。

包括戴尔科技、慧与、惠普、Lambda、联想和超微在内的领先AI基础架构提供商正在使用AI Workbench，在本地设备等开发者想要工作的任何地点提供企业级生成式AI功能。

黄仁勋还宣布NVIDIA将与初创企业Hugging Face一起为数百万开发者提供生成式AI超级计算，帮助他们构建大型语言模型等高级AI应用。

开发者将能够使用Hugging Face平台内的NVIDIA DGX Cloud AI超级计算训练和调整高级AI模型。

黄仁勋表示，“这将是一项全新的服务，将世界上顶尖的AI社区与顶尖的训练和基础设施连接起来。”

在视频展示中，黄仁勋演示了AI Workbench和ChatUSD如何将这一切结合在一起：用户在GeForce RTX 4090笔记本电脑上启动项目，随着项目变得复杂，可以轻松地将项目扩展到工作站，亦或者是数据中心。

使用Jupyter Notebook，用户可以训练模型使其生成Toy Jensen的太空图片。因为模型从未见过Toy Jensen，如果此时模型提供的结果不理想，用户可以使用Toy Jensen的八张图像微调模型，然后再次训练它以获得更准确的结果。

最终，通过AI Workbench，可以将新模型部署到企业应用程序中。

全新NVIDIA Enterprise 4.0推进AI部署

为进一步加快生成式AI的应用，NVIDIA发布了企业软件套件的最新版本——NVIDIA AI Enterprise 4.0。

NVIDIA AI Enterprise为企业提供采用生成式AI所需的工具，同时带来了大规模企业部署所需的安全性和API稳定性。

Omniverse的重大升级：加入对生成式AI和OpenUSD的支持以实现工业数字化

黄仁勋发布了NVIDIA Omniverse的重要更新，这是一个OpenUSD原生开发平台，用于跨工具构建、模拟和协作，为开发人员和企业提供新的基础应用程序和服务，以利用OpenUSD框架和生成式AI优化和增强他们的3D流程和虚拟世界。

他还宣布了NVIDIA对OpenUSD的贡献，OpenUSD是用于描述、模拟和跨3D工具协作的框架和通用流通平台。

Omniverse平台的更新包括Omniverse Kit（用于开发原生OpenUSD应用和扩展程序的引擎）以及NVIDIA Omniverse Audio2Face基础应用和空间计算功能的升级。

Cesium、Convai、Move AI、SideFX Houdini和Wonder Dynamics现已通过OpenUSD与Omniverse相连。

Adobe和NVIDIA宣布计划将在Omniverse为用户提供Adobe Firefly（Adobe的创作生成式AI模型系列）的API接口，以扩大双方在Adobe Substance 3D、生成式AI和OpenUSD项目方面的合作。

Omniverse用户现在可以构建与其他基于OpenUSD的空间计算平台（例如ARKit和RealityKit）兼容的内容、体验和应用程序。

黄仁勋宣布将为开发者和企业提供种类广泛的框架、资源和服务，以加快通用场景描述（即OpenUSD）的应用，包括地理空间数据模型、指标组装和模拟就绪（或SimReady）、OpenUSD规格等。

黄仁勋还发布了四款NVIDIA打造的全新Omniverse CloudAPI，使开发者能够更加流畅地实施和部署OpenUSD流程和应用。

·        ChatUSD：它是一个大语言模型(LLM)代理，可帮助开发人员和艺术家处理OpenUSD数据和场景，用于从文本生成Python-USD代码脚本并回答USD知识问题。

·        RunUSD：一个云API，通过检查上传文件与OpenUSD版本的兼容性，将OpenUSD文件转换为全路径追踪渲染图像，并使用Omniverse Cloud生成渲染图像。

·        DeepSearch：一个LLM代理，可在海量无标记资产数据库中进行快速语义搜索。

·        USD-GDN Publisher：一项一键式服务，使企业和软件制造商能够从基于Omniverse的应用程序（例如USD Composer）向OmniverseCloud图形交付网络(GDN)发布高保真、基于OpenUSD的体验，并实时流式传输到网络浏览器和移动设备。

上周，NVIDIA宣布与皮克斯、Adobe、苹果和Autodesk共同创立OpenUSD联盟。

强大的新型台式电脑系统和服务器
黄仁勋表示NVIDIA和全球工作站厂商将发布性能强大的全新RTX工作站，为生成式AI和数字化时代的开发和内容创建提供更强大的算力。

来自BOXX、戴尔科技、惠普和联想等厂商的这些系统配备NVIDIA RTX 6000 Ada GPU以及NVIDIA AI Enterprise和NVIDIA Omniverse Enterprise软件。

NVIDIA还发布了三款全新的桌面工作站基于Ada架构的GPU——NVIDIA RTX 5000、RTX 4500和RTX 4000，为全球专业人员提供最新的AI、图形和实时渲染技术。

黄仁勋还详细介绍了NVIDIA如何与全球数据中心系统厂商一起通过搭载全新NVIDIA OVX继续大力推动生成式AI和工业数字化的发展。NVIDIA OVX基于功能强大的通用数据中心处理器NVIDIA L40S GPU打造而成。

这些性能强大的新系统将利用NVIDIA Omniverse平台加速高计算密集度的复杂应用，包括AI训练和推理、3D设计和可视化、视频处理、工业数字化等。

NVIDIA研究带来新的创新

NVIDIA研究人员将在SIGGRAPH的实时现场活动上展示一种生成式AI工作流程，帮助艺术家使用文本或图像提示更快生成自定义纹理材质和进行更加精密的创作控制，从而快速创建并迭代3D场景的材质。

NVIDIA研究部门还演示了AI如何通过全新3D功能将视频会议的质量提升到新的水平。此外，NVIDIA最近发表了一篇论文，阐述AI如何利用最少的捕捉设备支持3D视频会议系统。

Maxine的生产版本现已在NVIDIA Enterprise中推出。专业人员和创作者即便使用普通的麦克风和网络摄像头，也能够利用AI的强大功能创造出高质量的音频和视频效果。