2024年11月13日 – 全球领先的开源解决方案提供商红帽公司今日宣布，已签署最终协议收购Neural Magic，这是一家在加速生成式AI（gen AI）推理工作负载领域的软件和算法领域的先驱公司。

Neural Magic在推理性能工程方面的专长及其对开源的承诺，与红帽的高性能AI工作负载愿景高度契合。这些AI工作负载能够精准匹配客户特定的使用场景和数据，覆盖混合云环境的各个层面，无论在本地部署、公有云还是边缘计算中。

尽管生成式AI在当前技术领域中占据主导地位，但支撑这些系统的大型语言模型（LLM）仍在不断扩展。因此，构建高效、可靠的LLM服务需要巨大的计算能力、能源资源和专业操作技能。这些挑战使得定制化、部署就绪并注重安全的AI解决方案，对大多数企业来说变得遥不可及。

红帽计划通过开放创新的vLLM项目，简化生成式AI的访问，帮助更多企业应对这些挑战。vLLM由加利福尼亚大学伯克利分校开发，是一个社区驱动的开源项目，旨在提供开放的模型服务（即生成式AI模型如何推理和解决问题）。它支持所有主流模型、先进的推理加速研究，并兼容多种硬件后端，包括AMD GPU、AWS Neuron、Google TPUs、Intel Gaudi、NVIDIA GPU和x86 CPU等。

Neural Magic在vLLM中的领导地位与红帽强大的混合云AI技术平台相结合，将为企业提供一个开放且灵活的解决方案，助力构建满足其独特需求的AI战略，无论数据存储于何处。

红帽 + Neural Magic：引领混合云就绪的生成式AI未来

Neural Magic于2018年从麻省理工学院（MIT）独立出来，致力于为深度学习构建高效的推理软件。凭借Neural Magic在技术和性能工程方面的深厚积淀，红帽将加速其AI未来愿景的实现，依托红帽的AI技术组合，突破大规模企业AI应用的瓶颈。红帽通过开源创新，推动AI变革力的普及，具体体现在以下几个方面：

· 开源许可的模型，参数规模从1B到405B，支持在混合云环境中任何位置运行——包括企业数据中心、多云平台和边缘设备。

· 微调功能，使组织能够轻松定制大型语言模型（LLM），将其调整为满足私有数据和特定场景的需求，提升安全性。

· 推理性能工程专业技术，提升运营效率和基础设施效能，确保更高的性能。

· 强大的合作伙伴和开源生态系统，通过提供从LLM和工具到认证服务器硬件及底层芯片架构的全面支持，扩大客户选择空间。

增强红帽AI在vLLM领域的领导地位

Neural Magic凭借其在vLLM领域的深厚技术积累，构建了企业级推理架构，使客户能够在混合云环境中优化、部署并扩展LLM工作负载，全面掌控基础设施选择、安全策略和模型生命周期。同时，Neural Magic还深入开展模型优化研究，推出LLM Compressor（一个通过最先进的稀疏化和量化算法优化LLM的统一库），并维护一个预优化模型库，客户可直接通过vLLM进行部署。

红帽AI通过强大的技术帮助客户降低AI应用的成本和技能门槛，具体包括：

· 红帽企业Linux AI（RHEL AI）：基础模型平台，旨在更无缝地开发、测试和运行IBM Granite系列的开源LLM，支持Linux服务器上的企业应用。

· 红帽OpenShift AI：一个全面的AI平台，提供工具来快速开发、训练、服务和监控机器学习模型，支持在分布式Kubernetes环境中的部署，无论是在本地、公有云，还是边缘设备。

·  InstructLab：由红帽和IBM共同创建的开源AI社区项目，致力于通过InstructLab的微调技术改进开源许可的Granite LLM，帮助任何人共同塑造生成式AI的未来。

Neural Magic在vLLM技术上的领导地位将进一步增强红帽AI在混合云环境中支持LLM部署的能力，提供一个现成且高度优化的开源推理架构。