开放源码软件解决方案供应商Red Hat近日宣布,已签署收购Neural Magic的最终协议。Neural Magic为提供能加速生成式AI推论工作负载的软件与算法企业,其在推论性能工程的专业技术及对开源的承诺与Red Hat的愿景一致,致力于在跨混合云环境中的任何一处皆能实现高性能AI工作负载,并满足客户特殊的应用场景和数据。
尽管生成式AI的前景在当今科技领域中已占据主导地位,然而构建具成本效益且可靠的LLM服务,企业需要大量的计算资源、能源,以及专业的运营技能,Red Hat就是希望能够借由vLLM的开源创新赋能更多企业更易于使用生成式AI。vLLM是由社交媒体驱动的开源项目,专注于开放模型服务,支持所有主要模型系列、先进的推论加速研究及多种硬件后端。结合Neural Magic在vLLM项目中的领导地位与Red Hat的混合云AI技术产品组合,将为企业提供一条开放的途径,打造能满足独特需求的AI策略,无论数据位于何处皆可实现。
Neural Magic于2018年自麻省理工学院独立,旨在开发高性能的深度学习推论软件。Neural Magic的技术和性能工程专业加上Red Hat的AI技术产品组合,将驱动Red Hat加速实现AI未来愿景。Red Hat为突破大规模企业级AI的挑战,运用开源创新进一步推动AI变革的力量,包括:
Neural Magic凭借在vLLM领域的专业知识,致力于构建企业级推论堆栈,以协助客户于跨混合云环境中优化、部署并扩展LLM工作负载,且能充分掌控基础架构选择、安全原则和模型生命周期。Neural Magic也构建LLM Compressor进行模型优化研究,其为以先进的稀疏性和量划算法优化LLM的集成式涵式库,此外也维护经预先优化、可运用vLLM即时部署的存放库。
Red Hat AI旨在通过强大的技术协助客户降低AI成本及技能门槛,其中包含:
Red Hat将借由Neural Magic在vLLM技术的领导地位,强化支持LLM部署的AI能力,赋能跨混合云环境中随时随处部署,并提供现成、高度优化且开放的推论技术堆栈。
此交易需经监管机构审查和其他惯例成交条件而定。