HostedAI Inc.是一家专注于提升图形处理单元基础设施效率的软件平台和市场,今天宣布已获得1900万美元早期融资,用于在同一GPU上同时运行多个工作负载。
通过在GPU资源上汇集人工智能工作负载,HostedAI将未充分利用的计算资源进行整合,使被称为"新云"的云运营商能够在现有基础设施上实现高达五倍的输出效率。
随着人工智能基础设施建设热潮成为世界历史上最大的基础设施项目,GPU框架仍然以卡、服务器和机架级别进行租赁。然而,许多客户只需要可用容量的一小部分。
首席执行官迪特莱夫·布雷达尔表示:"当今为人工智能提供支持的GPU基础设施极其浪费。客户被迫将GPU作为静态资源租用,因为这是运营商销售的唯一方式,而人工智能工作负载平均会让大约60%的GPU处于闲置状态。"
在基础设施运营商层面,硬件可以支持更高水平的使用,这意味着他们可以从投入建设数据中心和购买服务器的资本中获得更多收益。这种低利用率对新云提供商来说可能极其不利,他们在闲置计算资源上损失了大量资金。
HostedAI表示,它还旨在让客户能够在市场中接触到更多样化的提供商,目前市场主要由美国少数几家超大规模云提供商主导。寻求维护数据主权或区域效率的欧洲公司和公共部门组织将以更便宜的成本获得更好的替代方案。
该公司补充说,其联合GPU市场将提供一个平台,本质上可以发布闲置容量并从其他提供商订阅容量以扩大地理覆盖范围。
AI开发者通过基于消费的定价模式访问该公司的系统,而不是租用服务器。这为开发者和企业带来显著更低的成本。
HostedAI正在进入一个日趋成熟的按需GPU市场,包括Together Computer Inc.、Runpod Inc.和Vast.ai Inc.等竞争对手。虽然这些现有企业专注于大规模无服务器扩展或非托管的点对点硬件,HostedAI通过将商品定价与区域可用性相结合来确立自己的地位。这针对需要低延迟和生产级可靠性但又不想支付过高费用的中层开发者和企业。
最终结果本质上为新云提供了配置闲置GPU算力的灵活性,这些算力原本会被浪费。HostedAI认为这是一个双赢局面,将优化基础设施并吸引更多客户使用这些闲置容量。布雷达尔补充道:"GPU市场存在的是浪费问题,而不是稀缺问题。"
Creandum领投了这轮种子融资,People Ventures和Repeat VC也参与了投资。
Q&A
Q1:HostedAI是什么公司?它主要解决什么问题?
A:HostedAI是一家专注于提升GPU基础设施效率的软件平台和市场公司。它主要解决GPU资源浪费问题,通过在同一GPU上同时运行多个工作负载,将平均60%的闲置GPU资源充分利用起来。
Q2:HostedAI的技术能带来什么好处?
A:对于云运营商,可以在现有基础设施上实现高达五倍的输出效率,从投入的资本中获得更多收益。对于AI开发者和企业,可以通过基于消费的定价模式获得显著更低的成本,不需要租用整台服务器。
Q3:HostedAI与其他GPU市场平台有什么不同?
A:与Together Computer、Runpod和Vast.ai等竞争对手相比,HostedAI通过将商品定价与区域可用性相结合来确立差异化地位,主要针对需要低延迟和生产级可靠性但又不想支付过高费用的中层开发者和企业。