随着人工智能技术的快速发展，端侧AI逐渐成为电子行业的重要发展方向，同样也成为中小企业提升运营效率的关键。

对此，闪德资讯通过与得一微电子的张淏楠先生交流，进一步了解当前端侧AI在中小企业中的发展现状和应用解决办法，以及得一微电子最新推出的 AI-MemoryX显存扩展技术如何助力端侧AI训推一体。

01 / 端侧AI的发展现状

传统云端AI大模型的开发具有高投入的特点，据张淏楠先生介绍，根据行业分析数据，从零开始训练一个千亿规模大模型，总成本远超1.43亿美元。

其资金分布情况为GPU成本约为1.083亿美元，数据中心成本约为1083万美元，人力成本约为200万美元，此外还有推理应用成本，日常运营成本等。

而端侧AI指的是可在终端设备上直接运行和处理人工智能算法，允许终端设备在本地处理企业数据，无需依赖云端或服务器进行处理的应用。

目前端侧AI行业的落地应用广泛，包括但不限于智能手机、智能物联网、PC、汽车、企业AI端侧设备，智能安防监控等等，覆盖从个人到企业到社会的庞大场景。

据研究机构沙利文的数据显示，全球端侧AI市场规模预计将从2025年的3219亿元增长至2029年的12230亿元，复合年增长率高达39.6%。

与此同时，中国的端侧Al市场也将从2025年的802亿元攀升至2029年的3077亿元，复合年增长率高达39.9%。由此可见，国内主流科技企业将持续加大在端侧AI领域的投入。

中国经济的主体是由7000万家中小企业构成，它们遍布各个行业。端侧AI的出现，从各类投入到满足企业需求、提升效率来看，给中小企业一个性价比更高的AI转型选择。

端侧AI犹如一场智能革命的浪潮，将在企业创新和效率提升方面带来巨大变化。

02 / 中小企业端侧AI应用落地的挑战

目前许多企业已经开始尝试使用AI进行转型尝试，企业对AI的应用方式主要分为提示词、向量数据库、全参微调等，三种使用方式具有一个层层递进的关系。

对于中小企业，端侧AI大模型可以通过全参微调，来对企业进行量身打造。全参微调是利用特定企业内部数据，对预训练模型的所有参数进行微调，以提升模型在特定任务上的性能。

将预训练模型强大的表示能力，迁移到特定数据下的特定任务中，可以提高模型在特定任务上的泛化能力。

这样端侧AI可适用于各种任务和数据集，亦可在企业多种不同的应用场景中发挥作用，如代码编写、市场分析、财务分析、企业知识库的构建等等。

但全参微调的需求仍和它带来的门槛相冲突：一是全参微调的技术需求高，二是微调所需要的硬件成本过于昂贵，以70B的模型的全参微调为例，需1.4TB的显存空间（20-30张普通GPU）才可以开始进行模型训练，这是硬件准备的第一步，所以大部分的公司、企业或者是医院很难去自己进行微调，来适应行业需求。

张淏楠先生告诉闪德资讯，中小企业端侧AI应用落地的挑战主要包括硬件搭建成本高昂、缺乏大模型应用人才、专业数据资源有限、企业私有数据无法上传云端等等。

面对以上的挑战，得一微研发了显存扩展AI-Memory X 技术，推出端侧AI训推一体机，以“开箱即用”的方式来协助中小企业运营AI智能化。

03 / 得一微端侧AI训推一体机

得一微电子的Al-MemoryX技术是创新性的显存扩展方案，使单机显存容量从传统显卡的几十GB提升到10TB级别，大幅降低了AI大模型的微调训练对GPU数量的需求。

得一微端侧AI训推一体机，基于自研AI-Memory X 技术，涵盖了硬件资源、AI芯片、AI平台软件及各类算法模型的软硬一体化能力，不仅能“开箱即用”，还能够帮助企业快速、高效、稳定的落地大模型能力，实现大模型私有化部署。

AI-MemoryX解决方案，是一个完整的微调训练机方案，对比行业产品，它具有4点优势：

• 大幅降低了超大模型训练的门槛，一键式训练部署，硬件资源灵活配置，节约成本，为中小企业AI转型提供强力支持。
• 可进行70B/110B/671B等大模型全参微调，为中小企业部署AI进行深度工作提供解决方案。
• 本地化部署端侧AI训推一体机，内部网络运行，数据及处理流程全权可控，大幅降低数据泄露风险。
• AI-MemoryX训推一体机支持多种功能，如断点训练、同时训推、寿命预警、二次开发等。

在中小企业端侧AI应用落地上，开发的流程，软件的交互体验，以及场景适配、推理的准确性，皆是中小企业普遍关心的重点。

得一微AI-Memory X 训推一体机能够以有限的资源，高效的开展大规模模型的训练与微调，推动其在更多场景中应用。

随着模型轻量化、本地化推理需求的提升，DeepSeek 等开源模型的灵活部署，大大加快了中小企业的AI转型。

作为端侧AI领域的先行者，得一微电子通过提供高性能存储解决方案、支持轻量化模型部署、提升数据隐私与安全性，以及简化部署与管理等方式，为中小企业在激烈的市场竞争中提供了强大的技术支撑，助力其在智能化发展浪潮中抢占先机。