NEO 发布 HBM 内存技术 3D X-AI ,宣称拥有现有方案百倍 AI 能力
创始人
2024-08-06 17:08:45
0次

IT之家 8 月 6 日消息,NEO Semiconductor 当地时间本月 5 日发布了 3D X-AI 芯片技术,宣称该技术可实现目前 HBM 内存方案百倍的 AI 处理能力,同时功耗也可降低 99%。

IT之家注意到,3D X-AI 可理解为两项技术的结合:其采用 3D DRAM 技术构建 HBM 内存的 DRAM Die,以实现更高容量;同时在 DRAM Die 中引入本地处理器,类似于此前提出的 PIM 概念。

在前一项技术上,单个 3D X-AI 芯片包含 300 层 3D DRAM 单元,整体容量达 128Gb,12 层堆叠后可实现 192GB 的单堆栈容量,允许存储更大的 AI 模型。而目前的 HBM3 (E) 内存最大单堆栈容量仅有 36GB。

而在后一项技术上,NEO Semiconductor 称其每个 3D X-AI 芯片均配备一层神经回路单元,包含 8000 个神经元电路,可直接在 3D 内存内部执行 AI 处理,大幅减少了数据传输至 GPU 产生的功耗。

NEOSemiconductor 预计每层神经回路单元可提供 10TB/s 的 AI 处理吞吐量,对于 12 层堆叠的 3D X-AI 内存堆栈而言就是 120TB/s,较传统方案提升了 100 倍。

NEOSemiconductor创始人兼首席执行官 Andy Hsu 表示:

由于架构和技术效率低下,当前的 AI 芯片浪费了大量的性能和功率。

目前的 AI 芯片架构将数据存储在 HBM 中,并依靠 GPU 执行所有计算。这种数据存储和数据处理分离的架构使数据总线成为不可避免的性能瓶颈。通过数据总线传输大量数据会导致性能受限、功耗飙升。

3D X-AI 可以在每个 HBM 芯片中执行人工智能处理。这可以大幅减少 HBM 和 GPU 之间的数据传输,从而提高性能并显著降低功耗。

相关内容

热门资讯

国产大模型下调推理服务价格,南... 近日,国内某大模型企业宣布下调其flash系列模型服务价格,输入缓存命中、输入缓存未命中及输出价格最...
解码青年人AI生活《2026有... 中新网深圳9月5日电(记者索有为)《2026有意思生活方式报告》(下称《报告》)4日在全国首个有意思...
OpenAI 最强 AI 生图... 9月9日消息,OpenAI 9 月 9 日官宣发布 ChatGPT Images 2.5,图像生成延...
探索AI供应链产业化路径京东推... 2026年以来,人工智能应用范围加速拓展,持续从数字空间走向现实生活,广泛融入生产线、仓储厂房、配送...
教育部发文!AI生成内容,教师... 一篇论文,因为AI使用不当,相关高校师生被通报处理。 9月2日,安徽财经大学公布“教师与学生涉嫌学术...
AI识别出近800种可充当乳化... 英国利兹大学食品科学与营养学院和爱丁堡大学科学家携手,开发出一款 人工智能(AI)工具,能从数千万种...
搭上低空经济、AI文旅?两连板... 桂林旅游(000978)回应市场热点。 9月8日,桂林旅游再度涨停,斩获2连板。当天晚间,该公司披露...
硅谷:我们不能被硅谷“AI刹车... 【文/底线思维】 OpenAI首席科学家Jakub Pachocki最近写了一篇文章,题目叫《An ...