高通“呼朋唤友”推进端侧AI新时代:腾讯混元部署 7B/3B 模型等
创始人
2024-10-22 06:57:27
0

IT之家 10 月 22 日消息,高通公司在今天举办的骁龙峰会上,推出了骁龙 8 至尊版移动平台,这是迄今为止高通最强大且全球速度最快的移动端系统级芯片。峰会首日,高通公司宣布和智谱、腾讯混元合作,共同推动端侧 AI 模型部署和落地。

骁龙 8 至尊版芯片 AI 性能

Hexagon NPU 融合了包含标量(scalar)、向量(vector)和张量(tensor)等 AI 加速器架构,支持 INT4、INT8、INT16 和 FP16 精度,能够利用大型语言模型(LLMs)和大型动作模型(LAMs),以支持全球最大的生成 AI 生态系统。

更多 AI 方面的细节,可以参考IT之家此前文章《骁龙 8 至尊版芯片开启端侧 AI 新时代:Hexagon NPU 性能最高提升 12 倍,全面增强拍照、连接等》。

腾讯混元

骁龙 8 至尊版通过支持基于硬件的 INT4 量化技术,实现腾讯混元大模型 7B 和 3B 版本的终端侧部署,可以大幅提升腾讯混元大模型在终端侧的运行效率,端侧推理实现首个 token 生成时延达到 150ms,解码速率达到超过 30 tokens / 秒

腾讯混元大模型已为腾讯内部超过 700 个业务场景和 C 端应用提供底层技术支持,在骁龙 8 至尊版芯片上部署后,能更好地满足广泛的终端侧业务需求。

例如腾讯手机管家短信智能识别功能通过海量数据结合深度神经网络与预训练,能够更准确地理解短信意图,让短信召回率大幅提高将近 200%,识别准确率提升 20%。

智谱

高通与智谱合作,为骁龙 8 至尊版适配优化 GLM-4V 端侧视觉大模型,支持丰富的多模态交互方式。

GLM-4V 端侧视觉大模型能够实现令人惊叹的处理能力,以超过 70 tokens / 秒的速度在终端侧高速运行。

此外通过与骁龙 8 至尊版进行深度适配和推理优化,终端侧多模态应用 ChatGLM 能够支持三种终端侧交互方式:使用相机进行实时语音对话、上传照片进行对话、上传视频进行对话。

丰富的多模态输入输出方式赋能智能助手 ChatGLM 实现了跨家庭、出行、工作和教育等多个场景的应用,例如:

  • 通过手机摄像头获取穿搭建议
  • 利用视觉信息实现智能导航
  • 通过车内摄像头识别遗留物品
  • 拍摄画作进行风格解析
网易

网易公司和高通合作,基于高通骁龙 8 至尊版芯片,采用一系列 Snapdragon Elite Gaming 特性,并在终端侧带来全新升级的 AI 队友功能,打造创新的《永劫无间》手游体验。

高通技术公司和网易还针对线程调度进行联合调优,并应用骁龙遮挡剔除(Snapdragon Occlusion Culling)等 Snapdragon Elite Gaming 特性,从而打造更加稳定的游戏体验。

在《永劫无间》手游极致画质下,与前代平台相比,骁龙 8 至尊版的平均帧数提升 22 帧,帧率稳定性提升 43%,助力实现更加流畅、稳定的复杂多人竞技场景。

基于骁龙 8 至尊版强大的高通 Hexagon™ NPU,《永劫无间》手游首次将具有 18 亿参数的大语言模型引入终端侧,利用包括软件和工具在内的高通 AI Stack 的全栈优化,打造全新升级的端到端 AI 队友功能。

该功能可以让 AI 队友不仅听懂玩家的语音对战指令并执行,还能够通过语音指导新手游玩;不仅如此,玩家还能够与 AI 队友进行自然的语音交流,获得优质队友的情绪价值。

  • 在终端侧推理可以显著降低网络传输带来的时延,使得首词时延控制在 300 毫秒以内
  • 用户数据无需上传云端,这将大大提升用户的隐私的安全性
  • 将 AI 推理从云端迁移到终端侧,可以充分利用骁龙 8 至尊版强大的终端侧 AI 推理能力,从而降低云端运行成本并降低能耗

相关内容

【一周连连看】推动大模型从...
Hi,假期快乐。 本周,你将看到: 1、AI暑期营火了 2、硅谷,...
2026-06-21 20:19:17
CBVI:2026 中国品...
CBVI:2026 中国品牌AI可见度指数 China Brand...
2026-06-21 19:12:58
AI 知识付费“出海”:一...
文 | wiwi AI 浪潮里,最先赚到钱的人,未必是最懂 AI...
2026-06-21 14:04:50
阿里合伙人调整:AI科学家...
阿里巴巴(HK09988,股价104.9港元,市值2.01万亿港元...
2026-06-21 12:06:30
用AI报高考志愿靠谱吗?专...
距离高考成绩发布还有几天时间,从分数公布到志愿填报,很多考生和家长...
2026-06-20 19:54:02
微信原生AI助手“小微”灰...
目前该功能仍在小范围内测中,若未获得内测名额,建议您后续留意版本更...
2026-06-20 18:27:04

热门资讯

2024云栖大会|阿里云升级无... 北京商报讯(记者魏蔚)9月20日,阿里云无影AI云电脑在2024云栖大会上展出,该版本基于最新的终端...
MWC2025荣耀多款AI技术... 人民财讯3月6日电,2025世界移动通信大会(MWC 2025)上,荣耀MagicBook Pro ...
原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
摩尔线程发布AI算力笔记本MT... 钛媒体App 12月20日消息,摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升... 快科技8月7日消息,作为国产GPU的杰出代表,摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
微软 Azure AI 语音服... IT之家 8 月 23 日消息,微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
谷歌打磨 Gemini AI ... IT之家 8 月 31 日消息,谷歌于 8 月 27 日发布博文,宣布旗下 Gemini AI 支持...
青云QingCloud Kub... 日前,青云科技宣布开源 Thanos 的企业级发行版 Whizard,为企业带来真正高可用、可扩展、...
Macos系统上一款强大的卸载... App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具,以帮助您完全卸载...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...