当前位置： 首页  >> 科技  >> 查看详情

通义大模型落地手机芯片 离线环境可流畅运行多轮AI对话

来源： 环球网   日期：2024-03-28 10:32:04  责编：刘玉辉 
分享:
   3月28日，阿里云与半导体公司MediaTek联合宣布，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台，可离线流畅运行即时且精准的多轮AI对话应用，连续推理功耗增量不到3W，实现手机AI体验的大幅提升。这是通义大模型首次完成芯片级的软硬适配，仅依靠终端算力便能拥有极佳的推理性能及功耗表现，标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。
   端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理，可大幅降低推理成本、保证数据安全并提升AI响应速度，让大模型可以更好地为用户提供个性化体验。然而，要将大模型部署并运行在终端，需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配，存在技术未打通、算子不支持、开发待完善等诸多挑战。
   据了解，通义千问18亿参数开源大模型，在多个权威测试集上性能表现远超此前SOTA模型，且推理2048 token最低仅用1.8G内存，是一款低成本、易于部署、商业化友好的小尺寸模型。天玑9300集成MediaTek第七代AI处理器APU790，生成式AI处理速度是上一代AI处理器的8倍。阿里巴巴通义实验室业务负责人徐栋介绍称，阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作，实现了基于AI处理器的高效异构加速，真正把大模型“装进”并运行在手机芯片中，给业界成功打样端侧AI的Model-on-Chip部署新模式。
   基于天玑9300芯片，通义千问18亿参数大模型在推理方面表现出了极佳的性能与功耗表现，推理时CPU占有率仅为30%左右，RAM占用少于2GB，推理速度超过20tokens/秒，系列指标均达到业界领先水平，可在离线环境下流畅实现多轮AI对话。据了解，相关成果将以SDK的形式提供给手机厂商和开发者。
   此外，双方团队也已完成了通义千问40亿参数大模型与天玑9300的适配，未来还将基于天玑适配70亿等更多尺寸大模型，“打样”并支持开发更多AI智能体及应用。




 
标签：通讯系统通信科技电信

1. 凡本网注明“来源：中国生活消费网” 的所有作品，版权均属于中国生活消费网。如转载，须注明“来源：中国生活消费网”。违反上述声明者，本网将追究其相关法律责任。

2. 凡本网注明 “来源：XXX（非中国生活消费网）” 的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。

3. 任何单位或个人认为中国生活消费网的内容可能涉嫌侵犯其合法权益，应及时向中国生活消费网书面反馈，并提供相关证明材料和理由，本网站在收到上述文件并审核后，会采取相应措施。

4. 中国生活消费网对于任何包含、经由链接、下载或其它途径所获得的有关本网站的任何内 容、信息或广告，不声明或保证其正确性或可靠性。用户自行承担使用本网站的风险。

5. 基于技术和不可预见的原因而导致的服务中断，或者因用户的非法操作而造成的损失，中国生活消费网不负责任。

6. 如因版权和其它问题需要同本网联系的，请在文章刊发后30日内进行。联系邮箱：zgshxfw@126.com 手机：13910910492 13911566744（含微信）QQ：1176602562

相关文章

  • 从根源上加强隐私保护能力 做守护用户隐私安全的“卫士”

       如今隐私安全问题正在受到广泛关注，解决用户的隐私安全问题刻不容缓。为保障用户的信息安全与个人隐私，国家监管部门已出台各种政策与规定，华为公司也明确将网络安全和隐私保护作为公司的最高纲领。3月22日，华为应用市场2023年度安全隐私报告发布，华为应用市场在应用管控和安全保障方面不断提升，为开发者创造纯净安全环境，让更多好的应用被看见，为用户加强安全保障机制，守护好用户的隐私安全。    一款应用在上架前、下载前、使用中都会产生隐私安全风险，无一不... [阅读]

  • 华为应用市场：强化全生命周期应用安全新举措 全面保障用户隐私安全

       当前，手机已经成为人们现代生活的必备品之一，种类繁多的应用丰富了用户的娱乐与生活。与此同时，手机应用的私密性使得用户在应用上的信息与自身利益密切相关，应用一旦越界，带给用户的将会是巨大安全隐患。3月22日，华为应用市场发布2023年度安全隐私报告，这不仅是对过去一年安全成就的回顾，也是对未来安全发展方向的宣言。    在数字化的浪潮中，华为应用市场以其完善的安全保障能力，成为了全球用户值得信赖的应用市场之一。截至2023年12月31日，华为应用市场... [阅读]

  • UC浏览器携手《功夫熊猫4》为用户打造“快乐三连招”

       近日,由梦工厂出品的动画大片《功夫熊猫4》再次席卷全球银幕,掀起了一股功夫狂潮。伴随着影片上映,UC浏览器近日携手《功夫熊猫4》,开展了以“快乐功夫,UC有绝招”为主题的活动,将功夫熊猫与UC浏览器的实用特色巧妙融合,为用户带来“快乐三连招”。    影片中,主角阿宝从籍籍无名到成为神龙战士,一路历练成长。现实生活里,阿宝精神与当今社会中的中坚力量高度契合,映射出中坚青年在挑战面前的顽强与乐观&mda... [阅读]

  • 一加Ace 3V售价1999 起 打造“年轻人的第一台AI手机”

       3月21日，一加正式发布一加Ace 3V。一加Ace 3V全球首发第三代骁龙7+移动平台，采用5500mAh大电池+长寿版100W超级闪充的续航组合，配备全新1.5K护眼直屏，更有全场景AI深度赋能，在质感、性能、续航、游戏和AI等维度全方位挑战中端手机冠军。作为年轻人的第一台AI手机，一加Ace 3V实现了旗舰级性能与AI的双普及。一加中国区总裁李杰表示：“AI手机普及的标志，是让更多人能用上AI 。一加Ace 3V不仅要普及旗舰体验，更要开启一个AI手机... [阅读]