端侧AI如何起飞?

2025-04-16 22:11:14
浏览次数:
返回列表

  端侧AI如何起飞?近期,端侧AI在多领域落地的动作不断。消费电子领域,联想于2月25日发布其AI PC新品YOGA 2025系列,本地部署DeepSeek-7B,成为全球首家在终端设备上部署此规模大模型的厂商。3月5日,苹果时隔两年重磅更新的Mac Studio配备了全新M3 Ultra和M4 Max芯片两个版本,苹果宣称 M3 Ultra 版本 Mac Studio 支持本地部署 6000亿参数的AI大模型运行。此外,近日华为的AI PC也传出新消息,预计其自研商用AI笔记本将在四月发布,除了搭载全面集成的DeepSeek大模型,其芯片及零部件或将实现全自研。

  汽车领域,小米SU7 Ultra于2月27日上市,雷军通过微博宣布Xiaomi HAD端到端全场景智驾开启全量推送,小米SU7 Ultra出厂即搭载该智驾系统。吉利在3月3日的AI智能科技发布会上宣布完成全域AI智能化布局,其中阶跃星辰提供通用大模型技术,与吉利联合开源多模态交互框架,实现文本、语音、图像数据的融合理解。此外,吉利自研的超级智算中心2.0,算力资源超越万卡,综合算力达到23.5EFLOPS。

  事实上,除了上述高热度的领域,端侧AI还在涉及面更加广阔的IoT等领域加速落地。例如,今年2月,深思考人工智能在全球开发者大会上正式发布鸿蒙系统TinyDongni& deepseek超小端侧多模态大模型及硬件模组,并联合国产模组厂商推出两大解决方案,一方面为车载、机器人等场景提供实时AI处理能力,另一方面赋能工业检测、AI摄像头等高精度场景。深思考创始人& CEO杨志明表示,超小端侧多模态大模型及硬件模组的发布,不仅是技术的突破,更是端侧AI普惠化的里程碑。未来将持续优化多模态交互能力,推动AI在医疗、工业、消费等领域的深度应用。

  “AI推理将从云端下沉到我们身边,无处不在。”Arm物联网事业部业务拓展副总裁马健告诉记者解释道,如果我们生活在连接带宽无限大、延时无限低、成本接近零的世界,那么AI部署在集中式数据中心是最有效的。但是这个假设并不成立,来自海量传感器、摄像头的视觉、声音等数据都回传到云端是不现实的,尤其是在对延时、隐私以及可靠性有严格要求的场景,边缘AI势在必行。

  以DeepSeek为代表的开源模型,加速了AI从云走向端的进程,其带来的影响之一就是支持边缘设备,使得高性能AI应用能够在边缘设备上顺利运行。达摩院首席科学家、知合计算CEO孟建熠指出,大模型在云端的话,实施成本比较高,只有有限的企业可能在部分领域应用,而一旦到了端侧,就有大量的应用都会发展起来。

  首先,当前先进的AI小模型已具有卓越性能。模型蒸馏和新颖的AI网络架构等新技术能够在不影响质量的情况下简化开发流程,让新模型的表现超越一年前推出的仅能在云端运行的更大模型。其次,模型参数规模正在快速缩小。先进的量化和剪枝技术使开发者能够在不对准确性产生实质影响的情况下,缩小模型参数规模。第三,开发者能够在边缘侧打造更丰富的应用。高质量AI模型快速激增,意味着文本摘要、编程助手和实时翻译等特性在智能手机等终端上的普及,让AI能够支持跨边缘侧规模化部署的商用应用。第四,AI正在成为新的UI。个性化多模态AI智能体将简化交互,高效地跨越各种应用完成任务。

  大模型、智能体在边缘侧的落地需要具备更高性能和能效的边缘计算平台。2月底,Arm发布新一代边缘AI计算平台Armv9,可运行超10亿参数的端侧AI模型。此外,Arm近日与阿里巴巴合作,通过 KleidiAI 与通义千问模型的集成,加速端侧多模态AI体验。多年前高通就已经为此做了准备。高通早在十五年前就开始在终端侧开展针对AI的研究,其AI引擎已迭代到第十代;去年3月推出AI HUB,帮助不同开发者优化模型,使其部署在不同平台上。

  对于芯片企业而言,通过硬件创新推动端侧AI市场向上攀升的同时,也让自身吃到更多红利。以我国AIoT芯片领域的代表性企业瑞芯微为例,其在端侧AI方面可提供从0.2TOPs到6TOPs的不同算力水平的AIoT芯片。据悉,当前已有多个领域的客户基于瑞芯微主控芯片研发在端侧支持AI大模型的新硬件,如教育平板、AI 玩具、桌面机器人、算力终端、会议主机等产品。根据瑞芯微公布的2024年业绩预告,预计其2024年营收31亿元到31.5亿元,同比增长45.23%到47.57%;预计实现净利润5.5亿到6.3亿元,同比增长307.75%到367.06%。业绩增长背后,是AI技术快速发展、应用场景不断拓展对AIoT业务的带动。

  大象新闻记者 张子琪近日,河北廊坊三河市城市内商户招牌被禁止使用“红黑蓝”引发广泛关注。据廊坊市人民政府网站消息,4月15日,廊坊市联合调查组就三河市“广告牌匾禁用红蓝黑底色”一事发布通报称,经初步核查,媒体反映的主要问题基本属实。

  特朗普又变卦了!美股震荡,中国资产全线爆发!日本首相警告美国:不打算重大让步!美国宣布将对墨西哥番茄征关税

  此外,央视记者当地时间14日获悉,美国商务部当天表示,由于美国已退出一项其认为未能保护国内番茄种植者的协议,自7月14日起,从墨西哥进口到美国的大部分番茄将面临20.91%的关税。

  近日,公安提醒,以下这5类电话号码不管谁打来,都不要随意接听——95开头的非5位数号码基本上都是电线天前

  午睡超过这个时间,死亡风险增加30%!(极目新闻、央视新闻) #打工人 #健康 #健康科普 #科普 #睡眠

  突发!暴跌64%!美国进口出现崩溃迹象,海运贸易面临“急刹车”,特朗普关税引发连锁反应#特朗普关税 #特朗普 #关税

  每经编辑:张锦河据券商中国4月15日消息,受美国总统特朗普掀起的“关税风暴”影响,美国海运贸易正面临骤然中断的风险。货运数据公司Vizion最新发布报告显示:美国进口订单在第一季度激增后出现了崩溃的迹象。

  日前,教育部印发通知,加大征兵宣传进校园工作力度,进一步激发高校学生参军报国热情,鼓励引导高校学生特别是应届毕业生积极参军入伍。

  连日以来,美国总统特朗普在关税问题上的“朝令夕改”引发许多美国民众不满,从全球加征关税,到暂停90天,再到对通讯设备等商品豁免,如今,特朗普又称考虑要豁免进口汽车和零部件的关税。美国总统特朗普(图源:央视新闻)据财联社报道,面对25%的汽车关税,所有汽车制造商都在“叫苦连天”。

  一个问题是:如果双方都把关税战当“战争”来打,极限对抗,彼此近乎走向“零贸易”,那么谁更难扛得住?谁在经济、和上更具韧性?

  极目新闻记者 舒隆焕4月16日,山西大同阳高县“订婚案”二审将公开宣判。宣判当天是被告男子席某某被羁押的第712天。4月15日,极目新闻记者重回案发婚房时看到,案发当日被女方吴某某点火烧的卧室柜子和客厅窗帘痕迹还在,室内还遗留着女方的衣物J9九游会官方网站

搜索