2024年年初,特斯拉FSD V12推送首个端到端模型方案,车载大模型开始成为行业的热议话题。5月,小鹏AI天玑系统全量推送,包括国内首个端到端AI智驾和大语言模型AI小P。
2024年9月3日,在第四届智能汽车域控制器与中央计算平台创新峰会上,小鹏汽车嵌入式架构总师唐黾表示,自动驾驶迎来了端到端大模型。对此,小鹏汽车推出了XNet、XBrain、XPlanner,智驾升级端到端大模型——能力提升2倍,XNGP全国都好用。同时唐黾系统分享了小鹏全栈自研控制器、小鹏AI计算平台软件架构。唐黾提出,需要注意的是,大模型也对计算、存储、音视频处理、信息安全、带来了挑战。同时需要思考——大模型时代,舱驾融合还有价值吗?
展望未来,小鹏开展All in AI战略。唐黾介绍,将全面覆盖AI机器人、AI芯片、AI汽车、AI大模型、飞行汽车等方面。
小鹏汽车嵌入式架构总师
以下为演讲内容整理:
汽车行业迎来大模型时代
近年来,大模型成为热议焦点,尤其在车载应用上发展迅速。年初,特斯拉率先推出FSD V12版本,是行业首个端到端模型方案。随后,华为发布ADS3.0,同样标榜端到端能力。5月,小鹏AI天玑系统全量推送,包括国内首个端到端AI智驾和大语言模型AI小P。理想、讯飞等企业亦纷纷跟进,发布大模型方案。小鹏在十周年庆典上,宣布了基于大模型的纯视觉AI鹰眼方案,标志着从激光雷达向纯视觉转型的新阶段。
自动驾驶领域,端到端大模型架构由“大脑”“小脑”与“眼睛”组成,分别负责意图理解、规划与感知。大脑依托大模型,精准解读交通参与者意图;小脑采用XPlanner神经网络规划,提升驾驶平顺性;眼睛则实现超广感知范围。大模型训练虽难,但迭代迅速,预计18个月内能力将提升30倍,XNGP因此实现全国覆盖与高效运行。
图源:演讲嘉宾素材
座舱方面,AI小P升级,增强需求推理与多模态能力,如百科问答、用车辅助及创意生成,同时通过车内外摄像头实现智能感知,提升用户体验。未来,AI小P将向多模态感知与云一体架构发展,成为座舱乃至整车智能化的核心。
小鹏车载计算平台采用全栈自研策略,基于英伟达与高通平台,实现中央+域控架构,领先业内。软件架构上,融合多操作系统,构建统一通信协议与SOA服务框架,支持跨域交互与复杂逻辑处理。同时,云端大模型辅助车端,弥补算力不足,实现边缘云一体。未来,小鹏将继续迭代中央计算平台与云原生应用,推动整车智能化进程。
大模型对车载计算平台的挑战
大模型的兴起对当前计算平台构成了多方面的挑战。
从计算角度看,以LLaMA为代表的解码器架构中,Softmax算子成为核心,其并行化能力低于传统卷积算子,对计算芯片提出新要求,需提升Softmax计算效率。
同时,大模型导致存储成为瓶颈,特别是存储密集型模型如GPT,对存储带宽要求高,现有芯片常面临“存储墙”问题。
多模态大模型处理多源数据时,前端处理增加延迟,需优化以降低推理延迟。此外,车端算力有限,需利用云端资源,但数据传输受限于5G限制,编码器的性能与压缩率直接影响模型性能。
图源:演讲嘉宾素材
信息安全方面,大模型中的提示词工程易遭注入攻击,公开或供应数据可能存在数据中毒、后门等安全隐患,需加强防护。汽车行业对安全重视不足,需提升安全防护能力。
舱驾融合方面,大模型时代座舱与智能驾驶对NPU和内存的需求激增,CPU需求相对下降。现有舱驾融合芯片设计需重新评估,可能无法同时满足两者需求,且成本高昂。未来需考虑是否继续坚持舱驾融合策略,或探索更经济的解决方案。
未来计算平台展望
小鹏汽车在迎来10周年之际,明确了以AI为核心的战略方向,聚焦于AI机器人、AI汽车及飞行汽车三大核心产品。为支撑这一战略,我们发布了首款专为大模型定制的“图灵芯片”,该芯片支持高达30B大模型的运行,并针对我们自主研发的模型和框架进行了深度优化,实现了效率与能效比的双重提升。
图源:演讲嘉宾素材
在此基础上,我们正构建一套统一的AI计算架构,旨在跨足汽车、机器人及飞行汽车三大领域,同时满足L4级自动驾驶的高功能安全与高冗余要求。这标志着我们将致力于打造一个高度集成、高效运行的中央计算系统。
面对大模型时代的挑战,我们深知算力与芯片面积需求的激增,以及半导体工艺快速发展伴随的高昂成本。鉴于国内在先进工艺上的限制,我们探索了小芯片堆叠作为替代方案,以在现有条件下实现类似大芯片的性能。此外,量子计算的潜在突破也为我们提供了长远的解决方案视角,期待其未来能解决传统计算难以逾越的难题。
在存储方面,虽然服务器领域已有内存磁化技术解决容量问题,但其车载应用的可行性尚待验证。内存带宽的提升同样面临技术瓶颈,现有标准如LPDDR5X已难以满足大模型需求,而未来技术如GDDR7、LPDDR6等虽有进步,但增长有限。HBM技术在汽车领域的应用前景亦不明朗。
我们特别关注存内计算这一新兴路径,尽管目前国内外厂商多处于研究阶段,且面临技术与战略融合的挑战。我们期望未来能有更多国产厂商加入这一领域,在存内计算上取得突破性进展,为行业带来变革。
声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。