留言
报告导航:研究报告制造业汽车
2024年车载AI Agent产品开发与商业化研究报告
字数:0.0万 页数:223 图表数:0
中文电子版:12000元 中文纸版:9600元 中文(电子+纸)版:12500元
编号:GX 发布日期:2024-08 附件:

  《2024年车载AI Agent产品开发与商业化研究报告》围绕AI Agent产品开发和商业化开展了广泛、深入的调研,助力产品开发和相关决策者。

  AI Agent是大模型上车最佳方案

  以“蔚小理”为代表的造车新势力抢先将大模型应用在汽车座舱上,开启了智能座舱的大模型时代。但从实车体验看来,座舱大模型还不够成熟,存在唤醒失败、延迟响应、语音识别错误、记忆失效等幻觉等问题。这些问题主要源于基础大模型理解、推理能力不足、上下文记忆有限、对环境背景信息感知不足。为解决这些问题,工程师们先后提出Prompt-Engineering(提示词工程)、RAG(检索增强生成)、Fine-Tuning(微调)、AI Agent(基于大模型的智能体)等方案,围绕“使模型获得更多的知识信息、用更专业的数据训练模型”两个方面提高模型智能水平,使用户体验更好。(图1为基于LLM的AI Agent一般模型)

图1 基于LLM的AI Agent一般架构
AI1_副本.png
来源:The Rise and Potential of Large Language Model Based Agents: A Survey

  经过几年的实践,大部开发人员认为AI Agent是大模型商业化落地的最佳方案。今年3月,吴恩达在一次演讲中谈到,基于 GPT-3.5 构建的Agent 工作流程在应用中的表现能比 GPT-4 要好。从蔚来、小鹏等车企公布的座舱大模型架构来看,也都采用了AI Agent技术方案。

  AI Agent将成为智能座舱的灵魂

  本土品牌汽车的智能座舱经过几年的迅猛发展,已经来到一个硬件堆叠时代——多媒体大屏、智能灯效、智能音效、AR-HUD……与此同时,在稍微复杂的人机交互功能不尽如人意。拥有多模态感知、交互,超强的泛化理解能力的AI Agent将成为人车交互的完美方案,使用户可以极低的学习成本使用丰富的座舱功能。不仅如此,AI Agent还可以实现由用户主动使用为被动享受贴心的代理服务。这一变革,将使智舱硬软件大量投入,最大化地兑换成用户价值。所以说,AI Agent将成为智能座舱的灵魂,对未来主机厂的发展具有重要的战略意义。

  AI Agent战略意义重大,但开发难度和资金投入大,主机厂应如何布局?

  AI Agent是从环境、信息感知到决策、执行的复杂工作流程设计,以大模型为核心大脑,包括Perception(感知)、Reasoning(推理)、反馈(Reflection)、工具调用(Tool Use)、规划(Planning)和多智能体协作(Multi-agent Collaboration)等多个模块。AI Agent的开发难度、开发成本远大于Prompt-Engineering、RAG、Fine-Tuning。实际上很多AI Agent包含Prompt、RAG。目前,车载AI Agent尚处于概念验证、试验开发阶段。已上车的AI Agent只是AI Agent思想的简单运用。在整车价格、成本病态内卷的背景,主机厂应如何平衡短期降本任务和长期战略布局,以正确的姿态应对AI Agent掀起的座舱变革。我们从客户咨询问题中,挑出问询最多的三个问题进行探讨。

  问题.01 自研or外包,主机厂如何决策?

  每一轮技术变革来临,企业自制外购决策都将决定着未来的命运。1980年代个人电脑兴起,拥有垄断地位的IBM将操作系统及相关软件外包给Microsoft,直接导致竞争优势的逐渐削弱,直到退出PC市场。作为智能座舱最具颠覆性的新技术,AI Agent的自研外包决策也必然影响主机厂未来的竞争地位。

  根据主机厂发布信息,结合招聘数据推测,发现当前主机厂AI Agent自研外包决策主要有自研、合作研发、外包三种模式。造车新势力以自主开发模式为主,其中小米采取合作研发模式,零跑采取完全外包模式。传统主机厂以完全外包模式为主,其中奇瑞、吉利同时采取合作研发模式。

表1 主机厂AI agent开发模式
AI.png
来源:佐思汽车根据公开信息分析,如有错误,请联系我们及时改正。

  表面上看,各大主机厂的决策理所当然。采用传统的能力要素和成本效益标准的决策树方法很容易得到现行决策,如图2所示。

图2 主机厂AI Agent自研外包决策树分析
AI3_副本3.png
来源:佐思汽研

  但是,延用传统制造业自制-外购决策方式是存在风险的。因为经典的“决策树”、“基于成本-效益-风险的综合评价法”等方法,忽略了新技术产品的长远战略意义。常用的“Made Buy Decision Analysis Matrix”、“IBM 公司分包业务分析矩阵”一定程度上考虑到技术在竞争中的战略意义,以及外环境的变化,但没有构建系统的决策流程。

表2.Made Buy Decision Analysis Matrix
AI4_副本4.png
来源:Is the Make vs. Buy Decision Process a Core Competence;

表3:IBM 公司分包业务分析矩阵
AI5_副本5.png
来源:白庆华,刘铁军. 运用“ 自制/ 外购”决策矩阵对企业外包进行决策分析.

  与成熟产品不同,新技术产品的自制外购决策,不能仅以成本效益为决策标准,而要侧重长远的战略考量;不能仅分析当前的能力优势,还要审视所需能力优势的培养和形成。因此,新技术产品的自研外包决策,应按照“长远战略意义及价值分析——各阶段成本效益综合分析——自研的必要条件分析”框架进行系统分析决策。

  此外,输出决策不能僵化、静止,而要预判内部、外部各种变量,并做出相应的决策转变。例如,苹果的芯片自制外购决策就是一个成功的典范。早期苹果曾尝试自研自制芯片,后来很长一段时间转向外包,直到2020又全面转向自研自制。同样的,对于车载AI Agent而言,短期内传统主机厂不具备开发能力,可以外包或合作研发为主,但考虑期长远的战略意义,需以各种方式积累能力优势,在恰当的时刻转向自研,以获得竞争优势。

  问题.02 如何定义、规划AI agent产品?

  在AI agent产品定义方面,目前主机厂普遍缺乏想象力,停留在助手、陪伴、以及具体场景功能列举层面。比如,讯飞星火——懂你的汽车助手;蔚来NOMI侧重于情绪价值,打造懂你的情感伙伴;小鹏——生活助理-AI小P、人机共驾-AI保镖、出行助理-AI司机;理想同学的功能定位总结的最全面,包括用车助手、出行助手、娱乐助手、百科老师。

  这些定义只体现了Agent初级功能——“反应、交互、社交、陪伴、助理”等,对Agent最重要的类人自主代理功能——“理性、善良、自主化身”体现不充分。在功能越来越复杂的智能座舱中,AI Agent仅发挥交互、协助功能,是不够的。用户会因大量的交互、发布指令而感到麻烦。AI Agent的核心价值是在于免交互中默默地为人服务。

  2024年5月,清华智能产业研究院与小米、华为、Vivo、理想联合发表的文章,提出个人用户AI Agent五个智能等级,最高级被称为“自主化身Autonomous Avatar”,可代理完全代表用户完成复杂的事务,与其他用户或代理进行交互,保证安全可靠。如代理阅读电子邮件和消息,无需用户干预即可回复;代理参加工作讨论会,根据用户的工作日志发表意见,听取建议,并撰写会议记录;代理记录用户的日常饮食和活动,私下研究或询问专家任何异常情况,并提出健康改善建议等。这样看来,座舱AI Agent的定义应当充分体现“自主化身”,将功能聚集在“免交互的自主处理冗繁事务”。

图3  AI Agent智能等级划分与对应功能
AI6_副本6.png
来源:Personal LLM Agents: Insights and Survey About The Capability, Efficiency and Security.

  当前车载AI Agent处于早期的智能交互阶段,发展到最高等级的自主代理,可能要经过几个阶段:智能交互——策略辅助——自主化身。在当前智能交互阶段,各主机厂AI Agent的产品规划,主要针对以下10大场景,设计相应的功能。这些规划体现出主机厂厂基于场景,寻找用户价值的务实态度。

表4 车载AI Agent场景、功能规划
AI7_副本7.png
来源:佐思汽研整理

  这些场景功能的用户体验不仅取决于软件算法水平,还与硬件算力紧密相关。作为Agent大脑的LLM智能水平主要取决于参数量、Tokens和数据质量。而参数量和Tokens提升又依赖训练、推理算力。Deepmind和OpenAI的研究表明模型损失与算力负相关,如图4所示。


图4. 大模型智能水平与算力、参数、Tokens相关性分析
AI8_副本8.png
来源: Deepmind,Training Compute-Optimal Large Language Models,2022;OpenAI,Scaling Laws for Neural Language Models,2020.

  车载大模型一个棘手问题是车端算力的局限。为解决车载大模型算力问题,业界提出了“车端、云端、车云协作”三种模式。清华智能产业研究院、小米、华为、Vivo、理想联合研究对三种模式做了业内专家调研。结果显示,近9成的专家认为车云协同是最佳方案。超8成认为仅云端是不可取方案。主要原因是延迟、隐私泄漏风险、云服务成本高等。车端方案排在第二,主因是当下本地硬件的算力还无法支持高阶的Agent服务。因此,车云协同的方案成为最优方案。随着车端算力芯片性能提升,大模型推理算力部署可能会由车云协同向车端过渡。但这并不意味着云端算力对AI Agent发展没有意义。大模型训练需要的算力规模要远大于推理,只能放在云端。云端的算力部署仍然决定着主机厂AI Agent的发展水平。

图5 AI Agent算力部署问卷统计(蓝色代表优先方案;蓝色、黄色依次次之)
AI9_副本9.png
来源:Personal LLM Agents: Insights and Survey About The Capability, Efficiency and Security.

表5:车载AI Agent算力部署方案
AI10_副本10.png
来源:佐思汽研根据公开资料整理

  问题.03 AI Agent如何盈利?

  根据多家主机厂调研的情况来看,目前由于AI Agent产品还不完善,各主机厂普遍采用免费。但AI Agent的收费模式相比高阶辅助驾驶、OTA、车联网,拥有更大的想象空间。以特斯拉为代表,国内外主机厂纷纷推出高级辅助驾驶、车联网、OTA一次性购买和订阅模付费模式,一定程度得到市场的验证。

图6  特斯拉软件收费模式
AI11_副本11.png
来源:佐思汽研根据公开资料整理

  相比而言,AI Agent的应用场景包括驾驶、用车、娱乐等众多场景下的消费内容推荐,与早期车联网平台功能类似,并且AI Agent一旦成熟,被广泛高频使用,其对各类消费内容推荐能力要远大于早期车联网平台的推荐能力。基于这样的消费内容推荐能力可以想象未来的盈利模式有多种可能。

  1.对车主完全免费,依靠消费内容推荐广告费获利。如加油站、汽车保养、维修、餐饮、快消品、旅游景点、书籍、电影、游戏、露营用品等。

  2.对车主完全免费,依靠消费提成获利。

  3.不仅对车主完全免费,还可以对给予车主体验券、代金券等福利。

  当然,推荐消费内容需遵循消费者权益保护法等相关法律。主机厂也可设计不同程度的消费内容推荐,供用户选择。例如,只推荐完全符合用户偏好的消费内容、用户偏好+部分广告内容+福利。此外,与原来车联网的广告植入不同,AI Agent可以更智能地了解用户偏好,做出更符合用户体验的消费推荐。未来,我们期待车载AI Agent带给用户惊艳体验的同时,以创新的付费模式为主机厂带来丰厚的利润回报。

  主要参考文献:

  1.The Rise and Potential of Large Language Model Based Agents: A Survey.

  2.Deepmind, Training Compute-Optimal Large Language Models,2022.

  3.OpenAI,Scaling Laws for Neural Language Models,2020.

  4.Is the Make vs. Buy Decision Process a Core Competence.

  5.白庆华,刘铁军. 运用自制/外购决策矩阵对企业外包进行决策分析.

  6.Personal LLM Agents: Insights and Survey About The Capability, Efficiency and Security.

1 车载AI Agent介绍
1.1 Agent的定义
1.2 Agent的发展历程
1.3 大模型使用Agent概念重获生机
1.4 大模型、Agent、AIGC区别
1.5 车载AI Agent产品定义
1.6 基于多Agent系统的车载AI Agent:模块设计
1.6 基于多Agent系统的车载AI Agent:组件功能
1.6 基于多Agent系统的车载AI Agent:组件特点(1)
1.6 基于多Agent系统的车载AI Agent:组件特点(2)
1.6 基于多Agent系统的车载AI Agent:组件特点(3)
1.6 基于多Agent系统的车载AI Agent:组件特点(4)
1.6 基于多Agent系统的车载AI Agent:组件特点(5)
1.6 基于多Agent系统的车载AI Agent:组件特点(6)
1.6 基于多Agent系统的车载AI Agent:组件特点(7)
1.6 基于多Agent系统的车载AI Agent:组件特点(8)
1.7 车载AI Agent参考架构(按功能模块与组件)
1.7 车载AI Agent参考架构(按部署层级)
1.8 Agent架构案例(1):蔚来(Nomi)架构原图
1.8 Agent架构案例(1):蔚来(Nomi)部署原图
1.8 Agent架构案例(1):蔚来(Nomi)模块设计
1.8 Agent架构案例(1):蔚来(Nomi)模块设计——多模态感知
1.8 Agent架构案例(1):蔚来(Nomi)模块设计——指令分发
1.8 Agent架构案例(1):蔚来(Nomi)模块设计——场景自定义创建流程
1.8 Agent架构案例(1):蔚来(Nomi)亮点(1)
1.8 Agent架构案例(1):蔚来(Nomi)亮点(2)
1.8 Agent架构案例(1):蔚来(Nomi)亮点(3)
1.8 Agent架构案例(2):理想(理想同学)架构原图
1.8 Agent架构案例(2):理想(理想同学)模块设计
1.8 Agent架构案例(2):理想(理想同学)配套设施—数据/训练平台
1.8 Agent架构案例(2):理想(理想同学)配套设施--推理引擎
1.8 Agent架构案例(3):小米(小爱同学)架构原图
1.8 Agent架构案例(3):小米(小爱同学)模块设计
1.8 Agent架构案例(4):极氪Agent模块设计
1.8 Agent架构案例(5):哪吒Agent架构部署原图
1.8 Agent架构案例(5):哪吒Agent模块设计
1.8 Agent架构案例(6):北汽Agent架构部署原图
1.8 Agent架构案例(6):北汽Agent模块设计
1.8 Agent架构案例(7):华为(Pangu Agent)模块设计
1.8 Agent架构案例(8):思必驰Agent架构部署原图
1.8 Agent架构案例(8):思必驰Agent模块设计
1.8 Agent架构案例(9):联想Agent架构部署原图
1.8 Agent架构案例(10):智谱Agent架构部署原图
1.8 Agent架构案例(10):智谱Agent模块设计
1.8 Agent架构案例(11):梧桐车联Agent架构部署原图
1.8 Agent架构案例(11):梧桐车联Agent模块设计
1.9 Agent架构设计流程:框架选型
1.9 Agent架构设计流程:工具调用方式
1.10 车载 AI Agent架构对比分析

2 车载AI Agent产品开发关键问题——用户痛点、技术难点
2.1 车载Agent场景分类:不同场景下的典型指令
2.1 车载Agent场景分类:案例(1)蔚来
2.1 车载Agent场景分类:案例(2)理想
2.1 车载Agent场景分类:案例(3)小米
2.2 车载Agent场景设计案例(1)问答场景
2.2 车载Agent场景设计案例(2)问答场景
2.2 车载Agent场景设计案例(3)出行场景
2.2 车载Agent场景设计案例(4)聊天场景
2.2 车载Agent场景设计案例(5)聊天场景
2.2 车载Agent场景设计案例(6)聊天场景
2.2 车载Agent场景设计案例(7)问答/办公场景
2.3 Agent不同使用场景下的用户痛点:总结
2.4 用户痛点分析(1):车控场景
2.4 用户痛点分析(2):出行场景
2.4 用户痛点分析(3):问答场景
2.4 用户痛点分析(4):娱乐场景
2.5 Agent技术难点
2.6 Agent技术案例:意图识别(案例1)
2.6 Agent技术案例:意图识别(案例2)
2.6 Agent技术案例:意图识别(案例3)
2.6 Agent技术案例:意图识别(案例4)
2.6 Agent技术案例:推理加速(案例1)
2.6 Agent技术案例:推理加速(案例2)
2.6 Agent技术案例:推理加速(案例3)
2.6 Agent技术案例:流式语音(案例1)
2.6 Agent技术案例:流式语音(案例2)
2.6 Agent技术案例:流式语音(案例3)
2.6 Agent技术案例:情感交互(案例1)
2.6 Agent技术案例:情感交互(案例2)
2.6 Agent技术案例:情感交互(案例3)
2.7 Agent技术趋势(1):实现主动智能的两个关键
2.7 Agent技术趋势(2):
2.7 Agent技术趋势(3):情感拟人的两种主流设计方式

3 OEM AI Agent投资、开发、运营研究
3.1 车载 AI Agent开发配套对比分析
3.2 各主机厂对车载 AI Agent的规划
3.3 车载 AI Agent的三种开发模式对比分析:优势/劣势
3.3 车载 AI Agent的三种开发模式对比分析:费用
3.4 主机厂AI Agent团队岗位设置
3.4 主机厂AI Agent团队岗位设置案例(1)
3.4 主机厂AI Agent团队岗位设置案例(2)
3.4 主机厂AI Agent团队岗位设置案例(3)
3.4 主机厂AI Agent团队岗位设置案例(4)
3.4 主机厂AI Agent团队岗位设置案例(5)
3.5 AI Agent开发周期与运营方式
3.6 AI Agent商业分析:主机厂盈利模式
3.6 AI Agent商业分析:供应商盈利模式
3.6 AI Agent商业分析:供应商收费标准
3.7 车载AI Agent商业开发趋势(1)
3.7 车载AI Agent商业开发趋势(2)

4 车载AI Agent供应商及供应关系研究
4.1 座舱基座大模型:模型配置一览
4.1 座舱基座大模型:选择参考因素
4.2 座舱基座大模型供应商(1)
4.2 座舱基座大模型供应商(2)
4.2 座舱基座大模型供应商(3)
4.2 座舱基座大模型供应商(4)
4.2 座舱基座大模型供应商(5)
4.2 座舱基座大模型供应商(6)
4.2 座舱基座大模型供应商(7)
4.2 座舱基座大模型供应商(8)
4.2 座舱基座大模型供应商(9)
4.2 座舱基座大模型供应商(10)
4.3 向量数据库供应商产业链
4.4 向量数据库产品对比:国内向量数据库
4.4 向量数据库产品对比:国外向量数据库
4.5 向量数据库供应商案例(1)
4.5 向量数据库供应商案例(2)
4.5 向量数据库供应商案例(3)
4.5 向量数据库供应商案例(4)
4.5 向量数据库供应商案例(5)
4.5 向量数据库供应商案例(6)
4.5 向量数据库供应商案例(7)
4.5 向量数据库供应商案例(8)
4.6 语音ASR模块供应商对比分析
4.7 ASR模块供应商分析案例(1)
4.7 ASR模块供应商分析案例(2)
4.7 ASR模块供应商分析案例(3)
4.7 ASR模块供应商分析案例(4)
4.7 ASR模块供应商分析案例(5)
4.7 ASR模块供应商分析案例(6)
4.7 ASR模块供应商分析案例(7)
4.7 ASR模块供应商分析案例(8)
4.7 ASR模块供应商分析案例(9)
4.8 座舱数据采集传感器:主流配置/数据采集相关规定
4.9 传感器数据处理案例(1)
4.9 传感器数据处理案例(2)
4.9 传感器数据处理案例(3)
4.9 传感器数据处理案例(4)

    如果这份报告不能满足您的要求,我们还可以为您定制报告,请留言说明您的详细需求。
2005- 版权所有(c)   北京水清木华研究中心   京ICP备05069564号-6 北京市公安局海淀分局备案号:1101081902
在线客服系统