《2024年AI大模型对整车智能化设计和开发的影响研究报告》中提到，AI Agent的核心是AI大模型(即LLM OS)，在AI服务框架中，LLM充当AI内核，Agent充当AI APP，借助AI大模型的推理能力与生成能力，Agent能够创建更多的座舱场景，同时进一步完善座舱内现行的多模态交互、语音处理等技术。
基于LLM的AI Agent服务框架
图片来源：Rutgers University
与传统的OS系统相比，AI OS采用自然语言进行编程，更适合人类操作，便于定制与个性化人机交互;其中，Agent以自然语言响应用户提示或指令，并且能够根据其与物理或数字环境的交互执行大量任务。
AI OS系统与传统OS系统各组成部分的对应关系
整理：佐思汽研
大模型催生Agent定制化场景
AI大模型上车以来，广泛用于多模态交互场景，主机厂也多以语音助手为突破口，进一步提升座舱对用户指令处理的智能化：
·大模型上车前，座舱内语音助手的唤醒率与有效指令处于较低的水平;
·大模型上车后，不仅语音识别更加智能化，表情监控和手势控制应用水平同样得到提升，有效指令与日活率均大幅增加。
AI大模型通过较强的上下文处理和推理能力，进一步提升了智能座舱的用户体验，可参考如下对话：
(出行场景)
·**同学!
·我在!
·前面好像是大草原，帮我拍个照吧!
·稍等片刻，我将为您捕捉大草原的美景。拍照完成后，我会通知您。请问您还有其他需要我帮忙的吗?
·立刻发到朋友圈吧，我要让我的朋友们都看一看这份美景。
·好的，根据您授权的账号，请您选择素材与滤镜风格。
·就这款吧，再配一段文案。
·好的，已为您生成3份文案，您看需要哪一份呢?
·就这一份吧。
(进入办公场景，收到打来电话)
·手机收到来电，我已经为您流转到车机系统上，号码来源备注是客户。是否接听?
·接听吧，打开办公模式。
·好的，将为您生成客户的虚拟形象，并开始对话。请问您有什么问题或者需要讨论的内容吗?我会记录下我们的对话，并在结束后为您提供会议纪要。
(虚拟形象生成完毕)
·现在您可以开始对话了。
以上场景在大模型上车之前等同于空谈，而在2024年已经被部分主机厂复刻进座舱。
以智己L6为例，通过构建Carlog与City Drive场景，支持AI大模型主动推荐美食景点并一键打卡：
·Carlog：通过AI视觉大模型主动感知在行车过程中的场景，调动四路摄像头进行拍照，自动保存与剪辑，并支持一键转发朋友圈。
·City Drive：与火山引擎合作，在数字屏内实时建模附近的美食、景点、地标，并根据用户习惯和喜好进行个性化推送。
智己Carlog模式
大模型会自主剪辑窗外风景并进行存储
图片来源：智己汽车
大模型在多种场景中的适用性，催生了用户对于统一管理座舱功能的智能体的需求;2024年，蔚来、理想、合众汽车等主机厂相继推出Agent框架，以语音助手为切入点，用来管理座舱内的功能应用。
Agent服务框架的推出，在统一管理座舱功能的同时，还能依据客户需求与喜好，提供更为丰富的场景模式，尤其是支持用户定制化场景，加速了座舱个性化时代的到来。
部分AI Agent应用场景
整理：佐思汽研
以蔚来的NOMI GPT为例，支持用户一句话实现设定 AI 场景：蔚来“AI场景”生成功能案例
蔚来“AI场景”生成功能案例
图片来源：蔚来
座舱Agent的核心能力
大模型时代的AI Agent以LLM为核心，其通过强大的推理性拓展AI Agent的适用性场景;而AI Agent通过运行过程中获得的反馈可以反向提升大模型的思考能力。在座舱中，Agent的能力范式可大致分为“认知(Understanding)”+“规划(Planning)”+“工具使用(Tool Use)”+“反思(Reflection)”。
座舱Agent能力范式
来源：佐思汽研
在Agent上车初期，认知和规划能力较为重要，对任务意图的理解与实现路径的选择直接决定了执行结果的精准度，进而影响Agent的场景使用率。
以小米的语音交互流程为例，语义理解是整个车载语音处理流程的难点，小爱同学则通过语义解析模型处理语义解析问题。
小爱同学接收语音指令的处理过程
小爱同学接收语音指令的认知-规划过程
来源：小米；整理：佐思汽研
在Agent量产后，支持用户定制场景模式的个性化座舱成为亮点，反思(Reflection)成为该阶段最重要的核心能力，需要构建不断学习优化的Agentic Workflow。
以理想汽车为例，理想同学支持一句话场景创建，背后是Mind GPT自带的记忆网络功能与在线强化学习能力，Mind GPT可以基于历史对话记住个性化偏好和习惯，在相似的场景重现时，能够通过历史数据自动设置场景参数，以贴合用户的原始意图。
能够反思优化的Agent采用Agentic Workflow设计
图片来源：Angus Wu
AI OS架构设置层面，以上汽零束为例：
零束在内核层接入LLM内核(即LLM OS)，该LLM内核与原微内核分别控制AI OS SDK和ASF接口，其中AI OS SDK接收LLM的调度去推动应用层的Agent服务框架。零束AI OS架构实现了AI与CPU的高度融合，通过SOA原子服务，AI再接入整车传感器、执行器与控制器。该架构是以端云一体大模型为核心的架构，能够增强端侧大模型的运算能力，降低运行的延迟性。
上汽零束AI OS架构
来源：零束
座舱AI Agent的落地痛点
Agent对接用户并执行命令，落地的过程中，除面临大模型上车的技术痛点，还面临场景痛点;在接收指令-语义分析-意图推理-任务执行的过程中，执行结果的精准度、人机交互的延迟程度，均直接影响用户的驾乘体验。
Agent在座舱落地的部分痛点
整理：佐思汽研
交互的人性化
以“情感顾问”场景为例，需要Agent与车主进行情感上的共鸣，并进行拟人化，一般AI Agent的拟人化有三种形式：物理拟人、人格拟人及情感拟人。
AI Agent的三种拟人化方式
整理：佐思汽研
参考蔚来的NOMI GPT，采用了“人格拟人”与“情感拟人”两种方式：
来源：蔚来；整理：佐思汽研
大模型性能
在“百科问答”场景，经过语义解析、资料库搜索、答案生成等处理过程后，Agent可能会因为LLM出现“大模型幻觉”问题，无法精准回答用户问题，尤其是面对开放性的问题。
现行解决方案包括高级Prompting、RAG+知识图谱、ReAct、CoT/ToT等方式，尚不能完全消除“大模型幻觉”;在座舱内则较多应用外部资料库、RAG、自我一致性等方法降低“大模型幻觉”出现的频率。
部分大模型厂商针对以上解决方法做出改进，如Meta提出通过链式验证Chain-of-Verification(CoVe)降低“大模型幻觉”的方法，该方法通过将事实核查分解为更细分的子问题，提高响应准确性，并与人类驱动的事实核查过程保持一致，在长表生成任务中能够有效提升FACTSCORE指标。
CoVe包含生成基准响应、计划验证、执行验证和生成最终响应4个步骤
图片来源：Meta
1 座舱AI Agent简介
1.1 AI Agent发展现状
1.1.1 什么是AI Agent
1.1.2 AI Agent的分类
1.1.3 AI Agent的四项能力
1.1.4 AI Agent的三种协同模式
1.1.5 AI AGENT应用场景
1.1.6 Agent工作流程Agentic Workflow
1.2 座舱AI Agent
1.2.1 座舱AI Agent分类
1.2.2 座舱AI Agent演化方向：认知驱动
1.2.3 AI Agent在座舱落地的流程：从大模型到AIOS
1.2.3 AI Agent在座舱落地的流程：两种途径
1.2.4 座舱AI Agent交互机制
1.2.5 座舱AI Agent的四项能力范式
1.2.6 AI Agent的演化方向：主动交互
1.2.6 AI Agent的演化方向：反思优化
1.3 座舱Agent应用场景
1.3.1 应用场景分类：按交互方式
1.3.2 应用场景分类：按大模型类型
1.3.3 应用场景分类：按功能类型
1.4 座舱Agent应用现状
1.4.1 应用现状（1）：多模态交互催生Agent落地
1.4.2 应用现状（2）：场景创建成为Agent进化的重要途径
1.4.3 应用现状（3）：
1.4.4 应用现状（4）：
1.4.5 应用现状（5）：过渡方案
2 AI Agent技术实现路径
2.1 AI OS架构
2.1.1 AI OS架构设计
2.1.2 AI OS组件的8项功能
2.1.3 AI OS优化技术（1）：MemGPT优化上下文扩展流程
2.1.3 AI OS优化技术（2）：
2.1.4 AI OS核心：LLM的关键能力
2.1.5 AI OS组件核心功能（1）：
2.1.5 AI OS组件核心功能（2）：
2.1.5 AI OS组件核心功能（3）：
2.1.6 AI OS设计案例：上汽零束的AI服务架构
2.1.6 AI OS设计案例：魅族Flyme AI OS可流转于车机
2.2 AI视觉大模型的相关技术
2.2.1 常用AI技术在汽车中的优势与不足
2.2.2 舱内监测的AI模型构建
2.2.3 舱内监测的AI应用案例（1）
2.2.3 舱内监测的AI应用案例（2）
2.3 近一年座舱大模型应用技术
2.3.1 座舱大模型技术一览
2.3.2 百度：情感座舱调节的5个步骤
2.3.3 吉利：端侧大模型部署技术
2.3.4 零跑：知识图谱优化应对问答场景
2.3.5 矿业大学：视觉大模型+适应性调节
2.4 AI在座舱中的应用趋势
2.4.1 趋势一：
2.4.2 趋势二：
2.4.3 趋势三：
2.4.4 趋势四：
2.4.5 趋势五：
2.5 座舱Agent解决方案
2.5.1 Agent上车痛点
2.5.2 解决方案（1）：RAG提升语音助手的智能问答能力
2.5.3 解决方案（2）：
2.5.4 解决方案（3）：零信任架构&机密计算守护云端数据安全
2.5.5 解决方案（4）：
2.5.6 解决方案（5）：工作记忆和脑科学成为促进AI Agent演进的路径之一
2.5.7 解决方案（6）：
2.5.8 解决方案（7）：情感座舱的拟人化方式
2.5.8 解决方案（7）：蔚来NomiGPT情感拟人案例
2.5.8 解决方案（7）：
2.5.8 解决方案（7）：数字人增强Agent情感适用性
3 供应商座舱AI Agent应用分析
各供应商座舱Agent功能一览
3.1 中科创达
3.1.1 中科创达大模型布局
3.1.2 中科创达滴水OS与魔方大模型融合
3.1.3 滴水OS中的AI框架设计
3.2 华为
3.2.1 华为的AI应用规划
3.2.2 华为HarmonySpace智能座舱的功能构建
3.2.3 华为Harmony OS的AI功能
3.2.4 华为Harmony OS“可见即可说”的两种实现方式
3.3 阿里云
3.3.1 阿里端侧大模型与云计算结合
3.3.2 千问端侧大模型在车机上的功能应用
3.3.3 千问端侧大模型搭载于一汽车机
3.4 腾讯
3.4.1 腾讯混元大模型在座舱的功能一览
3.5 百度
3.5.1 百度智舱大模型2.0搭载文心一言
3.5.2 百度端侧大模型搭载于极越
3.6 科大讯飞
3.6.1 科大讯飞星火大模型功能一览
3.6.2 科大讯飞星火大模发展历程型
3.6.3 科大讯飞星火座舱如何融入AI服务
3.6.4 科大讯飞星火座舱端侧部署方式
3.6.5 星火大模型在手车互联的应用
3.6.6 星火大模型的应用技术
3.7 思必驰
3.7.1 思必驰AI语音技术发展历程
3.7.2 思必驰DFM大模型迭代至3.0
3.7.3 思必驰DFM大模型“1+N”布局
3.7.4 思必驰融合大模型解决方案
3.8 联想
3.8.1 联想：AI Agent架构的6个特点
3.8.2 联想：智能体“三化特性”加速座舱部署
3.8.3 联想：AI 车计算框架同时适用于智驾与座舱
3.8.4 联想：万象座舱AI平台支持三类功能
3.8.5 联想：端侧应用的核心能力
3.9 上汽零束
3.9.1 上汽零束的AI服务架构按照4个层级构建
3.9.2 上汽零束：AI对硬件层的改变
3.9.3 上汽零束：AI对软件层的改变
3.9.4 上汽零束：AI对云端/车端部署的改变
3.10 智谱AI
3.10.1 智谱基于AI大模型的座舱设计架构
3.10.2 智谱AI大模型的场景设计
3.10.3 智谱AI大模型针对座舱交互痛点的设计
3.11 微软
3.11.1 微软座舱语音方案
3.11.2 微软通过集成私域企业知识，提升座舱性能
3.12 梧桐车联
3.12.1 梧桐车联：AI大模型赋能座舱的三个层级
3.12.2 梧桐车联：对智能座舱的规划的四个阶段
3.12.3 梧桐车联：AI座舱架构设计
3.12.4 梧桐车联：AI大模型服务形态
3.12.5 梧桐车联：AI大模型应用场景
3.12.6 梧桐车联TTI OS与数字人结合
3.13 德赛西威座舱大模型的4个主要应用场景
3.14 瑞芯微将AI音场技术用于座舱
3.15 NNG将AI应用于导航技术
4 主机厂座舱AI Agent应用分析
4.1 主机厂座舱Agent应用现状
4.1.1 各主机厂座舱Agent功能一览
4.1.2 各主机厂座舱Agent场景一览
4.1.3 汽车行业已备案大模型一览
4.2 蔚来
4.2.1 蔚来NOMI GPT支持端侧部署
4.2.2 蔚来NOMI GPT采用模态内外多维度对比学习技术
4.2.3 蔚来NOMI GPT的6种场景案例
4.3 小鹏
4.3.1 小鹏AI天玑系统的三个应用场景
4.4 理想
4.4.1 理想同学：构建多重场景
4.4.2 理想Mind GPT：作为大模型核心构建AI Agent
4.4.3 理想Mind GPT：多模态感知
4.4.4 理想大模型训练平台采用4D并行方式
4.4.5 与英伟达合作落地推理引擎
4.4.6 理想Mind GPT ：L9 Ultra通过AI大模型A级认证
4.5 小米
4.5.1 小米：小爱同学通过语音指令进行场景覆盖
4.5.2 小米：语音任务解析与执行流程
4.5.3 小米：小爱同学通过RAG精准匹配
4.5.4 小米AI服务框架在操作系统中的部署位置
4.5.5 作为小米AI核心的两类大模型
4.5.6 小米AI智慧中心的本质
4.6 北汽
4.6.1 北汽大模型发展的3个阶段
4.6.2 北汽大模型特定场景（1）：定制场景功能
4.6.2 北汽大模型特定场景（2）：情感模式+数字人
4.6.3 北汽智能体平台架构：百模汇创
4.6.4 北汽对大模型产品的规划思路
4.7 合众新能源
4.7.1 合众AI座舱功能应用现状
4.7.2 合众针对新型人机交互方式的座舱设计理念
4.7.3 哪吒AI大模型的座舱应用
4.8 东风
4.8.1 东风基于AI大模型的座舱架构
4.8.2 东风AI大模型的应用类型
4.8.3 东风AI大模型在座舱的主要场景及设计路径
4.8.4 东风视觉AI大模型在座舱的应用
4.8.5 东风AI大模型在座舱内/外的工作流程：“四步”范式
4.8.6 东风AI座舱的下一步规划
4.9 江淮
4.9.1 江淮AI座舱的4项应用
4.9.2 江淮AI大模型来源与上车案例
4.10 长安
4.10.1 长安将AI融入SOA架构层
4.10.2 长安对“数智”座舱的规划
4.10.3 长安AI成果与战略重点
4.10.4 长安实现座舱场景与功能的自动切换
4.11 大众：通过GPTs向Agent演进
4.12 奔驰：借助MBUX虚拟助理实现个性化服务
4.13 广汽AI大模型的座舱应用
4.14 长城大模型的座舱应用
4.15 奇瑞自研LION AI+科大讯飞星火大模型双管齐下
4.16 吉利
4.16.1 吉利大模型座舱应用的两种形式
4.16.2 吉利星睿大模型上车案例
4.17 智己AI大模型构建主动感知场景