发布《2023年中国汽车多模态交互发展研究报告》，主要梳理了主流座舱交互方式、2023年上市的重点车型交互方式应用、供应商座舱交互方案，以及多模交互融合趋势。
通过梳理最近一年新上市车型的交互方式和功能来看，主动式、拟人化、自然化交互成为主要方向。从交互方式来看：单一模态交互，如触觉、语音等主流交互的控制范围从车内拓展至车外，指纹、肌电等新型交互方式的上车案例开始增多；多模态融合交互下，语音+头姿/人脸/唇语、面部+情绪/嗅觉等多种融合交互不断上车，旨在打造更加主动、自然的人车交互。
单一模态的纵深发展
▪触觉交互方面：座舱大屏化、多屏化趋势加剧，同时智能表面材料在舱内的扩展应用，让触觉感知范围向车门、车窗、座椅等部件扩展，并逐步引入触觉反馈技术；
▪语音交互方面：语音交互在AI大模型的赋能下，功能愈加智能化、情感化。唇动识别、声纹识别等技术的上车，使语音交互精准度得到进一步提升，控制范围也从车内拓展至车外；
▪视觉交互方面：基于视觉技术的面部/手势识别范围开始逐渐向肢体识别扩展，包括头部姿势、手臂动作，以及身体行为等；
▪嗅觉交互方面：原主要用于净化空气、祛除异味的嗅觉交互功能，现今可实现座舱杀菌消毒、并支持香氛系统与座舱场景/季节时令联动。
案例1 语音控车实现车内向车外延伸
代表车型：长安启源A07、极越01
代表功能：车外语音开启车门、车窗、辅助泊车等
▪长安启源A07采用科大讯飞最新XTTS 4.0 技术，车载语音助手声音更加自然拟人化，具备高兴、抱歉、疑惑等多情感表达。支持向车外喊话（内容可自定义）；此外，还可在车外通过语音实现对后备箱、车窗、音乐、空调、出库/泊车等功能的控制。
▪极越01搭载“SIMO”语音助手，支持全域全离线语音，无网弱网也可全程在线语音交互；可实现500毫秒识别，700毫秒内响应。在车外，驾乘人员可通过声纹识别技术实现语音操作空调、音响、灯光、车窗、车门、后尾门、充电盖的开启/关闭等功能，以及支持车外语音泊车。
图片来源：极越
案例2 声纹识别扩大应用
代表车型：理想L7、合创A06/V09
代表功能：识别驾乘人员身份，提供针对性服务
▪理想L系列车型均支持声纹识别功能。在乘客声纹注册后，“理想同学”可分辨乘客是谁，叫出不同乘客指定的昵称，并结合声纹记忆对不同乘客位置执行车控。
▪合创A06/V09的声纹识别VOICE ID，能清楚识别有效用户身份以及指令，并将成为HYCAN ID的入口，为用户接入丰富智慧生态，使用100+款娱乐应用。另外基于声纹识别技术，系统将主动屏蔽其他干扰声音，提高主驾识别精准度。
图片来源：合创汽车
案例3 肌电交互实现车载商业化落地
代表车型：岚图追光
代表功能：车内外隔空微手势控车
▪2023年4月，岚图追光与柔灵科技推出肌电交互融合方案。该方案主要通过肌电手环实现。手环内部安装多通道肌电传感器和高精度的放大器，可以实时采集丰富的肌肉电信号并生成算法，传导计算终端，从而生成个性化的AI手势模型，之后再和岚图的车载平台整合。使用者将手环与车内蓝牙连接，即可实现以微手势控制车辆，包括开关后备箱、升降车窗等60+种手势动作。此外，手环还可以和车内游戏系统无缝连接。借助肌电手环的手势识别，用户可以更自然、直观地操控游戏角色，如地铁跑酷等。
图片来源：岚图
图片来源：柔灵科技
多模态融合，打造主动交互
目前车企已实现的多模态融合包括但不限于语音+唇动识别、语音+面部识别、语音+手势识别、语音+头姿、面部+情绪识别、面部+眼球追踪、香氛+面部+语音识别等。其中语音多模态交互方式为当下主流，应用车型包括上文提到的长安启源A07、极越01、理想L7、合创A06/V09等车型。
多模态融合代表功能（仅列举部分）
来源：佐思汽研《2023年中国汽车多模态交互发展研究报告》
案例1 语音+头姿交互：魏牌蓝山DHT PHEV将语音和头姿进行结合，交互方式简单直观
▪当驾驶员进行语音对话时，蓝山座舱利用车载摄像头捕捉驾驶员的头部动作，通过点头/摇头进行确定/否定答复。例如语音控制导航时，可通过点头/摇头选择路线规划方案。
图片来源：汽车之家
案例2 面部+情绪识别：睿蓝7、极狐考拉等车型在面部识别功能上融入情绪识别技术，提供主动交互，增强交互体验
▪睿蓝7的多模智识Face-ID系统支持唇动识别、情绪识别，能记忆关联账户对应语音、座椅、后视镜、氛围灯、后备箱设置等车辆功能个性化信息，还可根据车主的“脸色”来选择合适的音乐。
▪极狐考拉位于B柱的摄像头正对后排，可实时监控孩子状态。例如孩子在微笑时将自动抓拍传送至中控屏；哭闹时将自动播放安抚音乐/智能座椅表面呼吸律动，平复孩子情绪。另外，摄像头还可与车内毫米波雷达联动，判断孩子是否睡着，睡着则自动打开睡眠模式，开启座椅通风，空调温度适当调整，音响、氛围灯进行联动，产生律动效果。
图片来源：极狐考拉
案例3 面部+嗅觉：蔚来EC7、睿蓝7等车型实将驾驶员监控系统与香氛系统联动，提升驾车安全性
▪蔚来EC7监测到驾驶员的疲劳状态时，将自动释放提神醒脑的香氛，以确保驾驶安全；
▪睿蓝7位于A柱的摄像头监控到驾驶员犯困时，将自动释放提神香氛，并进行语音提醒。
大模型及多模态融合，将推进AI Agent上车
AI大模型正从单模态走向多模态、多任务融合的趋势。相较于单模态只能处理一种类型的数据，例如文本、图像、语音等，多模态则可以处理和理解多种类型的数据，包括视觉、听觉、语言等，从而能够更好地理解和生成复杂的信息。
随着多模态大模型的持续发展，其能力也将得到显著提升。这种提升赋予AI Agent（人工智能体）更强大的感知和环境理解能力，以实现更智能、自主的决策和行动。同时也为汽车领域的应用开拓了新的可能性，为未来的智能化发展提供了更广阔的前景。
图片来源：红杉资本
▪科大讯飞基于星火大模型开发的星火座舱OS，支持语音、手势、人眼追踪、DMS/OMS等多种交互模态，星火汽车助理通过深度上下文理解实现多意图识别，提供更加自然的人机交互。讯飞星火大模型首搭车型星途星纪元ES，将带来五大全新的体验：车辆功能导师、冷暖共情伙伴、知识百科全书、旅行规划专家、身体健康顾问。
来源：科大讯飞
▪将于2023年12月上市的AITO问界M9内置HarmonyOS 4车机系统。鸿蒙4中智慧助手小艺已经接入了盘古大模型。华为盘古大模型，包括自然语言大模型、视觉大模型、多模态大模型等。鸿蒙4+小艺+盘古大模型，设备协同、AI场景等生态能力将再度增强，借助多模态交互技术，提供多样化的交互方式，包括语音识别、手势控制、触摸屏操作等。
图片来源：华为
01 多模态交互概述
1.1 多模态交互定义
1.2 多模态交互产业链
1.2.1 多模态交互产业链-芯片商
1.2.2 多模态交互产业链-算法商
1.2.3 多模态交互产业链-系统集成商
1.3 多模态融合算法
1.3.1 语音算法
1.3.2 视觉算法
1.4 多模态交互政策环境
1.4.1 政策监管环境
1.4.2 多模态交互法律法规
1.4.3 主机厂舱内信息安全策略
02 基于触觉的人机交互
2.1 触觉交互发展路线
2.2 主机厂触控交互亮点功能
2.3 座舱显示趋势
2.4 智能表面材料发展趋势
2.5 触控反馈机制
03 基于听觉的人机交互
3.1 语音功能发展路线
3.2 主机厂语音功能盘点
3.3 主机厂语音功能OTA内容盘点
3.4 语音交互形象发展趋势
3.5 声纹识别车型应用
3.6 语音功能定制化趋势
3.7 语音功能主要供应商
3.8 主机厂语音功能开发模式
04 基于视觉的人机交互
4.1 人脸识别
4.1.1 人脸识别功能发展路线
4.1.2 人脸识别车型应用
4.1.3 人脸识别供应商汇总
4.2 手势识别
4.2.1 手势识别功能发展路线
4.2.2 手势识别车型应用
4.2.3 手势识别供应商汇总
4.3 唇动识别
4.3.1 唇动识别功能发展路线
4.3.2 唇动识别车型应用
4.3.3 唇动识别供应商汇总
4.4 其他视觉交互
4.4.1 AR/VR交互功能发展路线
4.4.2 AR/VR交互车型应用
4.4.3 AR/VR交互供应商汇总
05 基于嗅觉的人机交互
5.1 嗅觉交互功能发展路线
5.2 智能香氛系统原理
5.3 香氛系统技术
5.4 嗅觉交互车型应用
5.5 主机厂香氛系统技术汇总
5.6 嗅觉交互设计趋势
5.7 嗅觉交互供应商汇总
06 基于生物识别的人机交互
6.1 指纹识别
6.1.1 指纹识别功能发展路线
6.1.2 指纹识别车型应用
6.1.3 指纹识别供应商汇总
6.2 虹膜识别
6.2.1 虹膜识别功能发展路线
6.2.2 虹膜识别车型应用
6.2.3 虹膜识别AR/VR应用
6.2.4 虹膜识别供应商汇总
6.3 肌电识别
6.3.1 肌电识别功能发展路线
6.3.2 肌电识别车型应用
6.3.3 肌电识别设备介绍
6.3.4 肌电识别供应商汇总
6.4 静脉识别
6.4.1 静脉识别功能发展路线
6.4.2 静脉识别车型应用
6.4.3 静脉识别供应商汇总
6.5 心率识别
6.5.1 心率识别功能发展路线
6.5.2 心率识别技术
6.5.3 心率识别车型应用
07 主机厂多模态交互的应用
7.1 新势力
7.1.1 小鹏G6的多模态交互
7.1.2 理想L7的多模态交互
7.1.3 蔚来EC7的多模态交互
7.1.4 哪吒GT的多模态交互
7.1.5 高合HiPhi Y的多模态交互
7.1.6 合创A06的多模态交互
7.1.7 合创V09的多模态交互
7.1.8 问界新M7的多模态交互
7.1.9 问界M9的多模态交互
7.2 传统自主
7.2.1 奇瑞凯翼昆仑的多模态交互
7.2.2 魏牌蓝山DHT PHEV的多模态交互
7.2.3 昊铂Hyper GT的多模态交互
7.2.4 传祺E9的多模态交互
7.2.5 岚图追光的多模态交互
7.2.6 腾势N7的多模态交互
7.2.7 护卫舰07的多模态交互
7.2.8 长安启源A07的多模态交互
7.2.9 极越01的多模态交互
7.2.10 极狐考拉的多模态交互
7.2.11 深蓝S7的多模态交互
7.2.12 银河L6的多模态交互
7.2.13 领克08的多模态交互
7.2.14 睿蓝7的多模态交互
7.2.15 极氪X的多模态交互
7.2.16 极氪009的多模态交互
7.2.17 智己LS7的多模态交互
7.2.18 几何G6的多模态交互
7.3 传统合资
7.3.1 奔驰EQS AMG的多模态交互
7.3.2 广汽丰田铂智4X的多模态交互
7.3.3 一汽丰田bZ3的多模态交互
7.3.4 别克Electra E5的多模态交互
7.3.5 广汽本田第11代雅阁的多模态交互
7.3.6 一汽奥迪e-tron GT的多模态交互
7.3.7 BMW XM的多模态交互
7.4 概念车
7.4.1 奥迪A6 Avant e-tron的多模态交互
7.4.2 宝马 i Vision Dee的多模态交互
7.4.3 RAM 1500 Revolution的多模态交互
7.4.4 标致Inception的多模态交互
7.4.5 延锋XiM23s的多模态交互
08 供应商多模态交互方案
8.1 安波福
8.1.1 安波福公司简介
8.1.2 安波福智能座舱平台
8.2 Cipia Vision
8.2.1 Cipia Vision公司简介
8.2.2 Cipia Vision多模态交互方案
8.3 Cerence
8.3.1 Cerence公司简介
8.3.2 Cerence座舱交互方案
8.3.3 Cerence多模态交互方案
8.3.4 Cerence产品发展路线
8.4 大陆集团
8.4.1 大陆集团公司简介
8.4.2 大陆集团多模态产品布局
8.5 科大讯飞
8.5.1 科大讯飞公司简介
8.5.2 科大讯飞星火模型+智能座舱
8.5.3 科大讯飞多模交互方案
8.5.4 多模态交互成为讯飞超脑2030计划重点方向
8.6 商汤科技
8.6.1 商汤科技公司简介
8.6.2 商汤绝影智能座舱
8.6.3 商汤绝影大模型赋能座舱
8.6.4 商汤绝影智能汽车解决方案
8.7 华阳通用
8.7.1 华阳通用公司简介
8.7.2 华阳智能座舱产品布局
8.7.3 华阳多模态交互系统
8.8 德赛西威
8.8.1 德赛西威公司简介
8.8.2 德赛西威智能座舱解决方案
8.9 虹软科技
8.9.1 虹软科技公司简介
8.9.2 虹软科技舱内监控方案
8.9.3 虹软科技核心技术
8.10 思必驰
8.10.1 思必驰公司简介
8.10.2 思必驰车载软硬一体化产品
8.10.3 思必驰车联网方案
8.10.4 思必驰多模态交互方案
8.10.5 思必驰语言大模型
8.11 地平线
8.11.1 地平线公司简介
8.11.2 地平线多模态交互方案
8.11.3 地平线多模交互核心算法
8.11.4 地平线车载操作系统TogetherOS
8.11.5 地平线产品开发模式及商业模式
8.12 中科创达
8.12.1 中科创达公司简介
8.12.2 中科创达智能座舱解决方案
8.12.3 中科创达大模型赋能座舱
8.12.4 中科创达整车操作系统
8.13 博泰
8.13.1 博泰公司简介
8.13.2 博泰智能座舱解决方案
8.13.3 博泰智能座舱方案应用
8.14 均胜电子
8.14.1 均胜电子公司简介
8.14.2 均胜电子智能座舱布局
8.14.3 均胜电子多模态交互布局
8.15 华为
8.15.1 华为公司简介
8.15.2 华为智能座舱解决方案
8.15.3 华为鸿蒙车机系统
8.16 百度
8.16.1 百度公司简介
8.16.2 百度智能座舱方案
8.16.3 百度多模态交互方案
8.16.4 百度智舱+文心大模型
8.17 腾讯
8.17.1 腾讯公司简介
8.17.2 腾讯智能座舱解决方案
8.17.3 腾讯车载语音交互
8.18 斑马网络
8.18.1 斑马网络公司简介
8.18.2 斑马智能座舱解决方案
8.18.3 斑马智能座舱交互能力
8.19 佑驾创新
8.19.1 佑驾创新公司简介
8.19.2 佑驾创新智能座舱方案
8.20 海康威视
8.20.1 海康威视公司简介
8.20.2 海康威视智能座舱解决方案
8.20.3 海康威视车载智能监控系统
09 多模态交互总结及趋势
9.1 多模态交互融合趋势
9.1.1 智能座舱交互体系发展
9.1.2 单模态感知发展趋势-触觉
9.1.3 单模态感知发展趋势-听觉
9.1.4 单模态感知发展趋势-视觉
9.1.5 单模态感知发展趋势-嗅觉
9.1.6 多模态交互融合趋势
9.1.7 多模态交互发展路线图
9.2 多模态交互对座舱算力的需求
9.3 多模态交互对AI大模型的需求
9.4 多模态交互与座舱硬件的融合
9.4.1 多模态识别与硬件交互—车外大灯
9.4.2 多模态识别与硬件交互—氛围灯
9.4.3 多模态识别与硬件交互—AR/VR
9.5 代表车型多模态交互特征总结