一、在“第三空间”概念指引下，多模态交互正深度应用于智能座舱，主要呈现五大特征

　　1、触控交互在大屏化、多屏化、智能表面材料趋势下，应用范围逐渐扩大

　　• 中控大屏化，使触控成为主流交互方式。例如奔驰EQS、小鹏P7等，中控台上几乎没有物理按键，全靠触控完成;

　　• 座舱多屏化，使触控的控制范围从前排移到后排，从中控/副驾信息娱乐扩展到车门、车窗、座椅等部件。例如理想L9取消传统仪表盘，取而代之的是在方向盘上方加入一个小尺寸TouchBar触控面板;此外其还搭载了副驾屏、后排影音屏，实现五屏交互。

　　2、语音交互从被动式向主动式演进，个性化、情感化诉求将被满足

　　• 可见即可说、连续对话、音源定位、免唤醒等语音技术已在2022年上市新车上广泛搭载，语音交互方式更加趋向自然;

　　• 打造个性化体验是目前语音功能重点，蔚小理等智能化EV品牌主要从声音自定义、形象自定义、技能自定义等方面入手进行优化;

　　• 未来，情感式陪伴和电子宠物概念有望借助语音功能实现。

　　3、面部识别算法推动DMS、OMS、IMS大规模上车

　　• 基于面部识别的ID登录、用户习惯预设已在蔚来ET7/ET5、小鹏P7/G9、问界M5/M7、哪吒S、岚图梦想家等车型实现。其中问界可通过面部识别自动登录华为账号，联动日程安排、导航信息、通话记录、音乐视频会员权益、三方应用数据、自动切换驾驶信息，实现信息流转;

　　• 人脸支付功能应用尚比较少，丰田凌放已在高配版搭载，小鹏P7将通过OTA升级实现;

　　• 基于面部识别的DMS、OMS、IMS正大规模上车，将推动舱内摄像头搭载。

　　4、手势识别功能单一，作为补充交互模式上车

　　• 现阶段手势识别仍主要应用于多媒体切换、音量控制、接电话、灯光控制等，功能比较单一，主要作为补充交互模态上车;

　　• 未来，手势识别有望与ADAS功能结合，基于车外视觉感知，实现车辆召唤、启动、泊车等功能。

　　5、指纹、虹膜、静脉、心率等生物识别在车内的应用仍处于探索阶段

　　• 指纹有望在用户ID记录、车内支付场景下实现应用;

　　• 虹膜/眼球追踪将增强DMS等舱内监控的精度，未来在意图预测、主动推荐方面具有想象空间;

　　• 静脉/心率等，则将在车载健康概念下实现应用。

中国汽车多模态交互发展路线

来源：佐思汽研《2022年中国汽车多模态交互发展研究报告》

　　二、多模态识别与大屏&多屏、AR-HUD、AR/VR、氛围灯、高品质音响等硬件交互提升，沉浸式座舱体验不断增强

　　1、理想L9，通过五屏、语音、手势，打造多模态交互体验

　　理想L9交互特点：

　　• 取消传统仪表屏，采用HUD+安全驾驶交互屏进行替代;

　　• 通过15.7英寸中控屏+15.7英寸副驾屏+HUD+安全驾驶交互屏+15.7英寸后排娱乐屏，车载屏幕3K高清分辨率和高色彩还原度，提升视听体验;

　　• 6音区识别交互(思必驰)+自研语音引擎(合作微软)+3D ToF 传感器(手势交互、座舱监测)，实现多模态交互;

　　• 语音+手势融合，如手指遮阳帘，语音“打开这个”，即打开遮阳帘;

　　• 通过Type-C连接任天堂Switch游戏机，后排娱乐屏可打造座舱游戏场景;

　　• 两颗高通骁龙 8155 芯片、24GB内存+256G高速存储、双5G运营商的切换，提供算力及网络支持。

　　2、蔚来、理想、奥迪等率先实现AR/VR眼镜上车，实现沉浸式座舱体验

　　蔚来AR 眼镜与NREAL 联合开发，可投射出视距 6 米、等效 201 英寸的屏幕(选装价2299)，VR 眼镜与 NOLO 合作研发，搭载超薄 Pancake 光学镜片，可实现双目 4K 显示。

　　理想AR眼镜由TCL旗下雷鸟科技提供，产品于2022年8月起上线理想商城。雷鸟Air采用偏振Birdbath+MicroOLED技术方案，与理想L9的后排影音系统直连，将眼镜镜腿处的数据线接入理想后排DP插口，可为用户提供140英寸巨幕(4米距离)的观感。

　　奥迪VR眼镜将于2023年率先在美国上线，硬件由HTC支持，集成于Holoride Pioneers’Pack车载娱乐系统，用于游戏、影音场景。

　　三、芯片、算法、系统集成商共同发力，打造以多模态交互为基础的主动式座舱交互

　　1、以地平线为代表的芯片企业，将多模态交互融入到智能驾驶整体方案中

　　地平线基于征程2、征程3打造的座舱方案Horizon Halo，可融合视觉、语音等多种传感器数据实现主动交互。其中Halo 3.0 可为前后排用户，提供包括DMS、人脸检测、行为检测、手势识别、儿童行为检测、多模语音交互等功能在内的整套AI解决方案。

　　2、科大讯飞、Cerence等以语音切入，商汤科技、虹软科技等以视觉切入，实现优势模态与其他模态融合，打造整体座舱方案

　　科大讯飞基于“听、说、看、显”全链路技术构建多模态体系，实现车辆可在上车-行驶-下车的整个用车周期中，对语音、图像、活体等多种信息的融合处理，更主动、更深入地了解乘客的信息，从而主动对其进行关怀、推送相关的内容/服务，并改变车辆设置，探索颠覆性交互体验。

　　Cerence基于在语音领域的优势，未来将融合车辆数据(疲劳监测、手机互联、娱乐系统、空调、燃料、充电、座椅、GPS、空气质量)及车内多模态交互(语音、语音合成、文字输入、视线跟踪、手势识别、情绪识别、生物识别)，打造沉浸式座舱交互。

　　3、华阳通用、德赛西威等Tier1，将多模态交互与场景结合，打造个性化座舱体验

　　ADAYO华阳多模态交互系统，基于高算力AI芯片，通过视觉、听觉、触觉、多模前融合、多模后融合等识别技术，能够实现4大类、70+人机交互场景，包括语音+手势开车窗或空调、可见即可说、上车问候、儿童哭闹安抚、声音控制、人脸启动发动机、视线亮屏、驾驶员行为监控和危险行为提醒等，为用户提供主动情感的多模态交互场景体验，并满足用户千人千乘的个性化需求。