01
概述
与ADAS感知系统中使用的摄像头相比，智能座舱内使用的摄像头功能特点和性能要求相对简单。 例如，OMS乘客监控摄像头一般达到5MP就可以得到不错的效果。 同时，OMS还可以应用于车载会议系统、车内儿童检测等。 DMS驾驶员监控系统、SVC 360环视摄像头、DVR行车记录仪都是自动驾驶域ADC和智能座舱域CDC共享的摄像头。 下面简要介绍这些相机。
对于车载摄像头来说，其特点在于摄像头的安装位置和ISP处理芯片之间的距离。 2MP以下的相机一般会直接输出YUV格式的图像数据，不需要额外的ISP进行图像处理。 2MP以上，相机会输出原始数据，需要独立的ISP来处理相机图像格式。 由于使用的摄像头数量较多，如果为每个摄像头分配一个ISP，成本将非常巨大。 因此，需要将ISP布置在CDC座舱控制器内部，通过高速传输电缆将摄像头的原始数据传输到集中ISP进行处理。 这时就需要使用高速视频传输总线。
如高速音视频传输接口章节所述，一般采用GMSL或GMSL将远程原始数据传输至CDC。 未来可能采用的技术包括Mipi-A phy和ASA。 此时芯片一般是成对排列的，一个芯片集成在相机侧，一个芯片设计在CDC侧； 它们之间的距离可达10米，最长不超过15米。
作为传输桥芯片和传输数据线，可以参考下图来了解：
02
有机管理系统
OMS ( ) 是乘客和后座监控系统的缩写。 在法规方面，许多地区和国家已经立法要求对车内儿童进行检测。 Euro NCAP计划从2023年1月起提高检测车内是否有儿童的分数，规定非常详细。 美国正在立法要求所有新车预装儿童存在检测功能摄像头红外距离，预计2025年全面实施。据说国内相关法规也在评估和制定中。
OMS摄像头可以在一定程度上满足检测车内是否有儿童的要求。 为了提高检测的准确性，甚至需要添加生命体征检测雷达（UWB或毫米波雷达）。 从目前的实践来看，5MP甚至8MP的OMS主摄像头一般都会放置在前后视镜处； 第二排和第三排座椅上方增加了2MP后OMS。 通过人脸识别、动作捕捉、活体检测等AI算法的应用，OMS可以改善智能座舱汽车的感知。
OMS还可以为以下应用功能提供支持：车载视频会议系统； 安全的支付系统； 人工智能辅助融合传感系统等
为了保证座舱环境下任意光强度下的正常使用，一般要求OMS支持RGB-IR、可见光和红外光双波段工作模式，同时需要布置红外补光灯。 IR红外灯可用于夜间检测； RGB可见光可用于白天工作。
2.1 飞行时间
TOF是Time of的缩写，字面意思是飞行时间。 所谓飞行时间3D成像，就是不断地向目标发送光脉冲，然后利用传感器接收物体返回的光，通过检测飞行（往返）时间来获取目标距离的光脉冲。 该技术原理上与3D激光传感器基本类似，只不过3D激光传感器是逐点扫描，而TOF相机同时获得整个图像的深度信息。 TOF相机也与普通机器视觉成像过程类似。 它们由光源、光学元件、传感器、控制电路、处理电路等几个单元组成。 与非嵌入式3D检测且应用领域非常相似的双目测量系统相比，TOF相机具有根本不同的3D成像机制。 双目立体测量将左右立体图像进行匹配，然后通过三角测量进行立体检测，而TOF相机则通过入射光和反射光检测来获得目标距离。
由于TOF采用多点发射和测量方法来计算和获取深度信息，因此具有分辨率低、功耗高的特点。 受激光发射点限制，其分辨率一般不超过640*480，但其功耗却是结构光的十倍以上。
2.2 双目结构光+RGB
双目结构光采用双目立体视觉技术，模仿人眼的左右视差。 它利用两个红外摄像机从左右方向获取被测物体的两幅图像，然后计算图像对应点之间的偏差。 ，使用三角测量计算视差图，然后转换为3D深度信息。 这里的结构光是指红外投影仪会投射出简单的红外光晶格来增强物体表面的纹理摄像头红外距离，然后红外相机会捕获物体图像并使用算法进行后处理计算。
双目立体视觉系统的四个基本步骤：
1 相机标定：主要包括两部分：单目相机的内参标定和双目相机的外参标定。 前者可以获得各相机的焦距、光心、畸变系数等参数，后者可以获得双目相机之间的参数。 相机坐标系的旋转和平移关系。
2 立体校正：该过程是根据相机的标定结果对两个相机采集的原始图像进行校正。 校正后的两幅图像位于同一平面上且相互平行，即图像各行像素共线。
3 立体匹配：该过程是根据立体校正后的图像来匹配像素点。 成功匹配的点代表现实世界中某个点在两幅图像中的不同位置。
4.深度计算：对于立体匹配后得到的两幅图像，利用三角测量方法一一计算每个像素的视差。 获得视差图后，再将其转换为深度图。
双目的优点是对硬件资源要求低。 只需两个普通的红外摄像头和一个带有DSP的SOC芯片就可以计算并获得深度图。 但其缺点是必须配备双筒望远镜并且需要一定的基线长度，因此其安装环境受到限制。
2.3 单目结构光
结构光，英文称为light，是利用近红外激光将具有一定结构特征的光投射到被拍摄物体上，然后用专门的红外相机进行采集。 这种具有一定结构（激光散斑）的光，会因被摄体的不同深度区域而采集不同的图像相位信息，然后通过计算单元将这种结构的变化转化为深度信息，从而获得三维结构。 简单来说，就是通过光学手段获得被摄物体的三维结构，然后将获得的信息进行更深入的应用。 通常采用特定波长的不可见红外激光作为光源。 它发出的光通过一定的编码投射到物体上。 通过一定的算法计算返回的编码图案的失真度，从而获得物体的位置和深度信息。
与TOF相比，结构光的功耗更低，因为它只需要投射很小的面积就可以满足要求。 其分辨率和精度比TOF高，成本比TOF低。 与双目结构光相比，单目结构光的基线可以做得更小，更容易布置在车内环境中。 并且在弱光条件下依然可以使用，更加适合车内环境。
2.4 OMS视觉解决方案
在智能座舱内部的感知系统中，OMS发挥着巨大的作用和优势。 除了语音识别之外，多模态识别对视觉感知的要求也越来越高。 其中，添加深度信息的手势识别、面部表情识别、情绪识别、口语识别等功能将赋予车载AI助手更高的智能，提升智能座舱的用户体验，提供良好的体验。
对比以上传感摄像头方案，除了单目RGB+IR没有深度信息外，其他三种都是深度摄像头的选项。
双目结构光+RGB方案最大的问题是算法的实现需要较高的计算资源，导致实时性较差，并且基本与分辨率和检测精度挂钩。 也就是说，分辨率越高，要求的精度越高，计算也就越复杂。 同时，纯双目解受光照和物体纹理属性的影响。 新增的RGB相机只有一个通道，主要用于与深度图的对比显示。
由于硬件限制，TOF方案的分辨率和感知精度比结构光和双目立体方案低。 它需要多点激光发射，硬件成本较高，但其算法复杂度低，实时性高，可以达到120帧速率，对硬件计算资源要求低。
针对双目匹配算法的复杂性和鲁棒性问题，提出单目结构光方案。 该解决方案解决了大多数环境中的双眼问题。 但在强光下，结构光核心技术的激光散斑会被淹没，因此在阳光强烈时可能会失效。
03
数据管理系统
DMS ( ) 是驾驶员监控系统的缩写。 是指在驾驶员驾驶过程中，全天候监测驾驶员的疲劳状态和危险驾驶行为。 在发现驾驶员疲劳、打哈欠、眯眼、吸烟、手持电话等行为后，DMS系统会及时分析此类行为，并提供语音和灯光提示，以警告驾驶员并纠正错误。 驾驶行为的作用。
由于DMS主要用于监控驾驶员异常行为，因此主要属于ADC自动驾驶领域，而不属于CDC智能座舱领域。 不过DMS一般安装在机舱内A柱下方，直接面向驾驶员脸部，因此也可以算作智能座舱内部的摄像头之一。
DMS一般使用2MP红外摄像头，不需要使用RGB工作模式。 它拍摄的照片需要对“机器”可见，以便AI算法准确分析驾驶员的状态； 它们不需要让“人类”看到感到舒服。 因此，DMS只需要2MP的像素分辨率，以及一个红外光摄像头，就可以保证机器在任何光照条件下都能清晰地看到驾驶员的面部特征。
需要注意的是，DMS和OMS都有红外补光灯，所以需要设计专门的红外光同步信号，保证DMS和OMS的补光灯不能同时工作，避免曝光过度。
DMS感知算法的进一步改进还包括眼动追踪、面部表情、情绪监测等。多模态识别结合人工智能助手还将包括嘴形检测等进一步的AI识别算法。
04
行车记录仪
Car DVR，即Video，也是行车记录仪。 硬盘录像机的功能中，分为车载前置硬盘录像机和后置硬盘录像机。 后置DVR一般是一个独立的行车记录设备。 它采用音视频编码技术对硬盘录像机自带的摄像机数据进行转换和压缩，并保存在硬盘录像机的存储设备中。 由于后装设备不需要满足车辆法规，并且在汽车出厂时不包含在内，因此需要在汽车配件市场进行后期安装。 因此，它可以使用消费级电子芯片，其可靠性远不及车规。 级别要求。
前置DVR需要符合车规标准，并且在汽车出厂时就已安装。 其使用寿命和可靠性需要符合车辆电子标准。
通常，前置DVR不需要设置单独的摄像头，而是可以直接在ADAS自动驾驶领域复用摄像头。 一般来说，DVR可以保存前向广域摄像机（FOV可达120°）+SVC 360环绕摄像机的图像数据。 为了满足白天+夜间的数据记录需求，以及进出隧道等摄像机的高动态范围识别要求，前向DVR摄像机和SVC环视都需要满足HDR（High Range）要求。 因此，必须要求相机支持HDR模式，同时也要求ISP支持HDR模式。
05
360度全景
SVC（View）是环视摄像头，一般布置在车前（前向）、车后（后向）、左后视镜（左向）、右后视镜子（向右）。 SVC 是一个多摄像头系统，可让驾驶员实时 360 度查看车辆周围环境。 该系统采用显示图像合成算法，融合多个摄像头的视角，获得从高处观察车辆周围的“上帝视角”。
SVC也主要属于ADC自动驾驶领域，因为对于停车辅助系统来说，需要SVC摄像头来帮助感知车位和周围环境。 因此，SVC也被称为360环视摄像机。
SVC摄像机具有以下特点：
06
流媒体后视镜
6.1 规定
CMS（）是流媒体后视镜。 CMS采用电子方式取代传统的玻璃镜倒车镜。 它有很多名称，包括电子侧视镜、虚拟倒车镜、电子倒车镜、电子替换镜等，ISO国际标准组织称之为摄像头监控系统。 现在。
