友思特方案

多相机的完美闭环：proFRAME车载全景环视相机数采方案

前言导读 2024.8.22

精准搜集车辆传感器的实时数据是ADAS系统稳定运行的关键所在。友思特 proFRAME 系统可以同步采集输入数据流并输出处理，成为车载全景环视相机从图像采集至分析结果输出存储的高效闭环方案。

纯logo

proFRAME 车载图像采集与回放系统

ADAS系统如交通标志识别、车道辅助、停车辅助和自动驾驶（AD）等功能，需要高效、精准地收集车辆传感器的实时数据，特别是来自嵌入式摄像头的视频数据，这些功能的验证需要同步捕获各个摄像头的视频流，添加相应的时间戳并存储，然后在硬件在环测试（HIL）中将这些驾驶场景回放到验证 ADAS/AD ECU中。

针对上述内容，proFRAME提供了完美的解决方案。

全景环视的多相机数据流包含相应的高精度时间戳，proFRAME 提供了 bypass 功能（Tap模式），使得数据流可以同步采集输入和输出处理，通过 ATX4 高性能车载服务器/BRICK2 数采平台，对数据进行存储、图像处理、分析，实现车载全景环视相机图像采集至分析结果输出存储的完整闭环。

系统方案特点

  • 同步捕获各个相机的视频流并添加响应时间戳进行存储；
  • 同步录制多达8个4K视频流（包括边带通信I2C），并可通过外部触发线与其他记录设备或传感器同步；
  • proFRAME系统在HIL中能够基于录制过程中的时间戳精准同步地回放驾驶场景；
  • 兼容市面上常见的串行器播放视频流，回放根据单图像帧时间戳信息或外部触发进行；
  • 支持ROS或ADTF的HIL系统，提供API实现proFRAME与HIL系统的快速集成。
纯logo

灵活切换的工作模式及其应用

友思特 proFRAME 板卡有三种工作模式，通过加载不同的固件来切换，从而满足不同场景下的应用需求。

1. Capture模式（采集）

板卡处于Capture模式时，可以同时获取最多8个相机的视频流。对于每一个相机视频流的获取链路如下：

  1. 前端的GMSL/FPD-Link相机的CMOS图像传感器捕获光信号并转换为电信号，生成原始图像数据。
  2. 原始图像数据在相机内部经过处理（如去噪、增益、色彩校正等）后通过相机的串行芯片进行串行化，转为CSI-2标准的数据格式，通过同轴线缆（Coax）传输到板卡。
  3. 在板卡上，接收到的数据通过相机适配器的解串芯片进行解码，将串行数据流恢复成并行的CSI-2图像数据格式，传送至板卡的FPGA模块进行处理。
  4. 除了图像数据，相机的控制信号指令（如I2C和GPIO）也通过同轴线缆传输。I2C用于设备间的通信，包括配置相机的工作参数（如曝光、增益调整等），GPIO用于控制相机的行为（如相机的启停、触发拍摄等）。板卡也支持通过同轴线缆给相机供电（PoC）。
  5. 板卡通过PCIe（x8 Gen3）接口跟主机通信，基于proFRAME配套的API、Lib和驱动，实现了后续客户端应用的集成，包括ROS或ADTF应用。

2. Replay模式（回放）

板卡处于Replay模式时，可以同时回放最多4个视频流。对于每一个视频流的回放链路如下：

  1. 主机客户端应用输出的视频流通过PCIe接口传输到板卡，通过板卡的FPGA模块进行预处理，转为CSI-2图像数据格式。
  2. 并行的CSI-2图像数据在相机适配器的串行芯片进行串行化，通过切换不同的相机适配器，以GMSL或FPD-Link串行接口标准输出。
  3. 图像数据通过同轴线缆传输到前端的ECU设备进行解串，恢复成并行图像数据，用于可视化或其他调试处理目的。也可以使用另一块proFRAME板卡来重新采集捕获回放的视频流。

3. TAP模式（旁通、边采集边回放/记录）

板卡处于TAP模式时，可以同时分别采集和输出最多各4个视频流。对于每一个视频流，采集的数据携带ns级别的高精度时间戳，采集到的数据同时分出两路，一路通过PCIe传到主机，一路通过另外的通道输出，实现视频流的实时采集和回放。具体的数据传输链路如下：

  1. 前端的GMSL/FPD-Link相机的CMOS图像传感器捕获光信号并转换为电信号，生成原始图像数据。
  2. 原始图像数据在相机内部经过处理（如去噪、增益、色彩校正等）后通过相机的串行芯片进行串行化，转为CSI-2标准的数据格式，通过同轴线缆（Coax）传输到板卡。
  3. 在板卡上，接收到的数据通过相机适配器的解串芯片进行解码，将串行数据流恢复成并行的CSI-2图像数据格式，传送至板卡的FPGA模块进行处理。
  4. 除了图像数据，相机的控制信号指令（如I2C和GPIO）也通过同轴线缆传输。I2C用于设备间的通信，包括配置相机的工作参数（如曝光、增益调整等），GPIO用于控制相机的行为（如相机的启停、触发拍摄等）。板卡也支持通过同轴线缆给相机供电（PoC）。
  5. 图像数据经由板卡的FPGA模块，同步分出两路数据，一路数据经由PCIe（x8 Gen3）接口传输到主机的客户端应用；一路数据重新经过相机适配器的串行化芯片进行串行输出，通过同轴线缆传输到前端的ECU设备进行解串，恢复成并行图像数据，用于可视化或其他调试处理目的。
纯logo

友思特 proFRAME 系统方案

proFRAME Base Board 3.0 CompactPCI

第三代 proFRAME 基板以CompactPCI®串行（CPCI-S.0）形式首次亮相，其数据速率是其前代产品的四倍，可支持最先进的汽车摄像头。该基板基于 AMD Zynq™ UltraScale+ ™ ZU4CG MPSoC 构建，可为其每个新型相机适配器接口提供高达 40 Gbit/s 的数据传输速率。
>> Read More

proFRAME Base Board 3.0 PCIe

具备CompactPCI®串行版本的所有高级功能，但作为常规PC系统的PCI Express®板均能实现。与新的camAD3相机适配器系列完全兼容。
>> Read More
Technology & Solution

往期精选推荐

Technology & Solution

往期精选推荐