友思特案例

友思特技术 | FPGA ： 以每秒千兆像素的速度进行图像处理

前言导读

高级视觉系统如3D成像、虚拟现实和广播依赖于高分辨率高速相机，这些系统需要实时处理和压缩大量数据。传统的PC架构难以满足这种性能需求，但基于高端FPGA的图像采集卡通过其超快的收发器和巨大的内存带宽，提供了实时处理和压缩的解决方案。开放式FPGA架构允许开发者定制采集路径和嵌入图像处理算法，借助Gidel的ProcVision IDE等开发工具，降低了FPGA开发的难度，使得视觉系统设计者能够实现高性能、成本效益的千兆像素解决方案。

纯logo

背景

诸如3D成像，虚拟现实和广播之类的高级视觉系统依赖一个或多个高分辨率，高速相机。这些摄像头系统每秒捕获并传输多个千兆像素，这些像素需要实时处理或压缩。尽管摄像头传感器技术和支持接口正在迅速发展，但是传统的基于PCIe / CPU / GPU的PC体系结构却缺乏以这种数据速率捕获，处理和存储图像所需的性能。

基于高端FPGA的图像采集卡具有超快的收发器和巨大的板载内存带宽，为实时处理和压缩提供了必要的基础设施。开放式FPGA架构允许开发人员定制其采集路径，并嵌入自己的图像处理算法和压缩块。有了Gidel的ProcVision IDE这样的支持生态环境和开发工具，FPGA代码开发被大大简化和加速，不再需要深厚的FPGA专业知识。因此，视觉系统设计者现在可以以前所未有的性能实现定制的、具有成本效益的千兆像素解决方案。

纯logo

图像传感器正在引领潮流

CMOS图像传感器技术的进步使多百万像素的成像器能够以具有成本效益的价格获得数百至数千FPS的帧率。Gpixel、Luxima Technology、Teledyne e2v、AMS/CMOSIS、安森美和索尼等公司正在为这一发展做出重大贡献(见图1)。

图1：在通用视频接口标准的有效带宽上的高端图像传感器的分辨率和帧速率。

下一代图像传感器将产生每秒160千兆比特（Gbps）及以上的数据速率。此外，多摄像头的应用已经变得无处不在，特别是在从虚拟现实到广播、监控、医疗成像以及三维或高分辨率的质量检测等领域。例如，一个三维体育广播系统，可能包括30多个摄像头，每个摄像头的分辨率为65MP，速度为30fps。

最新的高端图像传感器和多摄像头应用分别提供每秒几千兆像素和几百兆比特的数据。这些巨大的数据速率需要被实时捕获、预处理、分析，而且往往还需要以高精度同步和低延迟的方式进行压缩和存储–这一要求远远超过了基于CPU架构的能力。相反，这种需求只能通过利用FPGA、GPU和/或CPU的独特能力的新型异构处理解决方案来满足。

纯logo

高带宽挑战

对于超过20Gbps的传感器数据传输速率，在标准化的相机接口中只有少数选择：25、50或100GigE、多链路CoaXPress v2和PCIe。在20+Gbps时，光缆取代铜缆，将传输距离从25米延长到40公里。

高带宽成像的另一个挑战在于将视频流传输到主机的高性能处理器，无论是GPU、FPGA还是CPU。视频采集卡的主板接口通常是PCIe Gen.3 x8，有效带宽仅为48Gbps。此外，在主机处理系统中，CPU/GPU和显卡与主存储器之间的RAM桥必须运行得足够快，以避免帧丢失。智能网卡成功地分配了PCIe上的峰值负载，并大大减少了主机CPU上的工作量，但这往往是以处理能力不足导致的图像帧丢失为代价的。

纯logo

秒千兆像素实时处理解决方案

想要达到几十上百Gbps的数据速率，除了昂贵的ASIC之外，只有基于高端FPGA的图像采集卡架构才能提供必要的处理性能来克服上述挑战。这些采集卡拥有远甚于传统的预处理步骤，以执行复杂的成像算法，从小波变换一直到深度学习推理和实时压缩。压缩是克服PCIe和主机内存带宽瓶颈的一个强制性功能。

这种高端图像采集卡的设计本身就是一个挑战，特别是在涉及利用来自多个图像区域或多个传感器的数据的算法的实现时。为了规避可能的瓶颈并实现分布式处理的灵活性，图像采集卡必须包括功能强大的收发器，足够的FPGA资源，高机载内存访问权限和快速DMA卸载引擎。这样的图像采集卡通常包括访问速度为TB/s的FPGA内部存储器，以及访问速度为数百GB/s的10+ GB DDR4板载存储器。
在FPGA上实现机器视觉算法通常需要在FPGA编程方面有深入的专业知识。此外，在单个FPGA上实现多摄像机采集和处理需要集成多接口，摄像机协议，多源处理算法，存储器控制器，I / O端口控制和主机桥。除了性能优化的架构之外，至关重要的是，图像采集卡还应由集成开发环境（IDE）支持，该集成开发环境使非FPGA专家能够开发成像算法并集成多个FPGA功能块。
纯logo

友思特 方案产品套装介绍

以色列技术领导者吉德尔（Gidel）拥有近三十年的经验，创建了一个针对超高带宽和多传感器采集而优化的现成图像采集生态系统，使开发人员可以将自己的专有算法代码添加到现有的采集流水线。得益于专用的开发套件，添加图像处理算法和定制采集路径非常简单，甚至可以由非FPGA专家执行。Gidel的开发套件可在不影响性能的情况下极大地加速系统开发。

PCIe 图像采集卡

提供GigE Vison、Cameralink、Coaxpress等多种接口的 FPGA加速卡 ，兼容性强，广泛用于实时、高带宽视觉和图像处理等应用。

具备高可靠性，采用强大的Arria 10 FPGA，具备大容量内存、高带宽数据传输通道和丰富的I/O接口，保证100%的帧捕获
>> Read More

高性能FPGA模块

基于英特尔 Stratix 10NX 和 MX FPGA 的超高端模块，基于Arria 10 FPGA 的高端超紧凑型方案。

可以安装在Gidel现成的PCIe载板上，也可以安装在用户或Gidel定制的载板上。

提供完整的 FPGA 封装，随时可用，提供模板和强大的开发工具，能够快速开发载板并优化系统设计的FPGA利用率
>> Read More
Technology & Solution

往期精选推荐

Technology & Solution

往期精选推荐