友思特案例
友思特分享|实现高带宽领域中的图像数据实时压缩
前言导读
随着图像和视频数据在现代应用中的广泛使用,有效的数据处理和传输变得至关重要。然而,传统的数据采集方法往往面临着数据量大、传输速率慢等挑战。为了应对这些挑战,友思特 Gidel采集卡引入了基于FPGA的IP开发功能,旨在实时压缩传入的图像和视频数据。这项技术具有多种压缩模式,包括实时JPEG压缩和无损压缩,可根据不同应用的需求进行灵活配置。本文将深入探讨友思特 Gidel采集卡的压缩技术,以及如何在FPGA上高效实现图像和视频的压缩和解压缩,以提高数据处理效率和资源利用率。
01 基于高性能相机的 实时JPEG压缩
由于采集卡采集图像具有数据量大,传输带宽高,传输速率慢等缺点,使用友思特 Gidel采集卡基于FPGA的IP开发功能,对传入的图像或视频进行实时压缩,将减少采集图像所需的存储空间,降低带宽的需求,提高传输速率。通过实时压缩,实现在有限的时间内减小图像和视频数据的大小,以便更有效地对数据进行存储、传输或处理。友思特 Gidel采集卡的IP开发功能对图像视频数据进行压缩方式主要包括两种:
1. 对于高性能相机的实时JPEG压缩。这种压缩方式可以有效减小图像数据的大小,同时保持较高的图像质量。
2. 对图像视频的无损压缩。这种压缩方式可以保证原始数据的完整性,适用于对图像质量要求较高的场景。
通过友思特 Gidel采集卡的JPEG压缩IP,可以在FPGA上实现高性能JPEG压缩,能够对传入的图像进行快速处理、同时具有较低延迟和紧凑的板载利用率。并且由于其紧凑性,可以在小型FPGA设备上实现压缩高性能相机的图像数据,也可以在单个较大的FPGA设备上实例化多次。其压缩IP主要包括一个主机接口和一个用于软件控制的API套件。
如图为友思特 Gidel的具有FPGA功能采集卡进行实时JPEG压缩的实现过程,JPEG IP的输入数据是YCbCr格式,也可以对传入的RGB、Mono等格式的数据通过转换器转换为YCbCr格式。图像/视频的压缩速率超过3.6G components/s,具体压缩程度可以通过存储大小和图像质量进行权衡调整。
图1
下表举例在540 MPixels/s和1.84 GPixels/s下使用4:2:2编码对传入的数据进行压缩后的压缩性能示例。压缩后图像吞吐量相比于压缩前减少了4倍,数据的延迟也仅为130uS。
图2
在主机端,用户可以对压缩数据进行解压,同时可以使用Gidel的API套件通过软件对压缩程度进行控制。
02 基于多类图像 格式的无损压缩
工业洗衣房的确已在高度自动
友思特 Gidel采集卡的无损压缩IP针对FPGA的颜色滤波器阵列(CFA -例如Bayer),Mono和RGB图像和视频执行实时压缩。该IP能够以超过1G pixels/s的像素时钟速率压缩多相机/传感器数据,同时使用非常小的FPGA资源和最小的功耗,压缩效率高。主要的压缩方式有两种:
1. 压缩单个图像帧。
2. 使用I帧和P帧压缩视频。
图3
上图为友思特 Gidel的具有FPGA功能采集卡进行无损压缩的实现过程,输入数据包含多种图像格式。图像/视频的无损压缩速率超过1G Pixel/s,具体压缩程度可以通过存储大小和图像质量进行权衡调整。
下表列出在实际视频应用中实现了1:2.3的无损压缩比所需FPGA资源。
图4
在主机端,用户可以对压缩图像/视频进行解压,解压过程中的延迟小于单个帧周期,同时支持binning选项,减少图像大小和处理时间。
数据经由卷积神经网络(CNN)和常规图像处理过程处理。“我们使用IDS的开发工具包IDS peak。我们通过Python和IDS库连接至我们的系统,”sewts的联合创始人兼制造总监Till Rickert透露。“IDS软件包的附加价值主要在于其易于校正和集成到我们的High Tech Vision系统,”他继续道。
“AI是我们技术的核心。需要智能算法来构建适当的系统以应对非确定性自动化处理工序。因而我们利用最新AI研究成果,根据我们的需要进行改良并将各部分继承以最终形成一个大的整体方案,”Till Rickert补充道。它接收各种传感器数据(比如光学信息),以近似人类的认知水平得出结论并将其转换成机器命令。这样,像VELUM这样的系统就能够执行以前需要人脑来判断的任务。这正是sewt的企业理念所在:“我们的目标是将复杂的人力作业转换成流畅的自动化流程”。
套装产品
友思特 Gidel系列 PCIe图像采集卡
具备高可靠性,采用强大的Arria 10 FPGA,具备大容量内存、高带宽数据传输通道和丰富的I/O接口,保证100%的帧捕获
基于FPGA的IP开发功能,对传入的图像/视频进行实时压缩,减少采集图像所需的存储空间,降低带宽需求,提高传输速率