- 文献综述(或调研报告)
在国内,基于FPGA的图像处理系统的研究始于21世纪初。FPGA( 现场可编程门阵列,是一种在传统PAL、GAL等可编程器件基础上进一步发展出的产物,就是通过编程方式向内部存储单元加载编程数据,方便的实现芯片逻辑功能的修改,可以根据需要多次编程,性能高、容量大,其高速的并行运算能力能够满足各种高端的应用。随着可编程逻辑器件(PLD)的日益成熟,使得以 FPGA 为主的可编程技术在图像处理方面得到普遍的应用[1],并获得了迅速的发展;逻辑单元(Logic Element,LE)是对 FPGA 器件的逻辑功能模块的设计完成的最小单元,设计者可通过硬件编程语言或者原理图输入法实现各功能模块的组合实现所需的逻辑功能;现场可编程门阵列 FPGA 具有灵活的在线可编程特点,通过硬件描述语言编程方式可实现不同功能模块的重新组合,实时的完成新的功能的实现,甚至可以在系统运行过程中进行再配置[2],使得硬件开发具有通用性和可重复配置性,提高了系统的设计效率、稳定性和重复利用率。鉴于以上原因,FPGA 在图像处理系统中得到了很好地推广和利用,在图像分割、图像滤波、目标对象识别[3]、底层图像处理算法、机器视觉[4]等方面都取得了不错的成果。当前,结合FPGA的图像处理系统的主要形式有3种,分别是辅助DSP系统、实现图像处理低层算法、实现图像处理高层算法[5]。
在结合了DSP与FPGA二者的图像处理系统中[6],DSP主要负责快速地实现图像处理算法,而FPGA主要完成对系统命令控制、数据间的通信接口控制或简单逻辑控制等任务;借助FPGA的灵活性[7]、高速的计算能力、并行执行能力以及大量的I/O端口和存储单元等特点,在该系统中实现数据和地址命令的传输控制或者存储器的控制变得非常的实用,同时还可完成缓冲、存储数据以及逻辑、时序控制等功能。
实现图像处理的高层次算法。随着FPGA快速发展,人们正致力于将一个庞大功能的系统集成在较小体积的数字芯片上,并取得了不错的成果,再加上一些比较复杂的运算模块(如浮点预算、乘法运算、指数运算等)已经在FPGA上开发出来,这为图像处理的高层次算法(如目标识别、图像匹配或图像分割等[8])在FPGA上的研究与实现打下了很好地基础;随着半导体工艺技术的研究不断深入,不光使低成本、低功耗的 FPGA 不断更新换代,还使其性能得到了大大的提升。而国外也在FPGA的基础上不段探索,开发基于FPGA图像处理算法,例如基于FPGA的灰度形态粒度快速计算【9】、基于FPGA的星形中心提取算法【10】等等,都对基于FPGA的图像信号处理的研究提供了帮助和丰富的资料。
实现图像处理的低层次算法。大多数图像处理算法在处理图像的过程中耗时较长,虽然图像的算法相对较简单,但图像的数据量大,相对于传统的软件编程或者其他工具,FPGA的优势就凸显出来了;由于FPGA的并行执行的特点,可以同时对多个功能模块处理,对于很多的图像处理算法的实现,借助于FPGA的这一特点,可以到达事半功倍的目的,FPGA在图像的预处理方面也得到了充分的利用,如FFT、小波变换、模版卷积、中值滤波等。可以预见,随着 FPGA 技术和芯片制造工艺的不断发展,它在图像处理领域的应用将会更加深入和广泛,尤其是在部分便携的基于嵌入式的图像处理系统或者对实时性和功耗性能要求非常严格的图像处理系统,比如altera 的Nios I核和xilinx的 mircoblaze[11]核,FPGA将发挥更大的作用。作为 FPGA芯片供应商巨头的Altera 公司,在视频图像处理技术上有其独特的产品,Cyclone和 Stratix 系列的部分芯片都提供有相关的视频图像处理 IP 内核,包括 JPEG2000压缩算法等。不仅如此,altera 公司最新一代 14nm 3d 晶体管工艺的 stratix 10 fpga芯片在工艺上已经验证通过,如果成功实现量产,那么 stratix 10 fpga 芯片不仅在功耗上有极大的竞争力,而且其 1GHz 的工作性能也极具诱惑力[12]。
与此同时,视频采集和图像处理在监控和自动化处理方面有了越来越高的应用需求,从而对视频流处理的分辨率、清晰度和实时性提出了更高的要求。传统的DSP加片上芯片处理的方法在处理性能上有一定的不足,单纯采用FPGA作为方案,在系统功能上会受到限制。因此,一些新的视频处理系统框架【13】设计被提出来更强大的灵活性、可配置性和系统性能。
虽然FPGA在图像视觉系统上有巨大的研究前景,但也面临着很多困难。第一是缺少实际应用系统,真正应用于实际的基于FPGA的图像处理系统还不多,大多停留在以实验室原理设计形式的阶段;第二是目前算法的模块化程度不高,很多中高层的算法在FPGA上形成的研究成果都尚未成为标准的硬件模块,在研究的后期很难实现二次开发设计;第三,系统的可靠性不稳定,在硬件的设计上还没有形成科学统一的标准,无法保证后期使用的可靠性。第四是互连线延时的问题,逻辑设计则必须结合物理特性才能精确给出时延、功耗、可布性、面积等,使得设计中前后端延时的偏差越来越大,互连线变成时延主要因素。超大规模的系统级芯片中实现高速信号的传输以满足时序要求、实现一个低抖动和偏差的时钟树结构,成为目前 FPGA 设计所需考虑的首要问题【14】。
随着对FPGA图像处理技术进一步研究,研究成果将会不断丰富,标准和成果的模块化也会逐步完善。而由硬件平台、数据构成和算法复杂性等诸多因素引起的数据采集和传输速率的问题【15】,也在数字信号的背景下稳步解决中。由于FPGA图像处理高效的并行处理特性以及较低的成本,可见基于FPGA的图像处理技术将会得到大量关注和发展。
参考文献:
[1] Steffen Klupsch, Markus Ernst,Sorin A,st al.Real Time Image Processing based on Reconfigurable[J]. Hardware Acceleration.In Proceedings of IEEE Workshop Heterogeneous Reconfigurable Systems on Chip, 2002
[2] 何宾. Xilinx FPGA 设计权威指南[M].北京:清华大学出版社,2012.
以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。