工程应用
超高分辨率光电探测图像预处理系统设计
袁汉钦
(海军驻合肥地区军事代表室，安徽 合肥 230088)
摘 要： 当前超高分辨率光电探测设备的图像采集预处理需借助于专用采集卡和处理系统才能显示，且现有采集卡对超高分辨率光电设备获取的图像信息不能完全采集。本文以超高分辨光电探测设备使用的特大面阵CCD为原型，设计了一种图像预处理系统，完成光电探测设备输出图像的后处理及显示任务。实验结果表明本文所设计的系统能实时处理并显示超高分辨率光电探测设备的特大面阵CCD拍摄的图像，能观察不同分辨率的图像以及原图像任何部位的细节，并能根据实际观察效果调整显示亮度以更好地观察图像，解决了现有采集卡无法完整采集巨幅图像以及巨幅图像的拼接问题。
关键词： 特大面阵CCD；图像拼接；Bin操作；图像显示
0 引 言
随着现代军事技术的发展，要求航空光电探测系统获取的图像分辨率越来越高。目前，国内最大面阵的CCD分辨率已达到一亿像素。大面阵的CCD为提高拍摄帧频通常采用多通道输出的方式，因此需要在后续处理电路中将这些分通道输出的图像，完整地拼接成一幅图像。如此巨大的数据量对数字图像处理系统以及数据存储系统来说都是一个巨大的挑战。在光电探测系统设计、调试过程中以及在执行任务时，必须对光电探测系统输出的图像进行实时观测，以便判断系统的工作状况以及观察拍摄到的景物图像[1-3]。目前的大部分光电探测系统的图像采集卡对如此巨幅的图像都无法完全采集。对于超高分辨率的图像采集与预处理，目前工程上仅能够通过使用高性能的服务器配合专用采集卡才能实现[4-6]。这给特大面阵的图像实时观测带来困难，而且整个系统体积较为庞大、携带极为不便，不能满足航空军事技术发展需求，因此迫切需要设计一种便携式且能直接显示超高分辨率光电探测获取图像实时显示系统。本文以实际工程需求为牵引，设计了一种满足超高分辨率光电探测系统的图像采集、显示预处理系统。该系统只需配备一个标准接口的显示器即可完成对超高分辨率图像的采集和实时观测，且系统安装调试简单，适合当前航空军事技术对超高分辨光电探测系统的图像预处理需求。
1 系统接口电路设计
本文所设计的超高分辨率光电探测图像预处理系统接口电路由CameraLink与FPGA的接口电路、DDR2存储器与FPGA的接口电路、SDRAM与FPGA的接口电路、DVI和VGA与FPGA接口电路以及串口与FPGA接口电路组成。CameraLink与FPGA接口电路在设计过程中将超高分辨率光电传感器获取的不同路信号通过3个Base配置的CameraLink接口从传感器输入到显示系统，并通过串并转换芯片DS90CR288将串行数据重新组合成多路并行数据送往FPGA。同时，经过预处理后的图像经过1个CameraLink Base头分2路输出到下一级系统。DDR2存储器与FPGA的接口电路采用两片大容量的DDR2作为高速数据缓存器，通过将5路图像依次缓存到DDR2完成图像的拼接。选用的DDR2存储器容量为128 M×16 bit，足够存储一幅完整的图像。在SDRAM与FPGA的接口电路中，SDRAM存储器主要用于显示图像，图像数据在FPGA中经过拼接、Bin操作后需缓存到SDRAM。由于相机输出的是位深度为12 bits的图像，因此选用两片容量为4 Bank×2M×16 bits的大容量HY57V281620 SDRAM来缓存BIN操作后的图像。DVI和VGA与FPGA接口电路作为显示电路，在显示过程中，FPGA中的逻辑配合VGA和DVI的时序将数据从SDRAM中读出，经过显示芯片编码以后生成显示器能辨认的数据格式进行显示。串口与FPGA接口电路主要用于上位机与FPGA之间的信息交换，如通过设置FPGA内部逻辑的工作方式，设置图像显示窗口的起始坐标，BIN模式的BIN倍率，以及数字增益倍率等。
系统接口电路设计原理图如图1所示。其中，FPGA是主要的逻辑器件，系统的主要逻辑功能都是在FPGA中完成的。为方便控制和协调FPGA中的各个模块，在FPGA中设计了一个MicroBlaze处理器，完成串口通信和FPGA内部寄存器参数设置等功能[7-10]。
图1 系统硬件电路设计原理框图
2 系统功能电路设计
2 .1 总体架构设计
根据系统硬件电路设计原理框图可知，本文所设计的超高分辨率光电探测图像预处理系统是以FPGA为核心管理器件的硬件电路。在FPGA内部共设计了五个功能模块。分别为数据时钟域变换模块，数据拼接缓冲模块，MicroBlaze处理器模块，图像分辨率变换及显示模块以及图像平均灰度值计算模块。系统功能模块设计框图如图2所示。其中MB处理器核、数据拼接缓冲模块以及分辨率变换显示模块是系统的核心模块，也是内部功能模块设计的重点。
图2 系统功能模块设计框图
2 .2 时钟域变换模块
时钟域变换模块设计是为了保证系统设计的稳定可靠而需要进行时钟域变换，主要功能是将从外部与数据一起输入的时钟域变换到FPGA内部时钟域，从而可以有效解决由于传输过程中导致的时钟信号质量差而使数据不稳定的问题。本系统时钟域变换采用FIFO方式实现，具体实现方式如图3所示。
图3 时钟域变换示意图
2 .3 时钟树设计
由于图像数据不能直接写入DDR2存储器，而是需要通过DDR2控制器接口来完成将数据写入DDR2的要求。因此，必须首先完成DDR2控制器的设计。通过DDR2控制器可将光电探测设备获取的多路图像数据依次写入DDR2，从而拼接成一幅完整的图像。目前，较高版本的Xilinx FPGA开发软件ISE中都嵌入了成熟的DDR2控制器IP核，使用MIG(Memory Imterface Generator)工具即可根据实际需要完成对DDR2控制器的配置，然后生成一个需要根据实际设计进行修改的DDR2控制器初核。该IP核的接口信号如图5所示，主要分为三类信号分别为系统时钟和复位信号、用户接口信号以及DDR2接口信号。
图4 时钟树设计产生框图
2 .4 数据缓存及拼接模块
在FPGA内部由于需要的时钟种类较多。具体包括数据处理时钟及DDR2控制器专用时钟两大部分。时钟树采用PLL(延迟锁相环)来产生，该IP可由1个时钟产生多个输出时钟。DDR2控制器需要一组特殊的时钟，这组时钟的相位关系以及频率都有严格的要求，采用DCM模块来产生，时钟树设计产生框图如图4所示。
图5 DDR2控制器接口信号
系统对SDRAM的读写控制也是通过SDRAM控制器来完成[11]。SDRAM操作采用乒乓操作的方式，将图像数据写入第一片SDRAM的同时，以75帧/秒的速率读出另一片SDRAM中的图像数据。
图像分辨率比变换实现如图8所示。图中倍率寄存器主要用于设置BIN操作的合并像素数。在实际应用中采用1×1，2×2，4×4，8×8几种倍率，将超高分辨率图像的分辨率分别降为多种不同的低分辨率进行处理。倍率寄存器是通过MB处理器来设置的。对于N×N BIN，首先将一行像素中相邻的N个像素合并成一个像素，并将BIN后的该行图像存入FIFO；在第二行图像到来时，读出上一行的图像将这两行图像相加，直到完成N行图像的BIN操作。
图6 DDR2数据读写时序图
图像拼接策略如图7所示，采用两组FIFO交替进行数据缓存，每一组FIFO由5个输入位宽为16位，输出位宽为32位的FIFO组成。设置两组FIFO的主要是为防止数据操作时行与行之间严格对齐，否则数据写入DDR2后就有可能造成行与行之间数据错位，在每读完一行数据后都对FIFO进行一次数据复位，清空FIFO，迎接下一行数据的到来。
系统设计的图像显示是基于两片SDRAM存储器进行的。经过分辨率变换和图像大小截取后，将图像大小变换为1280×1024分辨率，交替存入这两片SDRAM存储器中，再配合VGA或DVI时序读出SDRAM中的图像数据，输出到视频编码芯片变换成显示器能够识别的图像格式，完成图像的显示。整个过程最重要的是对SDRAM的读写操作和DVI(VGA)显示时序的产生，DVI具体时序参数可见表1。为尽可能显示较大的图像面积，观察较广的图像范围，选用1280×1024分辨率进行显示。由表1可知，当显示图像分辨率为1280×1024，显示帧频为75 Hz时，因此需要的时钟频率高达135 MHz。
值得注意的是，根据《刑法》第287条之一第3款规定，行为人构成非法利用信息网络罪，同时构成其他犯罪的，依照处罚较重的规定定罪处罚，因此当行为人不仅是为他人犯罪设立网站、通讯组，而且还与他人共同实施犯罪，则构成某犯罪的共犯和非法利用信息网络罪。那么，司法机关应根据犯罪情节，选择处罚较重的罪名定罪处刑。
桑树播种中通常使用的常规播种方式需要将对土地进行开沟，开沟的行距应保持在三十厘米，深度应保持在0.5到1厘米左右，播幅需要保证在10到15厘米，种子和细砂的比例为1∶5，覆土厚度应达到1.3到1.5厘米。桑椹直播方式需要以桑葚和草木灰以2∶3的比例进行揉烂，在使用细砂土或者土搅拌均匀，使种子颗粒保持疏散后进行播种。草绳播发技术是通过将草绳使用清水或者尿液进行预先浸泡，然后经揉烂的桑椹均匀的涂抹在草绳之上，然后将草绳埋置到土沟当中，并使用土壤加以镇压。在使用地膜或者小拱棚进行播种时，需要将地膜拱起，避免对幼苗造成伤害，如果拱棚内的温度达到三十五度以上，需要及时进行通风，并且在五月需要进行撤膜。
图7 数据拼接示意图
2 .5 图像分辨率变换与现实模块
DDR2数据操作以时钟的双边沿进行，差分时钟的上升沿、下降沿各进行一个数据的读写操作，这两个边沿的数据被合并在一个两倍于读写数据位宽的数据中送入数据FIFO。同时，在数据写入时必须先发送读写命令及数据操作地址，再发送数据。具体操作时序见图6所示。
内浮顶储罐在储运系统日渐普及应用，做好储罐的安全管理工作是保证储罐安全、储运系统安全、企业安全的重要一环，通过对内浮顶储罐结构、运行中常见故障、故障原因分析、应对措施等几个方面对内浮顶储罐进行剖析，目的是分享工作经验，交流工作方法，从源头上做好储罐安全事前管控，采用切实可行的方法去巩固储罐安全运行，提高储罐运行效率，满足企业安全、环保、经济发展的不断需求。
图8 BIN操作示意图
由于需要实时对光电传感器获取的图像进行观测，同时为避免图像在外部存储器中进行缓存后变换带来的帧延时，因此只能对原始图像信息进行直接变换处理。由于传感器同时输出多路路图像，只能对其分别进行BIN操作，然后再进行对BIN后的图像进行拼接。同时，对于分辨率变换后图像依然大于显示器分辨率的情况，需要采用窗口选择的方法，选择一块连续的区域进行显示。为保证显示窗口的位置可连续设置以及显示图像的连续性，在将数据写入外部存储器DDR2中时，将多路数据合成一路的数据送入BIN模块进行BIN操作，此时需要一个FIFO将32bits@150MHz的数据解成12bits@300MHz的数据格式。将多路原始数据分别进行BIN操作后再用不同FIFO缓存起来，在进入SDRAM进行缓存之前将他们拼接起来合成一幅完整的BIN图像。图9是BIN图像拼接及显示窗口位置选择示意图。对传感器输出的5路图像分别进行经过BIN模块进行分辨率变换后形成5路图像，必须将这5路图像拼接在一起才能保证在显示时的数据是连续的。BIN后的数据拼接主要依靠6个FIFO，前5个FIFO分别将5路BIN后的数据进行缓存，然后依次读出存入到第6个FIFO，形成一行连续的、经过BIN操作的图像数据，此后根据显示窗口位置寄存器X方向参数对第6个FIFO中的数据进行截取，存入SDRAM中，等待读出、显示。而对于行方向上的数据截取则采用一个计数器，根据显示窗口位置寄存器中Y方向参数来设置该计数器的起点，完成对图像Y方向上的数据截取。
图9 BIN图像拼接及显示窗口位置选择
由于采用较高时钟进行数据传输过程中，对系统逻辑架构设计的鲁棒性要求较高，因此本文所示系统在数据输出时采用两路数据12bits@50MHz输出的方法，避免单路输出时钟达到100 MHz造成数据传输错误。
加快资金支付进度。进一步简化扶贫资金管理流程，提高资金下拨效率。对2015年及以前年度资金结余结转较大的广丰、吉安、上饶、宁都、宜黄、资溪等6县进行约谈，督促地方加大资金使用力度。截至2017年底，2017年财政专项扶贫资金结转结余规模1.52亿元，结转结余率1.64%，2016年财政专项扶贫资金结转结余规模482.4万元，结转结余率0.1%。
DDR2控制器内部通过基于FIFO来完成数据读写操作，地址/命令FIFO接收数据存储的地址和读写指令；数据/掩膜FIFO接收或读取数据和相应掩码。同时，控制器内部也产生了一些内部状态信号，如app_af_afull和app_wdf_afull两个状态信号，分别表示了两个FIFO的内部数据状态，用户必须在这两个信号均有效的情况下进行DDR2读写，否则会造成数据的丢失或漏读。虽然MIG可生成DDR2控制器的IP核，但生成的IP需要根据实际设计中的管脚分配状况进行参数设置，包括在UCF文件中，根据DDR2管脚的分配状况对需要用到的一些管脚和FPGA内部资源进行约束以及在对ISE工程顶层HDL文件中DR2_DQS_IO_COL和DDR2_DQS_IO_MS参数进行修改。由系统生成的IP核内部代码则不需要进行修改。
表1 常用DVI显示时序参数表
注：HRES：水平分辨率，VRES：垂直分辨率，VF：垂直刷新率，HT：水平像素总数，HFP：行同步前肩，HSW：行同步信号宽度，HBP：行同步后肩，POL：极性，HF：行频，VT：总行数，VFP：垂直同步前肩，VSW：垂直同步宽度，VBP：垂直同步后肩，PCLK：像素时钟频率。
各时序参数的具体含义由图10来表示。根据DVI显示时序图，只要在HRES阶段向DVI数据编码器TFP410送出有效数据即可完成数据的编码。
图10 DVI(VGA)时序图
这样既可以保证显示效果的连续性，也能保证数据不丢帧。在进入DVI时序HRES之前的若干个时钟周期，先将需要显示的图像读出存储在FIFO中，当HRES到来时，直接从该FIFO中读出有效数据，完成数据与时序控制信号之间的无缝衔接。同时，对于图像分辨率小于1280×1024的图像，将该图像显示于显示器的中央，对图像周围无像素的区域进行置零，从而只显示有效的图像区域。
农村中农民居住地多是独门独院，没有统一的垃圾回收地点，农民随意将垃圾堆积在街道旁、田间地头，甚至是倾倒在大坑里，严重污染环境。此外，多地农村没有配备清扫人员，甚至没有垃圾桶，大街上垃圾随处可见，脏、乱、差问题严重。
3 结 语
本文以现代航空光电探测系统对超高分辨率图像采集、处理与显示为牵引，以机载超高分辨率图像对实时预处理系统需求为导向，针对基于CameraLink接口CCD光电探测传感器获取的图像不能直接显示的问题，设计了一种图像实时显示系统。首先介绍了系统硬件电路的总体技术架构，详细分析了基于FPGA的核心硬件电路内部主要功能模块的作用以及其具体实现方法。实际工程应用结果表明本文所设计的光电探测图像预处理系统的处理能力能够很好地满足机载超高分辨率光电探测设备对多分辨率，尤其是超高分辨率图像的实时采集处理和增强显示要求。此外，按照本文所设计的系统，通过修改系统核心硬件内部参数，可直接应用到其他基于CameraLink接口的不同面阵大小的CCD中，具有良好的通用性。
离开服装厂，她在D城的大街上茫然徘徊，那个夜晚她想到了报复，想建立自己的工作室。人一愤怒志气就出来了，她忘记了自己的薄弱，对于服装厂，她的报复显得不堪一击，在D城她不过就是匆匆掠过的一只鸟儿。
参考文献：
[1] 苏海冰，吴钦章. 用SDRAM在高速数据采集和存储系统中实现海量缓存[J]. 光学精密工程,2002，10(5)：462-465.
[2] 何中翔，杨世洪. 基于CameraLink的实时显示技术研究[J]. 现代显示,2008, 10(93):31-35.
[3] 关澈, 王延杰. CCD相机实时自动调光系统[J]. 光学精密工程, 2008, 2(16):358-365.
[4] 刘瑞安, 靳世久, 吴晓荣等. 视线跟踪系统中CCD摄像机的自适应调节[J]. 光学精密工程, 2007, 6(15):966-972.
[5] 王慧. 面阵CCD数字航测相机成像模型与处理技术[D]. 河南：解放军信息工程大学博士论文, 2006.
[6] 孙辉, 张葆, 刘晶红等. 航空光电成像电子稳像技术[J]. 光学精密工程, 2007, 8(15):1280-1286.
[7] Xilinx spartan-3 family complete data sheet[OL]. Aug，2005.
[8] MT48LC16M16A2 data sheet[OL]. http:// www.micron.com
[9] Specifications of the cameralink interface standard for digital cameras and frame grabbers[OL]. Oct, 2000.
[10] Multiformat SD, progressive scan/HDTV video encoder with six NSV 12-Bit DACs[OL]. Aug, 2002.
[11] 王明富，杨世洪. 大面阵CCD图像实时显示系统中的SDRAM控制器设计[J]. 计算机应用, 2009,5(5):1449-1451.
Design for Ultra -high Resolution Image Pre -process System for Photoelectric Detection
YUAN Han-qin
(The Naval Military Delegate Office in Hefei, Anhui Heifei 230088, China)
Abstract : The image acquisition and preprocessing from photoelectric detection equipment of ultra-high resolution needs special acquisition card and processing system to display, and the existing acquisition card cannot fully capture the image that information acquired by ultra-high resolution photoelectric equipment at present. In this paper, an image pre-processing system is designed based on the super-large area array CCD used in the ultra-high resolution photoelectric detection equipment that complete the post-processing and display tasks of the output image of the photoelectric detection equipment. The experimental results show that the system designed in in this paper can process and display the image in real-time, which taken by the super-large area array CCD of the ultra-high resolution photoelectric detection equipment, can observe the image of different resolutions and the details of any part of the original image, and can adjust the display brightness according to the actual observation effect to better observe the image, solving the problem that the existing capture card cannot completely image acquisition and Image mosaic for the huge image.
Key words : large area array CCD; image mosaic; bin operation; image display
doi : 10.3969/j.issn.1673- 5692.2019.08.009
收稿日期： 2019-05-10
修订日期： 2019-07-11
中图分类号： TP752. 1
文献标志码： A
文章编号： 1673- 5692(2019)08- 830- 06
作者简介
袁汉钦(1983—)，男，安徽人，硕士，工程师，主要研究方向武器装备总体技术论证。
E-mail: hanq_yuan@163.com
标签：特大面阵CCD论文; 图像拼接论文; Bin操作论文; 图像显示论文; 海军驻合肥地区军事代表室论文;