国网浙江省电力有限公司金华供电公司 321001
摘要 针对电气设备同一场景间红外与可见光图像间难以匹配的问题 提出了一种基于一致性的图像配准方法 首先通过基于多方向结构元素 不同权值的数学形态学边缘检测算法分别提取红外与可见光图像的边缘 得到粗边缘图像 然后通过Ｓ ＵＲＦ算法检测两幅边缘图像的特征点 根据正确的匹配点对之间斜率一致性的先验知识 进行特征点匹配 最后通过最小二乘法求得仿射变换模型参数实现两幅图像的配准 实验结果表明 本文方法有效提高了匹配点对的正确率 特征点的定位也更加精确 能够对电气设备红外和可见光图像实现高精度的配准
关键词 红外与可见光图像 配准 斜率一致性 粗边缘 Ｓ ＵＲＦ算法
１ 引言
红外与可见光两种图像拍摄设备在对同一目标取景时难免会存在一定程度的旋转 和缩放 导致两幅图像在同一坐标下存在空间位置的差异 从而多源图像的配准成为图像融合的必要步骤 １ ４图像配准是寻找图像间的空间变换关系 将图像变换到同一坐标系下 使得两幅图像中同一目标具有相同坐标位置的过程 配准方法一般分为基于区域 ５６ 和基于特征 ７ 的配准 其中 基于区域信息的配准通用性虽好 但不能满足实时处理的要求 赵辽英等 ８９ 将图像的特征和区域信息相结合 采用寻优算法有效减少了算法运行时间 得到了较高的配准精度 基于特征的图像配准依靠图像中的角点 １０ 直线等一些较稳定的几何元素进行配准 其所需要的计算量小 对复杂场景适应 度 高 １１ 典 型 的 特 征 检 测 子 包 括 Ｈａｒ －ｒｉｓ１２ 角点检测子 尺度不变特征变换 ＳＩＦＴ １３算法 加 速 健 壮 特 征 ＳＵＲＦ １４ 算 法 等 其 中ＳＵＲＦ算法的性能优于ＳＩＦＴ算法 且运算速度也有很大的优势近年 对基于特征的多源图像配准展开了研究 其中 石永等 １５ 融合了熵和 ＮＳＣＴ对遥感图像进行配准 取得了很好的效果 李寒等 １６ 根据红外与可见光图像特性引入了灰度冗余处理 配准了电气设备图像 但是当设备温度分布存在较大差异时 无法有效配准 赵振兵等 １７ 和 Ｙｉ等 １８分别采用 Ｃａｎｎ ｙ算法和小波模极大值边缘检测算法提取图像的边缘 再进行特征点的提取 解决了多源图像灰度分布不一致导致难以配准的难题但Ｃａｎｎ ｙ算法和小波模极大值边缘检测算法检测出的边缘存在伪边缘以及边缘不连续等问题 同时特征 点 的 匹 配 也 难 以 保 证 其 准 确 率 罗 天 健等 １９ 在融合图像的边缘特征和纹理特征的基础上进行配准 并指出随机抽样一致性 ＲＡＮＳＡＣ算法 ２０ 在对特征点进行匹配时 需要较高的时间复杂度 和 迭 代 次 数 且 不 能 保 证 匹配点对的 正确性针对已有算法存在的问题 本文提出一种基于斜率一致性的电气设备红外与可见光图像配准方法 首先提取红外与可见光图像的边缘 然后分别检测两幅边缘图像的特征点并进行特征点匹配 最后根据仿射变换模型参数对待配准图像进行坐 标 变 换 通 过 实 验 验证了本文算 法的优越性
２ 图像配准算法
２． １ 算法流程
如图１所示 本文算法执行过程如下
１ 读入电气设备红外及可见光图像 并对其进行灰度化处理
２ 通过基于多方向结构元素 不同权值的形态学边缘检测方法提取图像的边缘
３ 采用ＳＵＲＦ算子检测两幅边缘图像的特征点
４ 使用本文提出的特征点匹配算法对特征点进行匹配 筛选出正确的点对 得到仿模型的各参数值
５ 根据仿射变换模型通过双线性插值运算对待配准图像进行空间坐标变换 得到最终的配准图像具体方法为 首先为配准图像建立一个和原图像相同大小的零矩阵 然后对零矩阵中的每个点进行坐标逆变换 得到该点在待配准图像上的对应点 再通过双线性插值法得到该点的像素值 作为配准图像上对应点的像素值
２． ２ 基于形态学的图像边缘检测方法
２．２．１ 边缘检测算子
根据数学形态学的膨胀 腐蚀 开 闭运算的定义及扩张性 图像用ｆ ｘｙ 表示 Ｓ表示结构元素当Ｓ包括坐标原点时 则结合形态学基本运算定律关系式为ｆＳｆ ＳｆｆＳｆＳ １Ｅ＝ ｆ Ｓ Ｓ－ ｆ Ｓ Ｓ ２采用式 ２ 作为边缘检测算子 考虑到该算子对噪声比较敏感 在此前先对含噪声图像进行形态学滤波 数学形态学去除噪声方法的本质就是开闭运算的结合使用 采用阶导数在该点的卷积 ＳＵＲＦ算法用盒子滤波器近似代替 Ｈｅｓｓｉａｎ矩阵 使得滤波器模板离散化 大大提高了运算速度
２ 主方向确定 为了使ＳＵＲＦ 特征具有旋转不变性 需要为每个ＳＵＲＦ特征点分配唯一的主方向 ＳＵＲＦ特征点主方向由特征点圆形邻域内其它点的信息决定 通过计算 Ｈａａｒ小波响应得到
使用以特征点为顶点 圆心角为６０°的扇形扫描特征点圆形邻域 在扫描过程中 每扫描１° 计算扇形覆盖的图像区域内的 Ｈａａｒ小波响应在水平 竖直方向上的累加和 扇形区域内的 Ｈａａｒ小波响应累加和应为一矢量 当扇形旋转一周后 得到３６０个矢量 其中长度最长的矢量对应的方向作为该特征点的主方向
３ 描述子形成 首先以特征点为中心 将其周围边长为２０ 的正方形区域旋转到主方向 该区域被划分为４×４的子区域 在每个子区域内计算５×５范围内的小波响应 水平方向的小波响应记为ｄｘ 垂直方向的小波响应记为ｄ ｙ 然后将每个子区域的ｄｘ ｄ ｙ响应以及响应的绝对值相加 形成特征向量的分量在每个子区域形成四维信息ｖ＝ ∑ｄｘ ｄ ｙ ∑｜ｄｘ｜ ∑｜ ｄ ｙ｜ 每个特征点具有６４维信息 通过对６４维信息归一化 可以使其对光照变化具有鲁棒性
２． ４ 基于斜率一致性的特征点匹配算法
２．４．１ 斜率一致性
假设参考图像用Ｉ １ 表示 待配准图像用Ｉ ２ 表示 尺寸均为Ｍ×Ｎ Ｍ 代表图像的行数 Ｎ 代表图像的列数 通过ＳＵＲＦ方法检测到Ｉ １ Ｉ ２ 的特征点集合分别表示为 Ｐｏｓ １＝ ｘ′ １ ｙ ′ １ ｘ′ ２ ｙ ′ ｘ′ ｉ ｙ ′ ｉ ｘ′ｍ ｙ ′ｍ １ｉｍ Ｐｏｓ ２＝ ｘ１ ｙ １ ｘ２ ｙ ２ｘ ｊ ｙ ｊ ｘ ｎ ｙ ｎ １ｊｎ
其中 ｍｎ分别表示Ｉ１ 和Ｉ ２ 特征点的数量 将图像水平依次放置于同一坐标轴下 形成尺寸为 Ｍ×２ Ｎ的图像
图像Ｉ １ 和Ｉ ２ 中 任意两个特征点之间的斜率可以通过ｋ＝ ｙ＋Ｎ－ｙ ′ ｘ－ｘ′ 表示 如图３所示其中点 ｘ′ｙ ′ 和 ｘｙ 为图像Ｉ １ Ｉ ２ 中的一组匹配
点对 根据先验知识可知正确的匹配点间连线的方向基本一致 将此特征称为斜率一致性
２．４．２ 特征点匹配算法
针对 ＲＡＮＳＡＣ算法１９ 不能保证最终的匹配点对完全正确的问题 根据正确匹配点对之间的斜率一致性的先验知识 提出一种新颖的特征点匹配策略 步骤为
１ 对Ｐｏｓ １中的每个点ｉ 计算其与Ｐｏｓ ２中所有的点之间的欧氏距离 选择最小欧氏距离对应的点作为点ｉ的粗匹配点
２ 对所有的粗匹配点对按照欧式距离由小到大的顺序对其排序 并删除其中多点对一点的点对 此时图像Ｉ １ 和Ｉ ２ 中的特征点 分 别 用Ｐｏｓ １ ′和Ｐｏｓ ２ ′表示 ３ 选择集合Ｐｏｓ １ ′和Ｐｏｓ ２ ′中前Ｋ１ 对匹配点记作Ｐｏｓ Ｋ１＝ ｘ′ １ ｙ ′ １ ｘ１ ｙ １ ｘ′ ２ ｙ ′ ２ｘ２ ｙ ２ ｘ′Ｋ１ ｙ ′Ｋ１ ｘＫ１ ｙＫ１ 称为集合１ 选择集合Ｐｏｓ １ ′和Ｐｏｓ ２ ′中前Ｋ２ 对匹配点 用ＰｏｓＫ２ 表示 其中 Ｐｏｓ Ｋ２ ＝ ｘ′ １ ｙ ′ １ ｘ１ ｙ １ｘ′ ２ ｙ ′ ２ ｘ２ ｙ ２ ｘ′Ｋ２ ｙ ′Ｋ２ ｘＫ２ｙＫ２ 称为集合２ 其中 Ｋ１＜Ｋ２
４ 对于集合２中所有的点对 计算两点间的斜率 即 ｋ ｉ ＝ｙ ｉ＋Ｎ－ｙ ′ ｉｘｉ－ｘ′ ｉ１ｉＫ２ ７并对其四舍五入取整 形成斜率集合ｋ＝ ｋ １ ｋ ２ｋ ｉ
５ 统计斜率集合中每个斜率出现的频数 筛选频数大于等于２的斜率 形成新的集合ｋ ｎｅｗ＝ ｋ １ｋ ２ ｋ ｑ 理论上集合ｋ ｎｅｗ中元素个数小于ｋ中元素个数 如果每个斜率出现的频数都为１ 则选择前２ Ｋ２ ３对的斜率构成新的集合ｋ ｎｅｗ
６ 遍历计算Ｐｏｓ １ ′和Ｐｏｓ ２ ′中所有的点对的斜率 筛选出斜率在区间 ｋｉ－０． ５ｋ ｉ＋０． ５ 内的所有的点对 形成点对集合Ｐｏｓ Ｋ 其中ｋ ｉ∈ｋ ｎｅｗ
７ 从集合１中按照排列组合的方法依次选出３７９７ 第７期 许金鑫等 基于斜率一致性的电气设备红外与可见光图像配准方法 ｄ 本文方法配准效果图 为了直观地展示配准效果 将配准后的图像与可见光图像叠加 如图 ｅ －ｈ 所示 图 ｅ － ｈ 分别是文献 １６ １７ １８和本文方法所得 并将叠加图像中出现的配准偏差部分局部放大显示 文献 １６ 采用的方法对于第１２和４组图像能够完成配准 但对于第３组图像则配
准失败 这是由于文献 １６ 所采用的方法只适用于设备温度差异不大的情况 而从图７中红外图像可以明显看出 设备温度分布不均匀 因此导致配准失败 从图 ｈ 可以看出 两幅图像中同一目标的位置基本吻合 而其他３种方法配准结果则存在轻微偏差 可见 本文方法能够在粗边缘特征上检测更精确 的ＳＵＲＦ特征点 在４种方法中配准效果是最优的
结论
提出了一种基于斜率一致性的红外与可见光图像配准方法 首先通过数学形态学的方法提取红外与可见光图像的边缘 然后通过ＳＵＲＦ 算法提取两幅边缘图像的特征点 根据正确的匹配点对之间斜率一致性的先验知识 进行特征点匹配 最后通过最小二乘法求得仿射变换模型参数并实现两幅图像的配准
本文的贡献主要有 １ 提出的基于多方向结构元素 不同权值的形态学边缘检测算法 解决了图像间一致性特征难以提取的问题 相对于Ｃａｎｎ ｙ算法小波模极大值算法 得到的图像边缘更粗 特征点的定位也更加精确 ２ 根据正确的匹配点对之间斜率一致性的先验知识提出的特征点匹配算法 保证了匹配点对的准确率 同时提高了匹配的效率实验结果表明 本文方法有效提高了匹配点对的正确率 能够对电气设备红外和可见光图像实现高精度的配准 同时 本文提出的特征点匹配算法相比于ＲＡＮＳＡＣ算法降低了迭代次数 在算法执行效率上得到了明显的提高
参考文献：
1 张宏伟 樊祥 朱斌 等． 引入外点剔除机制的双波段红外图像的配准 Ｊ ． 红外与激光工程 ２０１５４４ Ｓ １ ２３ －２８．
2刘晓诚 薛模根 黄勤超 等． 基于矩阵恢复的红外偏振图像分区配准算法 Ｊ ． 红外与激光工程 ２０１４４３８２７３３ － ２７３９．
3倪鼎 马洪兵． 基于区域生长的多源遥感图像配准 Ｊ ．自动化学报 ２０１４４０６ １０５８ － １０６７
4金宏彬 范春晓 李永 等． 基于人工交互的多模态图像亚像素配准 Ｊ ． 北京邮电大学学报 ２０１５３８１ １１ －１５．
论文作者:凌飞
论文发表刊物:《基层建设》2018年第15期
论文发表时间:2018/7/23
标签：图像论文; 特征论文; 斜率论文; 算法论文; 可见光论文; 边缘论文; 形态学论文; 《基层建设》2018年第15期论文;