原创 Light新媒体 中国光学 收录于话题#光学精密工程21个
模板匹配技术是计算机视觉领域一个基础又重要的研究方向，该技术在诸多领域有着广泛的应用，如地图与地形的匹配、生理病变的检测、视频监控系统中的目标定位与跟踪等。
目前，模板匹配算法主要应用于解决工业场景下的灰度图像匹配问题。而在自然场景下，由于存在着复杂多变的不可控因素，且现有的模板匹配算法的鲁棒性较差，难以实现复杂场景下的精准模板匹配。因此针对自然场景下的高精度高鲁棒性的模板匹配技术很有研究价值。
近日，中国科学院沈阳自动化研究所江苏蓬、向伟研究员、刘云鹏研究员与罗海波研究员在《光学精密工程》（EI、核心期刊）发表了题为“采用多特征共生矩阵的模板匹配”的文章。
该文章重点解决在模板匹配过程中，目标图像发生局部遮挡、背景变化、光照变化以及剧烈非刚性形变等情况下出现的匹配失败问题，提出了一种基于多特征融合的共生矩阵模板匹配算法。
1 引言
模板匹配是通过使用特定的算法在目标图像中寻找与模板图像特征内容最为相似的区域。但在实践过程中，由于图像拍摄时间、角度、环境的不同使得目标图像中目标区域与模板图像会存在一定的差异。这些不确定因素所造成的复杂场景(如光照变化、背景变化、遮挡、刚性以及非刚性形变等)会为模板匹配技术带来极大的挑战。如何实现复杂场景下的成功匹配就成为当前模板匹配算法的研究重点之一。
相似性度量是模板匹配算法的核心，传统的模板匹配算法通常采用直接对图像中的所有像素点进行逐像素匹配计算。这类算法虽然运算过程简单，但由于其面向所有特征点施加距离计算，对目标物体没有针对性，所以对背景变化非常敏感。并且当模板图像与目标图像之间存在非刚性形变、遮挡等复杂变换时，匹配精度会大幅度下降。此外，大多数的模板匹配算法需要在模板图像和目标图像之间建立一个特定的几何参数模型，这也使得这类算法只能解决某一类场景问题，从而限制了算法的适用范围。所以在复杂场景下，使用传统的模板匹配算法通常难以匹配到正确区域。
最近几年出现了一系列基于最近邻场NNF (Nearest Neighbor Field) 的模板匹配方法，如BBS (best-buddies similarity) 算法、DDIS (deformable diversity similarity) 算法、DIWU (deformable image weighted unpopularity)，这类算法能够在无需任何先验知识或假设的前提下，并只依赖于NNF所计算得出的关键点集进行匹配，其本质是通过图像块之间的相似性来解决复杂场景下的匹配问题。这种方法将模板匹配算法的性能提升到一个新高度，是目前应对复杂自然场景下模板匹配问题的最好方法。
由于BBS算法、DDIS算法只考虑了图像的局部信息，当目标物体(前景)与背景之间对比度较低时(如目标过小、目标与背景颜色相似、背景过于杂乱)，或发生大面积遮挡、剧烈非刚性形变等情况时，匹配精度会下降；当同时包含多种复杂场景时，则很难匹配到正确区域。此外，传统的模板匹配算法通常只提取一种图像特征，这样很难捕获到足够的图像信息。针对这些问题，该文提出了以共生矩阵作为相似性度量的模板匹配方法，利用共生矩阵从多特征融合所获取的大量数据中学习图像之间的相似性，能够很好的对抗光照变化、背景杂乱、几何形变、遮挡等复杂情况。与BBS和DDIS算法相比，匹配精度更高、算法鲁棒性更强。
2 基本原理
(1) 共生矩阵
Hseu等人在1999年首次提出了利用共生矩阵进行模板匹配的思想，但当时只考虑了灰度图像和二维平移的简单情况。通过对共生滤波器的研究发现，共生矩阵可以捕获图像的纹理属性而不是像素值之间的直接差异，从而隐式地表达一定的纹理相似性。通过捕获并统计全局的共生信息可以得到每一个候选窗口的共生分数，我们认为来自相同纹理属性区域的图像可以获得较好的共生分数。共生矩阵是一个对称矩阵，其对角线上的元素为其自身像素在图中出现的次数，而共生矩阵的求解实质上就是遍历图像修改权重累计求和的过程。通过共生矩阵我们可以了解到两个像素值在同一区域内共同出现的概率。
(2) 特征选取
图像的特征提取是图像处理过程中的关键一步，对后续的匹配计算有着重要的影响。该文选择了3种常用的图像特征：颜色特征、HOG特征、深度特征，它们分别表征了图像的3类不同特征属性。
颜色特征是一种通过像素值大小描述图像中景物表面性质的全局特征，由于其数据量小，便于查找且观感强烈，使得颜色特征成为图像处理领域最常用的图像特征。但因其对图像区域的大小、方向、空间位置等信息缺乏敏感性，所以本文选择将其与其它图像特征结合使用。
梯度方向直方图(HOG)作为一种对边缘形状和梯度非常敏感且能够高效捕获图像边缘信息的算子，在对图像进行检测时它能够对位置与方向空间进行量化从而削弱图像位置变化带来的影响，所以HOG特征对几何形变与光照变化都能保持良好的不变性。
图像的颜色特征和HOG特征只是提取物体的表面特征(浅层特征)，而通过深度学习的自主学习能力能够帮助我们寻找图像数据背后的规律，捕获更加本质的图像深层特征。利用卷积神经网络CNN来提取图像的深度特征，CNN的局部感知、池化以及参数共享特性能够有效减少参数，降低机器负载加快运行速度。
(3) 多特征融合与图像匹配
不同的图像特征可以表征不同的图像信息，而得到的图像信息越多对模板匹配就越有利，该文通过特征融合的方法将3种图像特征进行整合，提供更加完备的图像信息，从而提高匹配算法的准确性和鲁棒性。特征融合需要经历特征提取、特征串联、PCA降维以及k-means聚类四个步骤。
图1为该文算法的流程图，经过图像预处理、多特征提取与融合后，将图像特征量化为k个簇类，通过求解共生矩阵来统计每个簇类对在目标图像中共同出现的次数，并采用共生统计的方法来求解每个簇类的共生概率，从而寻找最优匹配位置。
图1 算法流程图
3 实验结果
该文在OTB公共数据集上进行了实验评估，从数据集中选择35个标准彩色视频序列，通过恒定帧差进行采样，每个视频截取3对图像，总共采集105对模板图像。每一对图像的第一幅作为参考图像用于提取模板，第二幅图像作为待匹配的目标图像，所得到的图像数据集涵盖各种各样的挑战：复杂的几何形变，光照变化，尺度差异，旋转，局部遮挡等。
通过与目前一些匹配效果较好的模板匹配算法进行了性能对比，进行比较的算法有：DDIS、BBS、SSD、NCC、SAD以及HM(颜色直方图匹配算法)。根据实验结果绘制了成功率曲线图 (如图2)。
图3选取了6组具有代表性的匹配结果，这6组图像包含了常见的一些具有挑战性的复杂场景：几何形变、近似目标区域干扰、背景杂乱、光照变化、局部遮挡、目标对象过小等；且一般为几种复杂情况同时存在。图3中的前两列分别代表模板图像和待匹配图像，后4列则表示各种算法的置信度图。从匹配结果上看(绿色为真值框、紫色框为本文算法匹配结果)，DDIS算法只能成功匹配上很少一部分， BBS算法全部以失败告终，而该文的算法能够成功匹配到正确目标位置。从置信度图上对比可以发现，该文算法的置信度图是非常干净的，并且在正确位置上具有非常强烈的响应。
图2 不同模板匹配算法的成功率曲线
图3 不同模板匹配算法匹配结果：(a) 模板图像；(b) 目标图像中4种方法的匹配结果：BBS、DDIS-C、DDIS-D、该文算法；(c-f) 4种方法对应的置信
4 结论
传统的基于相似性信息统计的模板匹配算法未能充分利用各类图像特征信息，且在多种复杂情况共存的场景下算法匹配精度较低，鉴于这些缺点该文提出了一种基于共生矩阵的多特征融合模板匹配算法。
提取图像的颜色特征、HOG特征与深度特征，并通过PCA与K-means算法对图像特征进行降维分类实现特征融合，从而捕获更充足的局部特征信息，再通过对共生矩阵进行信息统计的方法得到全局信息共生得分，从而将高分数区域作为模板匹配结果。
从实验结果可以看出，较目前较好的几种模板匹配算法都有较好提升。且该算法能够适应更为复杂的匹配场景，算法的鲁棒性更强，匹配精度更高。
作者简介:
江苏蓬，博士在读，2017年于郑州大学获得学士学位，2017年至今年在中国科学院沈阳自动化研究所攻读博士学位，主要从事图像匹配、目标跟踪等方面的研究。
向伟，研究员，硕士生导师。1994年于大连理工大学获得学士学位，现为中国科学院沈阳自动化研究所光电信息研究室主任，中国科学院光电信息处理重点实验室副主任，所学术委员会委员。长期从事光电成像、光电信息处理技术研究。作为总设计师或主要参加人员，主持和参与完成多项国家重点型号配套项目研制，产品填补国内空白，达到国际先进水平，成果获国家科技进步二等奖1项、省部级科技进步一等奖2项，申请发明专利13项。
刘云鹏，博士，研究员，博士生导师，2002年于青岛理工大学获得学士学位，2005年于沈阳建筑大学获得硕士学位，2011年于中国科学院沈阳自动化研究所获得博士学位，2015年-2016年，美国科罗拉多州立大学数学系访问学者。中国科学院青年创新促进会会员。专注于光电成像目标识别的基础与工程应用研究，近年来作为项目负责人承担完成10多项国家和中科院科技创新重点基金、共用技术项目。提出了系列化创新技术方案，研究成果支撑了现阶段研究所承担的多个航空领域国家重点项目研制工作。是国际上较早开展微分流形在图像识别中应用的研究者之一，发表学术论文70余篇，其中SCI/EI检索53篇。申请和授权专利11项。获中国科学院杰出科技成就奖1项，中国科学院院长优秀奖1项。
罗海波，博士，研究员，博士生导师，1990年于哈尔滨工业大学获得学士学位，2009年于中国科学院沈阳自动化研究所获得博士学位，中国图像图形学学会会员，辽宁省人工智能学会理事，先后参与过包括载人航天工程等国家重点工程在内的数十个科研项目的研究工作。获国家发明二等奖1项；军队科技进步一等奖1项；国防科技进步三等奖1项；军队科技进步三等奖1项。发表学术论文十余篇，申请发明专利二十余项。
论文信息
江苏蓬, 向伟, 刘云鹏, 等. 采用多特征共生矩阵的模板匹配[J]. 光学精密工程, 2021, 29(6):1459-1467. DOI：10.37188/OPE.20212906.1459
论文地址
http://ope.lightpublishing.cn/thesisDetails#10.37188/OPE.20212906.1459
编辑 | 赵阳
欢迎课题组投递成果宣传稿
转载/合作/课题组投稿，请加微信：447882024
往期推荐
Light: Science & Applications | 光的“降噪”：抑制光的反向散射
Nature Photonics | “机器学习”在超快光子学中的应用
Science | 微型光谱仪的30年进展
新刊推荐
开 放 投 稿：Light: Advanced Manufacturing
ISSN 2689-9620
期 刊 网 站：www.light-am.com
开 放 投 稿：eLight
CN 22-1427/O4 ISSN 2662-8643
期 刊 网 站：elight.springeropen.com
原标题：《多特征共生矩阵模板匹配算法》