基于相关滤波的追踪算法研究文献综述

 2022-11-28 17:34:33
{title}{title}

一、运动目标追踪发展历史

2010 年以前,目标跟踪领域大部分采用一些经典的跟踪方法,比如 Meanshift、Particle Filter 和 Kalman Filter,以及基于特征点的光流算法等。

在 2010 年左右,目标跟踪领域采用的方法通常分成基于产生式模型的方法和基于鉴别式模型的方法。

2012 年因 P.Martins 提出的 CSK 方法基于相关滤波的跟踪算法开始流行,这是一种基于循环矩阵的核跟踪方法,并且从数学上完美解决了密集采样(Dense Sampling)的问题,利用快速傅立叶变换实现了检测的过程。

近些年来,基于深度学习技术的目标追踪方法的研究愈加深入应用愈加广泛。在大数据背景下,利用深度学习训练网络模型,得到的卷积特征输出表达能力更强。

二、国内研究现状

目前在国内很多高校和研究所都开始开展相关的课题,在国内处于领先地位的是中国科学院北京自动化研究所下属的模式识别国家重点实验室,他们在交通场景视觉监控,人的运动视觉监控和行为模式识别方面都进行了深入研究并取得了显著成果。

三、国外研究现状

在国外,麻省理、牛津大学等都专门设立了与运动目标检测相关的研究实验室。如IBM,Microsoft等著名的公司和研究机构也在智能监控系统的研究方面投入了大量的人力和物力,并且部分研究成果还以转化为了产品投入市场。

Housni K Mammass D,Chahir Y [8]等人在背景和运动物体一起运动的实验中提出了一种基于图像切割的参数运动模型跟踪法。

Latecki和Megalooikonomou[11]等人用新颖的时空块来减少视频图像检测和跟踪运动目标物体时候的不确定区域的方法实现运动目标物体实时跟踪。

Chaudhari和AdhiyaK[12]提出了一种基于时空背景差分内核的检测和跟踪技术。

可以看到世界各地对于运动目标检测与追踪的研究都在如火如荼的进行。

四、目标跟踪的最新研究进展

①强化学习成功应用

近几年,强化学习方法受到广泛关注,作为一种介于半监督与无监督之间的训练方法,非常适用于目标跟踪这个缺乏训练样本的领域。ADNet算法是强化学习在目标跟踪领域的一个成功应用。算法通过强化学习得到一个智能体来预测目标框的移动方位及尺度变化,在当前帧中,以前一帧的目标位置为初始点,经过多次方位估计、位移和尺度变化,得到最后的目标位置。与此不同,算法利用策略学习得到智能体用于模板选择。无监督或弱监督学习是目标跟踪领域的一个新兴方向,具有巨大的潜力。

②速度方面有效改进

虽然深度特征具有传统特征无法比拟的抗干扰能力,但是一般提取速度较慢,而且特征中存在大量冗余。当算法精度达到一定标准之后,很多方法开始着力解决算法速度问题。孪生网络是其中的一个典型例子,采用两路神经网络分别输入目标模板和搜索图像块,用来进行模板匹配或候选样本分类。其中一路神经网络对于模板信息的保存可以提供跟踪物体先验信息,取代网络在线更新,大大节省了速度。另外,对深度特征进行降维或自适应选择也是加速算法的有效途径。

③传统跟踪算法的网络化

深度学习方法具有优秀的特征建模能力,相关滤波算法利用循环矩阵的性质进行计算,速度很快。很多算法着眼于将相关滤波的思路应用到网络中去。CFNet]算法将滤波器系数转换为神经网络的一层,推导出前向与后向传播的公式,实现了网络的端到端训练,算法速度可达每秒几十帧,满足了实时性的要求。传统算法发展至今,有很多可以借鉴的巧妙方法,如果能将其应用到神经网络中去,将对算法效果有较大的提升。

五、未来发展方向

目标跟踪的未来发展方向可总结为下面三个方面:

①无监督或弱监督方向。

限制深度目标跟踪算法发展的一个主要原因是训练样本的缺乏,没有像图像分类任务那样的大规模训练样本,而且在线跟踪时只能给定第一帧的信息,难以训练一个适合当前跟踪物体的网络模型。近几年来,无监督或弱监督方法受到人们的广泛关注。也有一些算法开始尝试将强化学习应用到目标跟踪领域。对抗网络可以生成迷惑机器的负样本增强分类器判别能力。这些无监督和弱监督的方法可以有效地解决目标跟踪领域样本不足的问题。

②速度改进方向。

速度是评价在线目标跟踪算法的一个重要指标。由于深度神经网络复杂的计算及模型更新时繁琐的系数,现存大部分深度目标跟踪算法速度都比较慢。很多深度目标跟踪算法采用小型神经网络(如VGG-M)来提特征。另外,跟踪中只给定第一帧目标位置,缺少跟踪物体先验信息,这就要求模型实时更新来确保跟踪精度,而这在深度目标跟踪算法中往往非常耗时。一些算法采用孪生网络结构来保存先验信息,代替模型在线更新,使得算法速度得以提高。深度特征的高维度也会影响跟踪算法的速度,如果能够提出有效的特征压缩方法,不管对算法速度还是精度都会有所帮助。只有高速且有效地算法才具有实际的应用价值。

③有效网络结构探索。

影响深度神经网络效果的两个主要因素是网络结构和训练数据。现存大部分深度目标跟踪算法均采用CNN结构,虽然CNN结构具有很好的特征提取能力,但是难以建模视频帧中的时间连续性信息。一些算法采用RNN结构构建目标跟踪模型,但效果并不是很突出,仍需探索发展。还有一些新型的网络架构(如ResNet和DenseNet等),在图像分类领域取得很好的效果,这些网络架构是否能在目标跟踪领域成功应用也是令人期待的方向。

毕 业 设 计(论 文)开 题 报 告

2.本课题要研究或解决的问题和拟采用的研究手段(途径):

一、研究手段

运动目标跟踪就是在一段序列图像中的每幅图像中实时地找到所感兴趣的运动目标(包括 位置、速度及加速度等运动参数)。而对于核相关滤波器跟踪算法,则是将跟踪目标区域进行循环移位, 构造大量的样本来训练分类器. 再根据分类器计算候选区域与跟踪目标的相似程度, 选取相似度最大的候选区域为新的跟踪目标, 同时利用离散傅里叶变换降低分类器训练和检测过程中的运算量[1]

在研究中还需用到以下处理方法:

1、 HOG 特征

HOG(Histogram of Oriented Gradient, HOG)即梯度方向直方图特征, 是在计算机视觉和图像处理领域,目标检测的特征描述子。用于计算图像局部出现的方向梯度,并将其作为图像特征[2]

  1. 岭回归

岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。

回归分析中常用的最小二乘法是一种无偏估计。对于一个适定问题,X通常是列满秩的

采用最小二乘法,定义损失函数为残差的平方,最小化损失函数

上述优化问题可以采用梯度下降法进行求解,也可以采用如下公式进行直接求解

  1. 循环处理

对所获得样本x进行变换,获得循环矩阵X。矩阵X完全由指定样本向量x循 环 移 位 生成,无论生成向量x为何值,所有循环矩阵都能被离散傅里叶变换 (DFT)

矩阵对角化如下:

X=Fdiag()FH

  式中,F是离散傅里叶矩阵,它是一个与X无关的常量矩阵;FH是F的共轭转置,=Fx 表示x的DFT,即有

=F(X)。

二、研究的主要内容

通过学习KCF追踪器相关知识,设计一个能满足基本要求的KCF追踪器。再对KCF追踪器进行处理,从特征算子中得到描述矩阵,替换KCF中的相应部分。最后在KCF追踪器中添加防遮挡的重检测机制,使运动目标检测追踪的精度进一步提高。

三、研究的目的和意义

现如今人工智能技术快速发展,人们对电子设备的智能性,便捷性以及工作效率都提出了更高的要求。对于运动目标的追踪可以在视频监控、航空航天、军事侦探、智能捕捉等领域发挥重大作用。而基于相关滤波器的KCF高速目标追踪器,可以有效解决传统方法中出现的易变性,操作复杂,精度差等问题[5~8] 。目前对运动目标物体区域做出相应分析和处理等,都是视频中运动物体的检测和跟踪中非常关键的部分[9]。对于目前用人力处理比较不现实的监管、分析、理解和后续操作的系统更智能化是新形势下的新要求[10]。KCF主要的优势是速度快,目标物体的跟踪的实时性好,并且准确率也很高[13]

四、研究的思路和方法

  1. 利用摄像头采集模拟视频图像信息。
  2. 用检测到的运动目标物体的兴趣区域确定目标物体的大小。
  3. 把目标物体作为中心样本经过各个方位的循环转换,形成多个训练样本。
  4. 转换到数字计算层面也就形成了循环矩阵,简化计算,获得图像兴趣目标子窗口函数。

五、研究具体步骤

1、2018.12.07~2018.12.31 通过自学与基于相关滤波器的目标追踪的相关的知识,阅读相关文献,阅读相关的书籍,对于目标追踪的概念有一定的了解,收集相关的资料,熟悉现有的运动目标处理程序,撰写并提交开题报告和外文翻译。

2、2019.01.01~2019.01.27 通过进一步的学习基于相关滤波器的目标追踪的相关书籍和文献,学习关于运动目标监测和追踪的相关方法,学习各种不同方法的处理原理和处理步骤并进行比较,重点学习KCF跟踪算法,并学会应用,自己动手实现一个能满足基本要求的KCF追踪器。

3、2019.02.25~2019.03.31 对前面实现的KCF追踪器进行进一步改进,利用成熟的循环矩阵理论和傅里叶分析方法,对KCF追踪器进行处理,从特征算子中得到描述矩阵,替换KCF中的相应部分,得到一个较为成熟的KCF高速追踪器。用大量样本对KCF追踪器进行在线训练,每个成功的检测都提供了关于被检测目标的更多信息。

4、2019.04.01~2019.05.16进一步完善KCF追踪器,在KCF追踪器中添加防遮挡的重检测机制,使运动目标检测追踪的精度进一步提高。撰写毕业论文完善相关的程序和说明文档,并将其上交。

六、论文提纲

第一章 绪论。简明叙述本课题的研究背景和研究意义。

第二章 基于KCF的目标追踪系统的总体设计。

第三章 介绍KCF追踪器中添加的防遮挡的重检测机制,并说明其原理和作用

第四章 基于运动目标物体的检测的KCF追踪器的训练过程和结果分析。

第五章 基于KCF的追踪器的算法研究和检测精度分析。

第六章 总结与展望。

七、拟解决的关键问题

1、设计一个KCF追踪器

2、从特征算子中得到描述矩阵,替换KCF中的相应部分

3、在KCF追踪器中添加防遮挡的重检测机制

参考文献

[1] Henriques JF, Rui C, Martins P, et al. High-speed tracking with kernelized correlation filters. IEEE Trans. on Pattern Analysis amp; Machine Intelligence, 2015, 37(3): 583–596.

[2] Dalal N, Triggs B. Histograms of oriented gradients for human detection. IEEE Conference on Computer Vision amp; Pattern Recognition. 2013. 886–893.

[3] Rifkin R, Yeo G, Poggio T. Regularized least-squares classification. Acta Electronica Sinica, 2003, (190): 93–104.

[4]Gray RM. Toeplitz And Circulant matrices: A review (foundations and trends(R) in communications and information theory). Now Publishers Inc, 2006.

[5]袁宝红.基于视频的运动目标检测与跟踪研究[D].安徽:安徽大学,2014:2-4.

[6]白晓方.复杂背景下目标检测与跟踪技术研究[D].山西:中北大学,2014:2-17.

[7]周恩策.基于固定单视点的目标检测与跟踪技术研究[D].苏州:苏州大学,2011:14-14.

[8] Housni K Mammass D,Chahir Y Moving Objects Tracking in Video by GraphCuts and Parameter Motion Model[J].International Journal of Computer Applications,2012,40(10):20-27

[9]容慧.基于视频的运动目标跟踪算法研究[D].西安:西安工业大学,2009.

[10]刘龙.基于海事监控平台的船舶目标检测与自主跟踪系统的研究[D].湖南:湖南师范大学,2014:1-2

[11]Latecki L J,Megalooikonomou v,Miezianko R Pokrajac D.Using spatiotemporal blocks to reduce the uncertainty in detecting and tracking moving objects in video[J].International Journal of Intelligent Systems Technologiesamp;Applications,2006,1(3/4):376-392.

[12]Chaudhari P P,Adhiya K P.Detecting and tracking moving objects in video using background subtraction and spatio---temporal kernel technique[J].Researchers World Journal ofArts Scienceamp;Commerce,2013,4(3):117.

[13]Bibi A,Ghanem B.Multi-template Scale-Adaptive Kemelized CorrelationFilters[C]//2015 IEEE International Conference on Computer Vision Workshop(ICCVW).IEEE Computer Society,2015,pp.613—620.

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。