基于深度神经网络的视频编码快速算法研究文献综述

 2022-08-09 19:42:04

一、文献综述

(一)国内外研究现状

现代视频编码标准,如H.265/HEVC和AV1,都是采用了多种压缩标准的视频编码框架。在这些现代的视频编码框架中,运动补偿是作为能够消除视频序列中的信息冗余而被视作最重要的模块之一。运动补偿的原理是当前编码块能够从之前已经编码的参考帧中推测出来,从而通过对编码块的原始值和预测值的残差进行编码而不是对预测像素值进行编码来消除视频序列时间和空间上的冗余,从而降低比特率,提高编码效率。由于物体或摄像机的移动,一个物体即使在连续帧中的位置通常不会完全对齐。为了解决参考图像和当前编码块像素不是完全对齐的问题,我们需要在之前的重建帧中找到与当前编码块最相似的参考块。参考块与编码块之间在不同帧上的位置变化被称作运动矢量。找到使得参考块和编码块最像似的运动矢量的过程被称为运动估计。过去的一些视频编码标准,如H.261定义了运动补偿,并规定运动矢量是一个整数值。整数值的运动估计能够较好的找到与当前编码块像素值近似的参考块。但是这也意味着当前编码块在参考帧上的参考位置必然是一个整数位置。但是由于视频图像在时域上的不连续性,物体移动的位置不一定是整像素。简单的整像素位置的运动补偿只能在编码效率上得到有限的收益。随着社会与科技发展,整像素位置运动补偿已经不能满足当前互联网视频内容爆发式增长的编码需求。为了得到更高的视频编码精度,定义新的运动补偿标准已经刻不容缓。为了解决这个问题,现代的视频编码标准不仅采用了整像素运动估计,更定义了亚像素运动估计的概念。常见的获得亚像素的方法有双线性插值,滤波器插值等。通过对整像素进行亚像素插值,我们能够得到预测的亚像素位置的像素值。常见的亚像素插值的精度包括四分之一和八分之一。实践证明,采用亚像素插值能够有效的提高视频编码的预测精度,从而提高编码质量。

Python 基于信息化最新领域的应用使得它更具有魅力,自从1991 年Python 开始成为国外广受欢迎的动态编程语言开始,到目前为止Python 在许多领域都有了比较成功的应用,例如Google 核心搜索引擎Python 实现;美国宇航局使用Python 实现CAD/CAE/PDM 库及模型管理系统;全球知名的光影技术先驱Industrial Light amp; Magic 使用Python 处理电影光影合成;全球最大的游戏厂商EVE-online 利用Python 使同时服务10.000 名玩家在同一个程序的内存空间成为可能;Yahoo 使用Python 建立起全球范围的站点群;迪斯尼乐园Disney 使用Python 的动画。

Tensorflow是由Google开发的一个主要使用Python机器学习软件库,用于各种感知和语言理解任务的机器学习。目前被超过50个团队用于研究和生产。从2010年开始,Google Brain建立DistBelief作为他们第一代专有的机器学习系统。超过50个团队在Google即其母公司的商业产品上部署了DistBelief的深度学习神经网络,包括Google搜索、Google翻译等。Google指派计算机科学家来简化和重构DistBelief的代码库,使其成为一个更快,更健壮的应用级别代码库,在此基础上形成了TensorFlow。TensorFlow的参考程序虽然运行在单台设备上,但它同样能够运行在多个GPU和CPU上。同时,TensorFlow能够运行在各种不同的平台上,如Linux,Windows,MacOS等。

(二)研究主要成果

在早期的视频编码标准中,运动补偿仅仅只是从当前帧中减去参考帧,从而得到含有少量信息的残差。通过对残差的编码,能够使用较少的比特流进行传输。更重要的是,在解码端可以使用简单的加法恢复编码帧。更加复杂的设计是估计整帧场景的移动和场景中物体的移送,并将这些运动按照一定的规则传输到码流中去。通过这样的方法预测帧的像素值是由参考帧上有一定位移的对应像素值生成的。这种方法能够得到更小的残差从而获得更好的压缩比。但是需要注意的是,用来描述运动矢量的参数不能在码流中占据太多的部分,否则会抵消运动补偿所带来的好处。更进一步的有全局运动补偿和分块运动补偿。全局运动补偿只考虑整帧图像的移动。分块运动补偿则是将一帧分为不同大小的编码块进行运动补偿。最新的H.265/HEVC采用亚像素精度的运动补偿。研究表明,四分之一精度的亚像素运动补偿能够降低大约20%的码率。

自从Google Brain开源TensorFlow之后,它帮助加速了机器学习的研究,也帮助科技给人们带来更好的服务。在Github上,TensorFlow是最受欢迎的机器学习项目。尤其是在图像处理领域中,以神经网络为基础的卷积神经网络在不同问题上均表现出了极强的能力,如图像分类,边缘识别,超分辨率解析等。而TensorFlow作为最受欢迎的深度学习框架,在这些问题的网络结构实现上均有良好的表现。

(三)发展趋势

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。