量子稀疏高斯过程算法的研究及其应用文献综述

 2023-08-10 15:12:40

文献综述(或调研报告):

一、对高斯过程稀疏化的研究

对高斯过程的研究由来已久。作为机器学习领域中的一个著名模型,高斯过程可以用于处理监督学习下的回归问题和分类问题,其优点是简单、直观、易操作,可以提供预测值的不确定性分析,缺点是针对大数据集的训练时间复杂度太高,计算量大。针对高斯过程的缺点,需要对高斯过程进行稀疏化,已掌握的文献资料显示,以往主要从以下几方面开展研究:

1、数据子集近似

在众多降低计算复杂度的方法中,数据子集近似是最简单的方法,仅选择原n维训练集的一个维数为m的子集作为新的训练集,用于高斯过程回归预测。对于高度冗余的数据集而言,剔除额外数据点可以在不牺牲精度的前提下获得性能上的改善。应用数据子集近似方法的关键是选取合适的数据子集,通常采用的方法有:1)随机选取;2)贪心算法。Mattbias Seeger等人的研究[1]表明,信息向量机具有出色的表现。

2、降秩近似

降低计算量的另一种思路是对协方差矩阵Kn进行降秩近似,即令协方差矩阵Kn=VVT,其中V为ntimes;m维(mlt;n)矩阵,由矩阵求逆引理可以得到ntimes;n维矩阵求逆已经转变为mtimes;m维矩阵求逆,训练计算量由O(n3)降至O(n2m),预测计算量由O(n2)降至O(m2)。如何实现协方差矩阵的降秩近似是关键,可以采用高效的近似特征值分解方法。其中应用比较广泛的是Nystrouml;m近似法[2],它使用矩阵的部分列来近似整个矩阵,训练计算量降至O(m2n),单测试样本的均值和均方差预测计算量分别降至O(n)和O(mn)。除此之外,还有回归量子集法,回归量子集法最早由Silverman在1985年给出,由Wahba在1999年重新提出命名,其参数模型是有限线性的,具有特定的权值先验[3]。回归量子集法的训练计算量为O(m2n),单测试样本的均值和均方差预测计算量分别为O(m)和O(m2)。

3、稀疏伪输入

前述近似方法普遍存在一个问题:由于需要重复选择活动点集和最优化超参数,新点集会干扰超参数的最优化,可能导致收敛困难,参数学习结果可靠性降低。Snelson等人提出了稀疏伪输入法,其协方差由M个通过梯度优化得到的伪输入点的位置参数化,同时使伪输入点集大小M远小于真实数据集大小N,这样得到了一个训练计算量为O(M2N),预测计算量为O(M2)的稀疏高斯过程。稀疏伪输入可以看作是一个具有特定输入相关噪声的贝叶斯回归模型,与其它几种稀疏高斯过程方法有着密切的联系。这种方法可以在输入非常稀疏的情况下与完全高斯过程的性能相匹配[4],并且在这种情况下明显优于前述稀疏化高斯过程方法。

二、量子计算的研究

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。