摘 要

随着科学技术的高速发展，我们的生活处在大数据的环境中，每天接受着各式各样的消息，数据的爆发，时代发展要求着我们更高速地找到接收、分析识别我们所需要的数据信息。人为地去识别接收分类不仅速度缓慢，而且成本高，图像是高维数据的一种，同时是我们接收信息的主要方式，所以高效率、高速度地从图像中获取有效信息成为关注的热点。特征提取是整个图像识别过程中关键的一步，因为特征提取算法的好坏直接决定着降维后的数据是否还拥有原来数据的几何结构，以及是否还保有其主要传递的信息。降维算法的研究多种多样，本文叙述了几种经典降维算法的发展历程，并分析了其优缺点，简要叙述了其算法步骤，同时，本文在LDA-L1不能解决大量异常值的基础上，提出了基于Lp-范数一种线性判别分析迭代算法，并利用实验验证了该算法。

关键词：特征提取； 鲁棒性； Lp、Ls-范数； 线性判别分析

Combining Robust Discriminant Feature Extraction And Selection And Application On Image Recognition

ABSTRACT

With the rapid development of science and technology, our life will be in the big data environment, to accept a variety of news every day, the outbreak of the data, time development request the us to find faster receive, analysis to identify the data information of what we need. Artificially to identify receive classification not only speed is slow, and the cost is high, the image is a kind of high-dimensional data, is the main way we receive information at the same time, so the high efficiency, high speed to obtain effective information from the image is becoming a hot spot of concern. Feature extraction is the key step in the process of image recognition, because the stand or fall of feature extraction algorithm directly determines whether the data after dimension reduction also has geometrical structure of the original data, and whether to hold the main message. Study various dimension reduction algorithm, this paper describes the development of several classic dimension reduction algorithms, and analyzes their advantages and disadvantages, briefly describes its algorithm steps, at the same time, this article in the LDA - L1 cannot solve on the basis of a large number of outliers is proposed based on Lp - norm, a linear discriminant analysis iteration algorithm and the algorithm was validated by experiment.

Key words：Dimension reduction; Robustness; Lp- and Ls- norm; Linear discriminant analysis

目 录

第一章 绪论 - 1 -

1.1 选题背景和意义 - 1 -

1.2 研究现状 - 1 -

1.3 本文研究内容及安排 - 4 -

第二章 经典算法分析 - 5 -

2.1 线性方法 - 5 -

2.1.1 PCA（主成分分析算法） - 5 -

2.1.2 LDA（线性判别分析算法） - 6 -

2.2 非线性方法 - 8 -

2.2.1 LLE（局部线性嵌入） - 8 -

2.2.2 Laplacian Eigenmaps （拉普拉斯特征映射） - 8 -

2.2.3 L1 和 L2 范数 - 9 -

第三章 基于鲁棒的Lp- 和 Ls-范数距离线性判别分析 - 11 -

3.1 Lp、Ls-范数和L1及L2-范数比较分析 - 11 -

3.2 算法分析 - 15 -

3.2.1 理论分析 - 15 -

3.2.2 时间复杂度分析 - 18 -

3.2.3 FLDA-Lsp的初始化问题 - 19 -

3.3 实验验证 - 19 -

3.3.1 数据库描述 - 19 -

3.3.2 实验设置 - 21 -

3.3.3 实验结果及分析 - 23 -

第四章 总结与展望 - 29 -

4.1 总结 - 29 -

4.2 展望 - 29 -

结 论 - 31 -

致 谢 - 32 -

参考文献 - 34 -

第一章 绪论

选题背景和意义

视觉是人类获取信息、认识世界的首要条件，随着科技的进步发展，图像识别也在当今的社会中显得尤为重要，成为研究热点。图像识别已经应用在我们生活的方方面面，比如如今人人都离不开的移动支付，扫描二维码的过程就是一个图像识别的过程。

研究现状

降维是一种图像识别极其重要的工具,降维中的维对特征提取和特征选择有着重要作用。数据降维经典方法分为非线性和线性，包括4种算法，其中一种线性方法是PCA,一种多元统计法。1901年由Pearson提出，1972年，Fukunaga和Yong就对PCA做了相关研究，包括其稳定性问题。随着时代发展，高维数据膨胀，PCA算法也得到了极大的发展。一种新型的主成分分析算法2DPCA也应运而生。PCA的输入样本是一维图像向量，2DPCA与PCA不同，是二维矩阵，从而输入样本时不用将图像转化为一维向量，去除了行向量和列向量的相关性，优于传统PCA。但因为2DPCA只是在列方向降低维数，降维效果不是十分理想，所以就有了双向2DPCA,双向即两个方向上都使用一次2DPCA，从而克服了2DPCA只在列方向上降维的缺点。

另一种线性方法是LDA ，即线性判别分或者Fisher线性判别，Ronald Fisher 1936年由Ronald Fisher提出，60年后，Belhumeur引入模式识别领域。 LDA是有监督的学习方法，即它有一个期望输出值，主要思想是样本投影到低维的坐标系后类内方差达到最小，类间方差达到最大。因为LDA关注类间类内，较之PCA性能更优，这也从一定程度上影响了LDA的发展。如果输入样本的维度高于样本个数时，LDA就会出现类内散度矩阵的奇异问题,直接影响到LDA稳定解的获取，故而,这个问题也受到了重点关注。目前这个问题有一个经典的对应解决方法就是在PCA子空间中执行LDA。具体的做法，第一步，使用PCA方法找到一个低维子空间，这一低维子空间并不会出现类内散度矩阵奇异。第二步，在这个低维子空间中，解LDA优化准则来找最优子空间，著名的人脸识别算法Fisherfaces^[1]也主要使用这种方法。不过使用这个策略是，若PCA的子空间维数选择并不适当,可能会出现样本某些重要判别信息丢失的后果。由此,为了缓解这些损失，Friedman等人^[2]提出了RLDA,即正则化线性判别分析。针对这个问题,RLDA直接将Thiknov正则项^[3]并入类内散度矩阵，这样做相比之前只是计算量大,时间复杂度也变大。同样地,由 LDA奇异问题， Chen^[4]等人提出了NLDA,即零空间线性判别分析，有较好的性能,但仍属于线性方法,主要是在类内散度矩阵的零空间中确定线性变换矩阵,最大化类内散度矩阵的零空间上类间散度距离。还有一些方法采用最大散度差准则,最大散度差准则同Fisher准则类似，寻找最优投影方向，使得输入的高维样本按照这个方向投影后能最大限度地分离开，此类方法用广义散度差差代替LDA瑞利商问题，典型的有MMC,即最大间隔准则, 最大化类间散度矩阵和类内散度矩阵的差，有更优的分类效果的同时有效地避开了奇异问题。