摘 要

回归问题不仅在统计学中研究地位突出，同时它也是模式识别技术的核心任务之一（另两个任务是分类和聚类）。近来年，随着计算机技术飞速发展，人们每天不得不面得海量数据，如何从海量数据中挖掘出有用的信息，现已成为广大学者普遍关心的问题，期中，稀疏学习就是解决此类问题的方法之一。

关于回归学习问题，最初提出的经典回归模型有最小二乘回归和岭回归。LASSO回归方法的本质是用1-范数的正则化项取代岭回归问题中的正则化项，从而可以达到优化目标的解仅依赖于回归系统非零项，从而从直觉上告诉人们只需要关注某类具体问题的部分特征量，为稀疏存储，包括后续的简化计算提供了理论和实践依据。

本课题正是在此背景下展开，从简单回顾一下最小二乘回归、岭回归、LASSO回归(The Least Absolute Shrinkage and Selection Operator)的基本原理、建模思想及求解方法等，通过比较分析，突出稀疏回归的优势。然后将LASSO思想与图像的结构化信息融合起来，实现LASSO稀疏学习方法在图像上的稀疏表示问题。本文主要内容包括：

1. 基于线性模型研究分析最小二乘法估计
2. 基于线性模型研究岭回归估计
3. 基于线性模型研究LASSO估计算法，并将该算法应用于简单的二维图像。

最后，在模拟实验的基础上验证了上述问题的可行性及计算效率。

【关键词】：最小二乘法； 岭回归； LASSO估计；

Abstract

The Regression problem not only has the important role in Statistics,but also is one of the key tasks of the technology of the Pattern Recognition.Recently, with rapid development of the Computer Science, people have to deal with a large amount of data,and it has been problem which scholars concern about to select the useful information from data.Thus,sparse learning is one of the solutions to solving the problems.

According to the regression learning,the original classical regression models are the Ordinary Least Square and the Ridge Regression.The essence of LASSO is to replace the L1-norm regularization from regularization of the Ridge Regression. As a result, the solution of optimization relies on nonzero term of the regression system,which tells us that we only has to focus on the part of characteristic and it offer simplified calculation the theory and practice to the sparse storage.

Our task is based on this background.We will simply review the fundamental ,mathematical modeling and the solution of the Ordinary Least Square , the Ridge Regression and LASSO.With the comparative analysis,we need to highlight the advantages of sparse learning and combine Lasso with structuration information of the figures.In the end,we can realize on sparse regression and its application in image expression

The main work of this paper list as follows：

1)analysis the Ordinary Least Square based on the linear regression

2)analysis the Ridge Regression based on the linear regression

3)analysis the LASSO based on the linear regression and apply it to the images.

Keywords: Least Square regression; Ridge Regression; LASSO;

目录

摘要 2

Abstract 3

目录 I

第 1 章 绪 论 1

1.1本论文的背景 1

1.2 模型选择的重要性 1

1.3 本文的主要内容 2

第 2 章最小二乘法及岭回归估计 3

2.1最小二乘法 3

2.1.1 最小二乘法的定义 3

2.1.2 最小二乘法的建模原理 3

2.1.3 最小二乘法的Matlab实现 4

2.2岭回归估计 5

2.2.1 普通最小二乘估计带来的问题 5

2.2.2 岭回归的定义 6

第3章 LASSO估计及其在图像上的应用 10

3.1 LASSO 10

3.2 最小角度回归（LAR） 10

3.3多任务回归 11

3.4 Group LASSO 16

3.5 在图像数据上的group LASSO 16

第 4 章 总结 22

致谢 23

参考文献 24

附录1 岭回归算法程序 26

附 录 2 最小角度回归（LAR） 27

第 1 章 绪 论

1.1本论文的背景

在机器学习、模式识别等研究领域，随着海量数据的大量涌现，如此实现海量数据的存储、表示及计算问题，即如何从海量数据中挖掘出人们感兴趣的信息，已成为国内外学者、企业家们普遍关心的问题。稀疏学习（sparse learning）是解决以上问题的方法之一，或者说稀疏学习是现今机器学习领域中一个研究热点。所谓稀疏性，主要包括数据表示的稀疏性和所选择的特征稀疏性两方面内容，它是把作为数据的重要特征，可以大大简化数据的表示，减少计算量，并且更容易获得对于数据“宏观”特征的把握。在各种实际问题中广泛存在着稀疏性，利用这些稀疏性更好地提高解决实际问题的 算法性能，这是机器学习/数据挖掘领域有趣而重要的研究内容。

图像表示是图像处理领域的基本问题。图像内容的有效表示是图像处理应用开展的基础。表示的有效性是指用很少的数据捕获感兴趣目标的重要信息的能力，即稀疏表示的能力。图像稀疏表示研究已成为近年来图像表示研究的热点，尤其是探讨基于人眼视觉的基函数理论模型及构造方法，研究快速、有效的图像稀疏表示算法，将有利于推动图像处理领域研究的开展，为图像表示提供新的理论与方法，具有重要的理论意义。