摘 要

因为阿拉伯数字的通用性和使用场合广泛性，我们对于手写体数字识别的研究就显得尤为必要和重要。至今，针对手写体数字识别的研究仍处于大量的研究阶段，而且在手写体数字方面的研究成果可以推广到其他字符识别，例如汉语等领域上。根据类似方法我们可以借鉴以解决更多模式识别的问题。手写体数字识别具有很好的研究意义和实际效用。

本文介绍了神经网络的发展，卷积神经网络的兴起和原理，极限学习机的出现背景及其原理。并针对手写体数字识别构造了卷积神经网络实验模型和基于极限学习机的多层极限学习机自动编码器的实验模型来验证卷积神经网络和极限学习机的性能，本文主要在时间和精度上对两者进行比较。

本文采用MINST数据集，共70000个样本，其中包括60000个训练样本，10000个测试样本。实验平台为MATLAB 2015b。

实验结果表明，极限学习机和卷积神经网络在识别率上都有相当出色且差距不大的表现；但在训练时间上，显然极限学习机要优于卷积神经网络。

关键词：手写体数字识别；卷积神经网络；极限学习机；自动编码器；

Abstract

It is necessary and important for us to study handwritten numeral recognition because of the generality and wide range of use of Arabia digital.So far, the research on handwritten numeral recognition is still studied by a large of research and the research achievements in handwritten numerals can be extended to other character recognition, such as Chinese. We can solve the more problem of pattern recognition according to the similar method.And handwritten numeral recognition has good research significance and practical utility.

This paper introduces the development of neural networks, the rise and principle of convolutional neural networks, the background and the principle of limit learning machine. According to the experimental model of handwritten numeral recognition,constructing convolutional neural network model and experimental learning machine automatic multi limit encoder based on extreme learning machine to verify the performance of the convolutional neural network and extreme learning machine.And we compared them on the time and accuracy.

The paper used the MINST data set and a total of 70000 samples including 60000 samples and 10000 test samples. The experimental platform of this paper is MATLAB 2015b.The experimental results show that both the extreme learning machine and the convolutional neural network have excellent performance and the disparity is not very big but extreme learning machine is better then convolution neural network In the training time.

Keywords: handwritten numeral recognition；convolutional neural network,；extreme learning machine；automatic encoder；

目 录

第一章 绪论 2

1.1 研究背景 2

1.2 研究现状 3

1.3研究内容 4

1.4 本文组织结构 5

第二章 卷积神经网络 6

2.1 传统神经网络 6

2.2 深度学习 9

2.3 BP算法描述 10

2.4 卷积神经网络 13

2.4.1 卷积神经网络特色 14

2.4.2 局部感知野 14

2.4.3 权值共享 15

2.4.4 卷积过程 18

2.4.5 采样过程 20

2.4.6 错误反向传播 21

2.4.6.1 卷积层到采样层的错误反向传播 21

2.4.6.2 采样层到卷积层的错误反向传播 22

2.4.7 权值更新 23

第三章 机器学习算法 25

3.1 监督学习 25

3.2 非监督学习 26

3.3 半监督学习 27

3.4 数据降维 27

3.5 线性降维 28

3.6 非线性降维 29

第四章 极限学习机自动编码器 31

4.1 自动编码器（Auto Encoder） 31

4.2 ELM极限学习机 32

4.2.1 ELM提出依据原理 33

4.2.2 极限学习机原理 34

4.4 多层极限学习机自动编码器 40

第五章 CNN和ELM在手写体数字上性能比较分析 42

5.1 实验数据集 42

5.2 卷积神经网络模型及实验结果 44

5.2.1 卷积神经网络实验MATLAB实现 46

5.2.2 实验结果 47

5.3 极限学习机模型及实验结果 48

5.3.1 极限学习机实验MATLAB实现 48

5.3.2 实验结果 49

5.4 结果对比分析 50

第六章 总结 52

致 谢 53

参考文献 54

第一章 绪论

1.1 研究背景

手写体数字识别即是设计一系列高效的字符识别算法，联机或脱机识别手写体数字。手写体数字识别具有广泛的应用，金融单据，邮政自动分拣，手写体输入等领域广泛而大量的用到阿拉伯数字。阿拉伯数字具有全球通用性，这是手写体数字得到广泛应用和科研工作研究的基础。

手写体数字识别主要可分为联机识别和脱机识别。联机的原理是通过外接设备触感设备连接至处理这些手写体数字的处理设备上，一般为电脑，因其具有上下文流势连贯性，相对来说比较容易。脱机的原理是不实时输入手写体数字，而是将手写体数字图片输入处理机器再得到分类结果，这一类识别方法是静态的，我们仅能从二维图像中寻找发现每个数字的典型特征作为分类依据。

现实中脱机识别的手写体数字识别具有更为广泛的应用，由此，本文着重讨论针对静态手写体数字库的识别问题。要找到图片特征，重要的是找打得到数字特征的方法和整个网络的优化。我们急需相较于传统神经网络有着速度提升，准确率提高的新的更普适的算法来解决传统神经网络带来的训练速度慢识别率不高等问题。