摘 要

二十一世纪,互联网信息技术发展迅速,各种信息充斥着互联网。如何有效地收集和组织信息已经成为一个非常重要的课题。网络爬虫是一种自动搜索Internet上各种信息的程序，该系统通过定位搜集和分析茶树信息。

本课题主要任务是通过Python开发环境设计一款分布式爬虫系统，可部署在本地系统上，采用c/s结构，实现了通过网络爬虫爬取网页相关信息，对爬取到的信息进行分析，用户可根据关键字查找到相关的爬取信息。通过分析，商家也可以为用户提供定制化服务等。本文首先介绍了网络爬虫研究的背景意义、网络爬虫的发展现状,然后介绍了系统的相关知识和技术,然后分析了系统的需求,并介绍了网络爬虫的功能需求。系统和系统的运行。评估、环境和数据描述。其次是系统设计,包括概要设计、模块设计和数据库设计。最后,对系统进行了详细设计和测试。

本文以python程序语言开发技术，使用数据库，实现了一个基于python的茶树信息整合系统桌面应用程序，该系统分为一个数据库和一个图形GUI界面系统，文章以在此基础上实现的功能模块主要包括：增加信息、删除信息、改正信息、查找信息。通过这几个模块的设计，基本实现整个系统的茶树整合过程。论文根据该系统的需求分析做出具体的设计，针对系统的功能和图形的界面进行相对应的测试，并且在测试过程中去分析存在的问题，然后做出相对应的处理。本系统会不断的完善。力求更趋向人性化的服务；

关键字：茶树网，信息爬取，Python ，设计

The development of tea tree information integration based on network

Abstract

In twenty-first Century, Internet information technology developed rapidly, and all kinds of information were flooded with the Internet. How to effectively collect and organize information has become a very important topic. Web crawler is a program to automatically realize Internet information. This system collects and analyzes the information of the tea tree.

This topic main task is through the Python development environment design a distributed crawler system that can be deployed on the local system, using c/s structure, realized the reptiles crawl web information through the network, analyze the crawl to the information, the user can according to the key words related to find the crawl. Through analysis, merchants can also provide customized services for users. Significance this article first introduces the research background, current situation of the development of web crawler, such as content, and then introduces system related knowledge and technology, followed by the system requirements analysis, this paper introduces the system functional requirements, system running environment, data description. The second is system design, including profile design, module design and database design. Finally, the system is designed and tested in detail.

【keywords】 Tea tree network； information crawl； Python,；design

目 录

【摘要】 1

1 概述 1

1.1 研究背景及意义 1

1.2 国内外目前研究状况……………………………………………………………………1

1.3网络爬虫的发展现状 2

1.4 本课题主要工作 2

1.5测试环境与测试条件……………………………………………………………………4

2 相关技术简介 5

2.1 Python简介 5

2.2 Scrapy简介 6

2.3 SQL语言简介……………………………………………………………………………7

2.4SQL sever 2008工具简介………………………………………………………………7

2.5 B/S结构和C/S结构……………………………………………………………………7

3 可行性分析 9

3.1 技术可行性 9

3.2 经济可行性 9

3.3 操作可行性 10

3.3.1 法律因素 10

3.3.2 用户使用可行性 10

3.4需求分析………………………………………………………………………………10

3.4.1系统最终用户……………………………………………………………………10

3.4.2系统角色需求描述………………………………………………………………10

3.4.3系统角色需求分析………………………………………………………………10

3.4.4系统功能模块图例………………………………………………………………11

4 系统设计与实现 10

4.1 数据库E-R图 12

4.1.1数据库关系模式……………………………………………………………………12

4.1.2数据库基本表………………………………………………………………………13

4.2 设计目标与原则 13

4.3 整体框架 13

4.4 系统流程设计 13

4.5 核心代码 13

4.6系统实现界面展示………………………………………………………………………17

4.6.1 程序运行界面 17

4.6.2 数据爬取界面 17

4.6.3 数据分析与展示界面 18

4.6.4 数据查找界面 18

4.7系统登录界面实现………………………………………………………………………19

4.8添加管理员模块的实现…………………………………………………………………19

4.9修改模块密码的实现……………………………………………………………………20

5 软件测试与分析 16

5.1软件测试的介绍………………………………………………………………………………22

5.1.1什么是软件测试………………………………………………………………………22

5.1.2软件测试的目的………………………………………………………………………22

5.2测试环境与测试条件 23

5.3功能测试 23

5.4性能测试 24

5.5测试用例 24

5.6系统运行情况 25

6 结论 26

【参考文献】 27

致谢 28

附录.........................................................................29

第一章 概述

研究背景及意义

由于网络发展十分迅速，随之而来，万维网作为一个信息载体，承载着大量的信息。但是如何能够把这这些信息获取到，把有效的信息加以利用，成为了一个难题。现在人们进行网络信息搜索，一般都使用搜索引擎，例如比较常用的有百度、搜狗、谷歌 等等。可是，这些搜索引擎也有其弊端，比如： (1)每个人使用搜索引擎想获得的结果不尽相同，但是搜索引擎返回的数据缺大致相同，很多信息对用户来说都没有用。 (2)由于搜索引擎所获取的信息也是有限的，并不是互联网上所有信息都能够获取到，所以有信息的遗漏。 (3)数据的表现形式多种多样，有文字有图片有图表等等，而搜索引擎对文字的获取度比较高，但是图片、视频等信息就相对较弱。 (4)搜索引擎需要获取关键字，而其对词义的分析与理解，很难与用户想表达的信息匹配，所以一定程度上搜索精度变低。综上所述，定向抓取信息，获取所要数据的爬虫系统营运而生。它可以根据用户设定的目标，定向的在相关网页网络中，来抓取相关的信息。将抓取的数据进行存储，共用户使用。

互联网的使用范围越来越广，它也在逐渐的改变着人类的生活方式，是一项重大的创举。它所拥有的互联互通、传播信息快速，信息量大等特点，由于网络技术发展迅速，网名的申请量也逐年增高，互联网作为一座桥梁，承载着人与人之间的沟通。然而，搜索引擎的发展，人们面对互联网的海量信息量不再感到茫然。本文所研究的是基于python评论信息爬取与分析系统，网络爬虫从评论中提取相关的文本信息,并通过分析外卖网站的地址自动将它们存储在系统中。使用文本信息作为索引,可以使用内容来达到搜索结果的目的。网络爬虫的发展。