摘 要

该系统搜集及向用户呈现的为与银杏相关的信息。关于银杏的相关信息在互联网上琐碎，而且多为比较老旧的网页，不利于随时用手机终端查看访问。此系统通过互联网从中国银杏网、中国知网上搜集相关的银杏的最新信息，存储在数据库中，用户可以通过移动终端的微信小程序便捷地访问，同时可以收藏相关感兴趣的文章以便今后再次查看。同时为管理员提供一个浏览器端的管理系统界面，提供爬虫运行控制，爬虫运行信息查看，用户管理，爬虫抓取信息管理以及自行发布文章等功能。全部功能模块均为容器化集群部署，可以为用户提供高可用高性能服务，提升用户体验。

关键词： 银杏 爬虫 java信息整合 移动终端 容器化

Design of App for Thematic Information

of the Economic Forest from Internet

ABSTRACT

The system collects and presents information related to Ginkgo to users. Relevant information about Ginkgo is trivial on the Internet, and most of them are relatively old web pages, which is not conducive to viewing and visiting with mobile terminals at any time. This system collects the latest information of Ginkgo from China Ginkgo Net and China Knowledge Net through the Internet and stores it in the database. Users can easily access it through the mobile terminal's WeChat mini program, and collect relevant articles of interest for future review. At the same time, it provides a browser-side management system interface for administrators, providing functions such as crawler operation control, crawler operation information viewing, user management, crawler capture information management and self-publishing articles. All functional modules are deployed in containerized cluster, which can provide users with high availability and high performance services and enhance user experience.

Keywords： ginkgo crawler java integration app containerization

目录

第一章 绪论 1

1.1 研究背景 1

1.1.1 概述 1

1.1.2 爬虫简介 2

1.1.3 多线程爬虫架构 2

1.1.4 移动端与微信小程序的兴起 3

1.1.5 基于跨平台技术的小程序解决方案 4

1.1.6 现代化的Web后台管理系统 4

1.1.7 云计算时代的容器化 5

1.2 研究目的以及意义 5

1.3 系统开发环境 6

第二章 开发语言及软件介绍 7

2.1 服务端 7

2.2 爬虫 8

2.3 移动端 9

2.4 Web后台管理系统 10

2.5 容器化 11

2.6 生产环境介绍 12

三 系统需求分析 12

3.1 系统可行性分析 12

3.1.1 经济可行性分析 12

3.1.2 技术可行性分析 13

3.1.3 操作可行性分析 14

3.2 系统功能需求分析 15

3.2.1 服务端需求分析 15

3.2.2 爬虫需求分析 17

3.2.3 移动端需求分析 17

3.2.4 Web后台管理系统需求分析 18

3.2.5 容器化及高性能高可用服务需求分析 19

四 系统详细设计 21

4.1 开发及生产环境搭建 21

4.1.1 开发环境 21

4.1.2 生产环境 21

4.2 总体架构该概览 22

4.3 服务端架构设计 23

4.4 爬虫架构设计 26

4.4.1 概述 26

4.4.2 详细设计 27

4.5 移动端架构设计 29

4.6 Web后台管理系统架构设计 30

4.6.1 概述 30

4.6.2 详细设计 31

4.7 容器化及生产环境集群架构设计 33

4.7.1 概述 33

4.7.2 详细设计 35

五 相关结果展示 37

5.1 后端集群 37

5.2 移动端 38

5.3 Web后台管理端 46

六 总结与展望 51

6.1 总结 51

6.2 展望 51

致谢 52

参考文献 53

第一章 绪论

1.1 研究背景

1.1.1 概述

迈入21世纪，互联网高速发展并渗透至各个领域，推动世界进入大数据时代，获取最新最权威的信息对个人发展的影响是重大的。

及时获取于相关银杏相关的最新的信息对从事银杏相关研究的工作者、对银杏感兴趣的爱好者以及从事生产活动于银杏有关的劳动者都是非常重要的。

目前，关于银杏信息最权威的互联网来源为中国银杏网以及中国知网。前者可以提供和银杏有关的新闻，知识等非学术信息，比如银杏爱好者关心的银杏新闻、媒体报道等，银杏行业从事者关心的企业信息、交易价格、推荐产品等。而后者可以向从事与银杏研究相关的学术工作者提供最新的科研论文，研究成果。

但是，中国银杏网的网页界面比较老旧，且没有为手机端适配，这就意味着如果想通过手机端访问的话显示也是电脑浏览器端的界面，用户体验非常不好，且看到感兴趣的文章无法进行收藏等操作。中国知网提供的论文种类非常广泛，如果要获取和银杏相关的信息还需要使用它的搜索功能，操作不方便。且中国银杏网和中国知网毫无关系，也就是说想在短时间内切换浏览的地方不是很方便。而且，由于数据来源于第三方，如果发现信息中有错误无法进行及时修改或者删除操作，不利于及时遏制错误的信息的传播。

本系统旨在向使用者提供一个便捷的手机浏览终端，通过微信小程序，利用碎片化的时间方便地浏览最新的信息，并对信息进行收藏等操作。而管理员可以对抓取的信息进行修改和删除操作，同时也可以自己发布和银杏有关的资讯文章；可以监控爬虫的运行，对其定期运行的时间进行控制；可以对用户进行管理，设置文章编辑用户，其权限仅能对文章进行相关的操作，也可以对普通的用户进行管理；可以查看后台接口访问日志，防止有用户对后台链接进行恶意攻击。

1.1.2 爬虫简介

二十一世纪，信息时代已经来临，每天都会有海量的数据产生，如何从这些信息中快速高效地获取特定类型的数据在当今的环境和需求下愈发重要。而爬虫就是实现这一需求的重要组成部分。