摘 要

学生网络舆情是指在高校网络空间内，围绕中介性事件的发生、发展和变化，学生对此的评价和所特有的社会态度。及时掌握舆情动态、正确引导学生舆论，是维护校园稳定和教学安全的重要举措。网络环境下的舆情信息来源主要有：新闻评论、BBS、博客、微博等。其中微博以其交流的便捷性和资源的丰富性成为学生获取信息的主流渠道，已成为继新闻、论坛之后的中国互联网第三大舆情源，可见对微博进行分析具有很高的权威性和实时性。因此，本系统主要针对新浪微博进行信息采集与舆情分析。

本系统是基于python开发的，采用的核心技术有python web架构——Django框架，以及MySQL数据库。主要功能有信息采集、信息处理、舆情分析和舆情展示。其中网络爬虫实现信息采集和处理功能，调用新浪的API接口和Oauth2 授权机制，并将抓取到的微博内容和评论写入数据库；舆情分析，包括敏感话题识别和倾向性分析，设置敏感、反对、支持词库，通过字符串匹配来实现；舆情展示，基于Django框架，实现微博主题及相关评论的显示，敏感话题识别、倾向性分析的显示，同时用户管理界面的过滤、查询、自动排序等功能方便了用户操作。

关键词：Python； 网络舆情； 微博

Abstract

Students network public opinion refers to the university network space, college students' evaluation and social attitudes toward surrounding the intermediary event occurrence, development and change. Mastering the dynamic timely and guiding students’ public opinion actively is an important way to maintain campus stability and security. Under the environment of network public, opinion information sources mainly include: news commentary, BBS, blog, microblog, etc. And with its ease of communication and richness of resource, microblog has become a mainstream of public access to information channel and a source of China's third largest Internet public opinion after news and BBS. From here we can see that analyzing the microblog has the very high authority and real-time performance. Therefore, this system is to make information collection and analysis of public opinion mainly aimed at sinaweibo.

This system is developed on basis of the python. Its core technologies include python web framework - the Django, and MySQL database. And its main functions include information collecting, information processing, public opinion analysising and public opinion showing. With information acquisition and processing functions, the web crawler can use sina API interface and Oauth2 authorization and write content and comments of microblog into the database; Public opinion analysis includes sensitive topic identification and orientation analysis and sets sensitive, opposition, support thesaurus through string matching; Public opinion shows, which is based on the Django framework, implements the microblog topics and related comments show, sensitive topic identification and orientation analysis, and other functions. At the same time, functions of the user management interface, such as filtering, querying, automatic sorting are convenient for user’s operation.

Key words: Python; The network public opinion; microblog

目 录

第一章 绪论 1

1.1 研究背景及意义 1

1.2 国内外研究现状 1

1.2.1 相关定义及概念 1

1.2.2 国外舆情分析技术现状 2

1.2.3 国内舆情分析技术现状 2

1.3 本文的组织结构 3

第二章 相关技术 4

2.1 系统开发环境及开发平台简介 4

2.2 Python简介 4

2.3 正则表达式 5

2.4 MySQL简介 6

2.4.1 MySQL-python类库 6

2.4.2 数据库配置与连接 7

2.5 Django简介 8

第三章 网络舆情检测系统总体设计 12

3.1 系统功能需求 12

3.2 系统结构设计 12

3.3 数据库设计 13

第四章 关键模块设计及技术分析 14

4.1 信息采集及处理 14

4.1.1 新浪微博认证及授权 14

4.1.2 微博API 16

4.1.3 OAuth授权与Code获取 16

4.1.4 导入相关功能 18

4.1.5 信息抓取—网络爬虫 18

4.2 舆情分析 19

4.2.1 分词技术 20

4.2.2 敏感话题识别 21

4.2.3 倾向性分析 23

4.3 舆情展示 26

4.3.1 界面演示 27

4.3.2 功能演示 30

第五章 总结与展望 34

5.1 论文总结 34

5.2 展望 34

致 谢 35

参考文献 36

附 录：Auto OAuth2.py 37

第一章 绪论

1.1 研究背景及意义

网络在全球范围内的迅速发展使网络媒体成为继报纸、广播、电视之后的“第四媒体”，作为一种新的信息传播方式，网络媒体已深入人们的日常生活。网络媒体是第一影响力媒体，也是第二通信介质。网络媒体是上网网民共同参与的媒体，每天能产生海量的数据；是当前法律体系下无法全面监管的媒体，给国家安全、政党安全和社会稳定造成一定的压力；也是日新月异、迅猛发展的媒体。如今，网民数量日趋增长，网络成为人们发布、交换、获取信息的重要渠道，网民有意无意表现出来的民情民意称为网络舆情。网民言论已达到前所未有的活跃程度，不论涉及到国内还是国外重大事件，正面呼吁还是消极影响，都能马上形成网络舆论，其产生的巨大的舆论压力，已达到任何部门和机构都无法忽视的地步。总体来说，网络舆论突发事件会给国家安全带来冲击，扰乱人民群众的生活，因此，研究网络舆情具有非常重要的意义。

网络环境下的舆情信息来源主要有：新闻评论、BBS、人人网、微博等。微博以其易于沟通和资源的丰富性成为主流的公众信息获取渠道，深受广大青年学生尤其是大学生的追捧。《2010年中国网络舆情指数年度报告》^[1]显示，微博成为继新闻、论坛之后的中国互联网第三大舆情源，能够反映大学生的思想与心理动态，是学生关于社会中各种现象、问题所持的态度、意见和情绪等的表现。因此校园管理人员应当充分利用网络舆情检测系统来监控和掌握大学生的动态，引导大学生树立正确的价值观、人生观、舆论观，促进大学生的健康成长。