山东大学舆情研究中心_舆情系统

山东大学舆情研究中心_舆情系统项目结题总结一、项目背景二、技术要点三、功能介绍1、服务器端(1)启动服务器一、项目背景对于一所高校来说一个好的风评有着十分重要的作用,拥有一个良好的口碑,能吸引更多的生源、引进更多的人才,学校的综合素质能力也会因此提升,因此我们小组选择了《山东大学舆情分析系统》这一题目,通过搜集百度新闻、央视新闻、今日头条、齐鲁网、新浪、网易新闻、微博、知乎等网站的有关信息,对搜集到的文本信息所进行的分词、统计处理,将结果绘制成可视化的热度词条、情感倾向变化图,并实时展示在网站上,以此来更直观的了解山大的实时风评。

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺


一、项目背景

对于一所高校来说一个好的风评有着十分重要的作用,拥有一个良好的口碑,能吸引更多的生源、引进更多的人才,学校的综合素质能力也会因此提升,因此我们小组选择了《山东大学舆情分析系统》这一题目,通过搜集百度新闻、央视新闻、今日头条、齐鲁网、新浪、网易新闻、微博、知乎等网站的有关信息,对搜集到的文本信息所进行的分词、统计处理,将结果绘制成可视化的热度词条、情感倾向变化图,并实时展示在网站上,以此来更直观的了解山大的实时风评。

二、技术要点

在本项目中,我们主要选用python语言。

在爬虫方面,我们采用Scrapy爬虫框架,首先对上述若干带有搜索引擎的入口网站进行一级爬取,该层主要爬取网页中以“山东大学”为关键字的搜索结果
在这里插入图片描述
其次将对一级爬取中获得的网页链接进行二级爬取,该层主要爬取相关页面中的“相关推荐”、评论等内容。
在这里插入图片描述
对于大部分网站中常见的反爬虫技术,我们采用了请求头随机UA、资源延时下载、cookie保存状态等来掩盖我们的爬虫,防止其被反爬虫技术识别。

在分词方面,我们采用的是python的pkuseg库,并加入了我们自己生成的停用词词库、保留词词典等,以进一步优化分词结果。在情感分析方面,我们使用词的情感倾向表,通过各个词的权值对热词、评论进行情感分析。

在网页展示方面,我们采用了Vue的前端和Django的后端,以便能与爬虫和分词模块更好的兼容。

三、功能介绍

1、服务器端

(1)启动服务器

我们的项目是在python的虚拟环境中运行,目前运行过程已经可以脱离编译器。因此我们首先进入python虚拟环境,进入django项目目录下,输入:

python manage.py runserver 0.0.0.0:8080

在这里插入图片描述

(2)后台主系统(控制爬虫、分词、分析模块)

  • 后台主系统将在服务器启动时自动开启
  • 主系统将在每天凌晨4~5点开启核心系统(爬虫、分词、分析模块)
  • 主系统可以使用以下命令:
    • “start”:开启主系统
    • “stop” / “end”:关闭主系统
    • “exit”:退出主系统
    • ”help“:查看帮助信息
  • 在核心系统运行时,无法关闭、退出主系统

(3)关闭服务器

关闭服务器前,需优先关闭主系统,再手动关闭服务器cmd窗口

2、网页端——未登录

(1)首页

在这里插入图片描述

(2)总览

在这里插入图片描述

(3)登录 / 注册

在这里插入图片描述
在这里插入图片描述

3、网页端——用户端

(1)单个热词查询

在这里插入图片描述

(2)单个热词信息

在这里插入图片描述
在这里插入图片描述

(3)热词相关网页查询

在这里插入图片描述

(4)总览——登陆后

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、网页端——管理员端

(1)热词管理

在这里插入图片描述

(2)网页管理

在这里插入图片描述

(3)链接管理

在这里插入图片描述

(4)用户管理

在这里插入图片描述

(5)增加管理员

在这里插入图片描述

(6)管理后台主系

在这里插入图片描述

四、Github项目地址

https://github.com/STK425/django_vue

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/191387.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • BigDecimal详解 BigDecimal加减乘除运算 BigDecimal比较大小 BigDecimal保留两位小数

    BigDecimal详解 BigDecimal加减乘除运算 BigDecimal比较大小 BigDecimal保留两位小数文章目录1、为什么要用BigDecimal?2、BigDecimal初始化赋值3、BigDecimal的加减乘除运算4、BigDecimal比较大小5、BigDecimal保留两位小数及舍入模式6、BigDecimal其他方法及常量1、为什么要用BigDecimal?工作中我们通过浮点数进行运算时,好像时不时的会出现一些小误差。例如:publicstaticvoidmain(String[]args){System.out.println(1.9-1.2);Sys

    2022年6月2日
    52
  • POJ-1502-MPI Maelstrom

    POJ-1502-MPI Maelstrom

    2021年6月21日
    107
  • arcgis二次开发python-ArcGIS 二次开发专题 序「建议收藏」

    arcgis二次开发python-ArcGIS 二次开发专题 序「建议收藏」依据ArcGIS组件式开发及应用的目录结构,将系统性的学习ArcGIS二次开发的道路分为三个部分。这个系列包含以下三个部分:Part1基础1.前言1.1组件式GIS1.2ArcObject开发的特点与历史2.使用ArcGISEngine控件编程3.几何形体对象Geometry4.地图组成5.空间数据符号化6.空间数据管理7.空间分析8.空间数据编辑9.地图输出10…

    2022年7月23日
    11
  • 计算机浮点表示法 教案,计算机组成原理——浮点数表示方法(示例代码)

    计算机浮点表示法 教案,计算机组成原理——浮点数表示方法(示例代码)简介这篇文章主要介绍了计算机组成原理——浮点数表示方法(示例代码)以及相关的经验技巧,文章约568字,浏览量241,点赞数7,值得推荐!为了表示浮点数,数被分为两部分:整数部分和小数部分。例如,浮点数14.234就有整数部分14和小数部分0.234.首先把浮点数转换成二进制数,步骤如下:1把整数部分转换成二进制.2把小数部分转换成二进制.3在两部分之间加上小数点.浮点数还可以规范化,浮点数可以用单…

    2022年6月18日
    28
  • 谷歌chrome浏览器被hao123 360等劫持问题解决方案

    谷歌chrome浏览器被hao123 360等劫持问题解决方案1.先chrome://version能看到下面这一串“C:\ProgramFiles\Google\Chrome\Application\chrome.exe”–flag-switches-begin–flag-switches-end–origin-trial-disabled-features=SecurePaymentConfirmationhttp://hao.360.com/?src=lm&ls=n4e1d7e8c992.复制上面这一串3.打开4.在标记处粘贴刚

    2022年7月14日
    30
  • pytest指定用例_测试用例怎么编写

    pytest指定用例_测试用例怎么编写前言测试用例在设计的时候,我们一般要求不要有先后顺序,用例是可以打乱了执行的,这样才能达到测试的效果.有些同学在写用例的时候,用例写了先后顺序,有先后顺序后,后面还会有新的问题(如:上个用例返回

    2022年8月6日
    6

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号