大数据的舆情分析与决策方法
发布网友
发布时间：2024-09-06 07:35
共1个回答
热心网友
时间：2024-10-14 00:29
在网络舆情处理方面，过去的做法是采用“遮掩、封锁、删除”等极端手段。然而，随着“大数据+移动互联网”的兴起，这些方法不仅不能解决问题，反而可能使问题复杂化，增加神秘感，激发公众的好奇心，并为敌对势力提供炒作的机会。相反，应坦诚面对问题，与公众沟通，主动发声，参与互动，利用大数据新技术，“治理+智理”，在解决问题的过程中不断提升解决问题的能力。提出了面向大数据的舆情监测、分析和决策的新理念和方法。
网络舆情监测的数据是决策者进行分析和决策的基础。通过新兴信息技术，我们广泛采集舆情数据，建立和完善的舆情数据库、知识库和案例库。舆情监测的总体思路正从事件驱动转向数据驱动。当发生舆情事件时，我们针对事件监测舆情的演变，发现潜在的舆情风险，并找出工作中的不足。
网络舆情数据主要来自三个方面：1) 内部舆情集散地，如政府官方网站、政务微博等；2) 外部舆情集散地，如微信、微博、论坛、贴吧和新闻媒体网站；3) 自媒体发言人，如头条号、百家号、微信公众号等。舆情监测分为两个方法：数据监测方案循环系统和网络舆情数据分析方案循环系统。
网络舆情数据多为非结构化的多元异构数据。舆情监测的步骤包括数据采集、数据预处理和数据存储。信息检索和分析要求建立关键词倒排索引；文本处理需要进行分词处理，建立词库；语义分析要求建立语义语料库，进行词性标注；情感倾向性分析需要建立情感词库等。案例数据库是进行舆情分析和决策的基础；通过知识挖掘建立的知识库、舆情分析方法库和舆情决策方法库是舆情智能决策的基础。
大数据存储模式的改变，要求数据处理手段和方法也随之改变。大数据对数据处理分析的扩展性、可靠性和及时性要求不断提高，因此需要采用各种先进的大数据处理技术。考虑到采集平台的存储计算能力、可扩展性以及后期维护的方便性，我们可以采用当前流行的开源分布式采集、存储、计算和处理框架，如基于Hadoop的分布式计算平台，它可以管理不同类型的数据，包括分布式文件系统HDFS、并行编程框架MapReduce、内存流式计算引擎Spark、大数据引擎Pig等。
网络舆情大数据分析的逻辑流程图包括统计、计数、聚类、分类、学习和识别、回归和预测等步骤。舆情大数据分析需要结合统计方法、机器学习方法以及人工智能算法进行数据挖掘和知识发现，为决策提供参考。
舆情风险评价是对网络信息发布者进行用户画像，包括年龄、性别、地域、使用终端等信息，以便对高舆情风险人群进行动态跟踪监控。建立风险评价指标体系、风险评价模型，根据动态舆情数据，对事前舆情隐患风险、事中舆情恶化风险以及事后舆情衍生风险进行评价，并适时发出预警。
趋势分析预测通过运用线性回归分析、决策树回归分析、隐马尔可夫预测、深度学习等方法对采集到的时序网络舆情数据进行回归预测分析，给出网络舆情的演变趋势，为风险预警和处置决策提供参考。
大数据分析工具包括EXCEL内置的财务统计函数，可以进行计数、相关性分析、线性回归等统计分析；SPSS、SAS是专业的统计分析、数据挖掘工具，功能强大，接口丰富，但成本高昂，不便集成到网络舆情系统中；Matlab是通用的数学数值计算、模拟仿真软件，其统计分析、机器学习及人工智能方面有丰富的函数支持，可视化效果也很好，是算法研究的有力工具；R语言是专业的开源大数据统计分析工具，有丰富的数据挖掘包，方便与第三方函数库和算法库集成，可视化也是其一大优势，是网络舆情大数据分析的首选工具；Python作为一门开源编程语言，以其简单易学、功能强大受到各行业青睐，拥有丰富的数据挖掘、机器学习和人工智能工具包，升级速度快，是网络舆情大数据分析的理想选择。
在舆情智能决策方面，利用大数据技术和人工智能技术，进行重点网站、重点人群的舆情监测，及时发现问题，评估风险，提出预警。同时，积极参与到各焦点话题的讨论中，引导舆论导向，为网络注入正能量。通过移动互联网平台进行网络民意调研，从网民对各类事件、各种话题所发表的图、文、声、像等多媒体意见的分析中挖掘提炼对观点、情感和态度。
建立知识库，采用搜索引擎技术建立理论、政策及相关法律智能咨询系统，提供便民服务。建立舆情智能决策支持系统结构，包括知识库、决策模型库，实现政策解读专家系统，机器人聊天交流系统，决策建议推送系统。决策建议推送可以通过微信公众号、电子邮件等多种方式进行。
