学大数据需要什么基础呢?
发布网友
发布时间：2022-04-25 14:29
共1个回答
热心网友
时间：2022-04-30 19:49
简而言之，从大数据中提取大价值的挖掘技术。专业的说，就是根据特定目标，从数据收集与存储，数据筛选，算法分析与预测，数据分析结果展示，以辅助作出最正确的抉择，其数据级别通常在PB以上，复杂程度前所未有。
关键作用是什么？
挖掘出各个行业的关键路径，帮助决策，提升社会（或企业）运作效率。
最初是在怎样的场景下提出？
在基础学科经历信息快速发展之后，就诞生了“大数据”的说法。但其实是随着数据指数级的增长，尤其是互联网商业化和传感器移动化之后，从大数据中挖掘出某个事件现在和未来的趋势才真正意义上被大众所接触。
大数据技术包含的内容概述？
非结构化数据收集架构，数据分布式存储集群，数据清洗筛选架构，数据并行分析模拟架构，高级统计预测算法，数据可视化工具。
大数据技术学习路线指南：
大数据技术的具体内容？
分布式存储计算架构（强烈推荐：Hadoop）
分布式程序设计（包含：ApachePig或者Hive）
分布式文件系统（比如：GoogleGFS）
多种存储模型，主要包含文档，图，键值，时间序列这几种存储模型（比如：BigTable，Apollo，DynamoDB等）
数据收集架构（比如：Kinesis，Kafla）
集成开发环境（比如：R-Studio）
程序开发辅助工具（比如：大量的第三方开发辅助工具）
调度协调架构工具（比如：ApacheAurora）
机器学习（常用的有ApacheMahout或H2O）
托管管理（比如：ApacheHadoopBenchmarking）
安全管理（常用的有Gateway）
大数据系统部署（可以看下ApacheAmbari）
搜索引擎架构（学习或者企业都建议使用Lucene搜索引擎）
多种数据库的演变（MySQL/Memcached）
商业智能（大力推荐：Jaspersoft）
数据可视化（这个工具就很多了，可以根据实际需要来选择）
大数据处理算法（10大经典算法）
大数据中常用的分析技术？
A/B测试、关联规则挖掘、数据聚类、
数据融合和集成、遗传算法、自然语言处理、
神经网络、神经分析、优化、模式识别、
预测模型、回归、情绪分析、信号处理、
空间分析、统计、模拟、时间序列分析
